程序媛_cico
码龄7年
求更新 关注
提问 私信
  • 博客:25,036
    25,036
    总访问量
  • 8
    原创
  • 11
    粉丝
  • 26
    关注
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:广东省
加入CSDN时间: 2018-07-02
博客简介:

cico

查看详细资料
个人成就
  • 获得11次点赞
  • 内容获得2次评论
  • 获得69次收藏
  • 博客总排名891,195名
创作历程
  • 1篇
    2020年
  • 5篇
    2019年
  • 4篇
    2018年
成就勋章
TA的专栏
  • web开发
    1篇
  • BI
    4篇
  • 机器学习
    1篇
  • 大数据
    3篇
  • 数据库
    2篇

TA关注的专栏 0

TA关注的收藏夹 0

TA关注的社区 6

TA参与的活动 0

兴趣领域 设置
  • 大数据
    hadoophivestormsparketl
创作活动更多

新星杯·14天创作挑战营·第13期

这是一个以写作博客为目的的创作活动,旨在鼓励大学生博主们挖掘自己的创作潜能,展现自己的写作才华。如果你是一位热爱写作的、想要展现自己创作才华的小伙伴,那么,快来参加吧!我们一起发掘写作的魅力,书写出属于我们的故事。我们诚挚邀请你们参加为期14天的创作挑战赛!注: 1、参赛者可以进入活动群进行交流、互相鼓励与支持(开卷),虚竹哥会分享创作心得和涨粉心得,答疑及活动群请见:https://bbs.csdn.net/topics/619781944 【进活动群,得奖概率会更大,因为有辅导】 2、文章质量分查询:https://www.csdn.net/qc

81人参与 去参加
  • 最近
  • 文章
  • 专栏
  • 代码仓
  • 资源
  • 收藏
  • 关注/订阅/互动
更多
  • 最近

  • 文章

  • 专栏

  • 代码仓

  • 资源

  • 收藏

  • 关注/订阅/互动

  • 社区

  • 帖子

  • 问答

  • 课程

  • 视频

搜索 取消

大数据平台中的hive配置项含义

关于MetaStore:metastore是个独立的关系数据库,用来持久化schema和系统元数据。hive.metastore.local:控制hive是否连接一个远程metastore服务器还是开启一个本地客户端jvm,默认是true,Hive0.10已经取消了该配置项;javax.jdo.option.ConnectionURL:JDBC连接字符串,默认jdbc:derby:;databaseName=metastore_db;create=true;javax.jdo.opt..
转载
博文更新于 2020.08.22 ·
726 阅读 ·
0 点赞 ·
1 评论 ·
0 收藏

sparkstreaming+Kafka性能优化

(一)sparkstreaming参数理解使用SparkStreaming集成kafka时有几个比较重要的参数:(1)spark.streaming.stopGracefullyOnShutdown (true / false)默认fasle确保在kill任务时,能够处理完最后一批数据,再关闭程序,不会发生强制kill导致数据处理中断,没处理完的数据丢失(2)spark.strea...
原创
博文更新于 2019.04.10 ·
4063 阅读 ·
5 点赞 ·
1 评论 ·
22 收藏

Airflow调度-MysqlOperator

一个对mysql数据库表的操作的调度:这里用到了BashOperator和MySqlOperator# -*- coding: utf-8 -*-import airflowfrom airflow import DAGfrom airflow.operators.mysql_operator import MySqlOperatorfrom datetime import ti...
原创
博文更新于 2019.03.21 ·
2769 阅读 ·
0 点赞 ·
0 评论 ·
3 收藏

linux的mysql离线安装

Mysql 离线安装:1.查看是否有mariadb,并卸载在Centos 7上先要卸载mariadb查看是否有mariadb,并卸载rpm -qa|grep mariadb$ rpm -e --nodeps mariadb-libs-5.5.60-1.el7_5.x86_64$ rpm -e --nodeps mariadb-devel-5.5.60-1.el7_5....
原创
博文更新于 2019.03.21 ·
1687 阅读 ·
2 点赞 ·
0 评论 ·
4 收藏

Airflow核心概念理解

1.DAGDAG是Directed Acyclic Graph的缩写,即有向无环图。是所有要执行任务脚本(即task)的集合,这个DAG描述了各个Task的依赖关系,调度时间,失败重启机制等。每个DAG的唯一标识是DAGid。每个DAG由1到多个task组成。官方解释:DAGs是一个用户希望执行的所有作业的集合,它定义了所有作业的依赖关系。例如:一个简单的包含3个任务的DAG:A,...
翻译
博文更新于 2019.02.24 ·
1716 阅读 ·
0 点赞 ·
0 评论 ·
2 收藏

ETL调度Airflow安装部署篇

ETL是数据分析不可缺少的一环,对于ETL的调度管理也是至关重要的。一个好的ETL调度平台应该具备以下优点:作业集成管理 运行监控(WEB监控) 异常警告(邮件及短信) 日志可查看 后台调度 系统配置 作业执行情况分析界面探索中发现了ETL调度平台——airflow。airflow 是一个编排、调度和监控workflow的平台,由Airbnb开源,现在在Apache Soft...
原创
博文更新于 2019.02.24 ·
1388 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

利用idea创建spark工程

        实际项目中,我们可以再本地调试程序,再在spark集群上运行。本文记录了win7环境下怎样创建本地spark工程,并传递给spark。1.spark环境搭建Win7 系统下用IDEA创建Spark工程,由于版本之间相互依赖,下载时要看清楚版本。Jdk:1.8.0_171Spark:2.3.0Hadoop:2.7IDEA支持的Scala工程插件Scala:2.11.8 1 Spark...
原创
博文更新于 2018.07.11 ·
4962 阅读 ·
1 点赞 ·
0 评论 ·
8 收藏

TensorFlow深度学习框架搭建

       与keras类似,tensorflow是一个很流行的机器学习、深度学习算法框架,开发者只需要专注于模型的设计,大大的提高了开发效率,tensorflow内置的模型丰富可以直接用于实践应用;加上自带有WEBUI监控,我们可以实时观测模型的运行状态。1 安装与测试安装环境:联网环境下win7+python3.x安装:声明:win7环境下的Tensorflow只能运行在Python 3.X...
原创
博文更新于 2018.07.11 ·
6300 阅读 ·
2 点赞 ·
0 评论 ·
24 收藏

Kettle的简单使用

ORALCE与mysql建表语句转换: BI开发中中经常遇到各种数据库的导数据,操作频繁的有create建表语句,由于各种数据库的数据类型不同,若是字段特别多,手动敲建表语句也是很花费时间的。 新建文件--->转换--->DB连接。建立两个连接,分别是ORACLE与mysql的连接。 填写数据库连接信息。注意数据库名称为SID_NAME,并不是PL/SQL的SERVICE_NAME。 ...
原创
博文更新于 2018.07.11 ·
315 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

PythonWeb_Django(1)

引言Python下有许多款不同的 Web 框架。Django是重量级选手中最有代表性的一位。许多成功的网站和APP都基于Django。Django是一个开放源代码的Web应用框架,由Python写成。Django采用了MVC的软件设计模式,即模型M,视图V和控制器C。Web框架 参考:https://blog.csdn.net/workdsz/article/details/78093648官方:...
原创
博文更新于 2018.07.07 ·
1111 阅读 ·
1 点赞 ·
0 评论 ·
7 收藏