![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
silentanytime
既然选择了远方,就别怕风雨兼程,坚持走下去!
展开
-
centos7离线安装airflow1.10.10(真正离线)
一:环境及包准备:1、外网服务器一台,内网服务器一台2、python3.7+airflow1.10.10+redis4.0.6+mysql5.73、从https://github.com/apache/airflow找到对应版本的requirements-python3.7.txt列表单基础软件安装python、mysql及redis 略过,安装简单,再次略过,注意一点mysql集成airflow 需要在mysql配置文件下添加:explicit_defaults_for_timesta原创 2020-12-09 16:51:54 · 1409 阅读 · 0 评论 -
spark任务提交命令
记录一把spark on yarn模式任务提交,方便以后使用,资源大佬们可根据实际需求自行调整#!/usr/bin/env bash. /etc/profile. ~/.bash_profilespark-submit \--master yarn-cluster \--class XXX.XXX.XXX\--jars /data/batchJob/lib/hbase-server-1.0.0-cdh5.4.4.jar,/data/batchJob/lib/htrace-core-3.0.4原创 2020-06-30 10:23:23 · 572 阅读 · 0 评论 -
Apache druid 自定义组件开发
最近因项目需要,需要开发Apache druid插件解析kafka推过来的流量,格式为protobuf,字段存储为二进制类型(注意,普通数据类型 druid已支持),废话不多说,上思路。第一步:实现ByteBufferInputRowParser类 XXXParser,业务逻辑的实现在parsePatch()方法第二步 :创建一个实现DruidModule 类 XXXThriftExtensionsModule, 在getJacksonModules里注册实现的Modle和Parser...原创 2020-06-28 14:38:46 · 495 阅读 · 1 评论