- 博客(5)
- 收藏
- 关注
原创 使用Datax将Hive(分区表)数据导入到Hbase
1. 限制要求版本为Phoenix5.x及HBase2.x仅支持通过Phoenix QeuryServer导入数据,因此您Phoenix必须启动QueryServer服务才能使用本插件不支持清空已有表数据仅支持通过phoenix创建的表,不支持原生HBase表不支持带时间戳的数据导入2. 安装Datax详情见官方文档:https://github.com/alibaba/DataX/blob/master/userGuid.md注意:本教程分别使用了 ”hive读“、”Phoenix5.
2021-01-27 14:41:50 1766
原创 Canal安装(admin的WebUI管理,自动生成kafka的Topic[dynamicTopic])
1. 准备mysql开启binlog并配置权限canal版本,要求>=1.1.4 (需要依赖canal-server提供面向admin的动态运维管理接口)ZookeeperKafka2. 安装2.1 admin安装2.1.1 解压:mkdir -p /opt/module/canal-admin tar -zxvf canal.admin-1.1.4.tar.gz -C /opt/module/canal-admin/2.1.2 初始化元数据库[ttt@ttt can
2021-01-22 10:15:59 701
原创 idea无法引入已经下载的spark包
问题详情:pom中已经添加了spark-core的依赖,并且已经下载完毕。但是代码中就是不能将spark包引入。
2021-01-21 09:39:53 646
原创 基于阿里云SLS和自建IDC的 MySQL Binlog 日志准实时传输
1. 基本框架mysql->SLS->Spark Streaming/Flink Streaming2. 步骤mysql开启binlog并创建对应账号 略在MySQL服务器上安装阿里云服务Logtail前提:CentOS 7.7深圳节点mysql5.7 安装:使用“深圳节点”对应的安装命令安装logtail(公网):wget http://logtail-release-cn-shenzhen.oss-cn-shenzhen.aliyuncs.com/linux
2021-01-20 11:04:04 569
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人