- 博客(5)
- 收藏
- 关注
RSS订阅原创 使用Datax将Hive(分区表)数据导入到Hbase
1. 限制 要求版本为Phoenix5.x及HBase2.x 仅支持通过Phoenix QeuryServer导入数据，因此您Phoenix必须启动QueryServer服务才能使用本插件 不支持清空已有表数据 仅支持通过phoenix创建的表，不支持原生HBase表 不支持带时间戳的数据导入 2. 安装Datax 详情见官方文档：https://github.com/alibaba/DataX/blob/master/userGuid.md 注意：本教程分别使用了 ”hive读“、”Phoenix5.
2021-01-27 14:41:50
1727
原创 Canal安装(admin的WebUI管理，自动生成kafka的Topic[dynamicTopic])
1. 准备 mysql开启binlog并配置权限 canal版本，要求>=1.1.4 (需要依赖canal-server提供面向admin的动态运维管理接口) Zookeeper Kafka 2. 安装 2.1 admin安装 2.1.1 解压： mkdir -p /opt/module/canal-admin tar -zxvf canal.admin-1.1.4.tar.gz -C /opt/module/canal-admin/ 2.1.2 初始化元数据库 [ttt@ttt can
2021-01-22 10:15:59
688
原创 idea无法引入已经下载的spark包
问题详情： pom中已经添加了spark-core的依赖，并且已经下载完毕。但是代码中就是不能将spark包引入。
2021-01-21 09:39:53
628
原创 基于阿里云SLS和自建IDC的 MySQL Binlog 日志准实时传输
1. 基本框架 mysql->SLS->Spark Streaming/Flink Streaming 2. 步骤 mysql开启binlog并创建对应账号 略 在MySQL服务器上安装阿里云服务Logtail 前提： CentOS 7.7 深圳节点 mysql5.7 安装： 使用“深圳节点”对应的安装命令安装logtail（公网）： wget http://logtail-release-cn-shenzhen.oss-cn-shenzhen.aliyuncs.com/linux
2021-01-20 11:04:04
546
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人