![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据开发
文章平均质量分 81
m0_59811476
这个作者很懒,什么都没留下…
展开
-
win10环境下的spark2.4源码环境搭建
spark2.4源码环境搭建概述版本信息及环境基础环境准备源码准备IDEA设置1. IDEA内maven插件设置与更新2. jar包添加至需要的classpath参考概述版本信息及环境项目版本备注oswin10jdk1.8scala2.11.12maven5.8.1可使用与源码一致版本sbt1.4未发现作用idea2020.03基础环境准备请自行查阅资料安装如下组件:win10本地安装jdk .win10本地安装原创 2022-02-17 11:44:50 · 1978 阅读 · 2 评论 -
Flink1.11.3 读kafka多流写clickhouse
Flink1.11.3 读kafka多流写clickhouse综述快速开始flink开发项目前置条件maven构建pom依赖说明创建java Bean (POJO类/case class都行)kafka模拟生成器插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入综述快速开始flink开发项原创 2022-02-09 16:07:02 · 329 阅读 · 0 评论 -
centos7 cdh5.13 部署 confluent
版本信息cdh5.13.0confluent-4.0.3集群规划:机器角色端口node1,node2,node3kafka9092node1,node2,node3zookeeper2181node1,node2,node3schema registry8081node1,node2,node3kafka rest proxy8082node1,node2,node3confluent connector8083node1,no原创 2022-01-21 11:09:40 · 364 阅读 · 0 评论 -
oracle18c使用debezium1.6配置
版本信息win10oracle18cdebezium1.6概述:主要参考官方文档进行设置,两种CDC技术XStreamlogminer1. Preparing the database1.1 公共配置 Configuration needed for Oracle LogMiner须知:开启日志归档功能需重启数据库,重启期间将导致业务中断,请谨慎操作。归档日志会占用较多的磁盘空间,若磁盘空间满了会影响业务,请定期清理过期归档日志。$ sqlplus /nolog$ CONNE原创 2021-10-26 13:56:19 · 153 阅读 · 0 评论 -
iceberg0.11.1本地閲讀環境搭建
iceberg本地閲讀環境搭建概述版本下載配置概述版本IDEA 下載配置原创 2021-09-18 09:39:23 · 177 阅读 · 0 评论 -
Davinci0.3.1接CDH5.3.0的phoenix数据源
Davinci0.3.1接CDH5.3.0的phoenix数据源前言版本说明安装部署jdbc连接phoenix替换jar包将phoenix client包上传至环境最后重启davinci 服务页面效果测试参考前言Davinci 是一个 DVaaS(Data Visualization as a Service)平台解决方案,面向业务人员/数据工程师/数据分析师/数据科学家,致力于提供一站式数据可视化解决方案。以上是官方所述,总结下就是一款类似于power bi\Tableau 的数据可视化工具。现在版原创 2021-09-17 18:15:01 · 147 阅读 · 0 评论 -
CDH6.3.2下使用debezium1.6.1 mysql5.7 记录
[2021-08-04 10:41:38,827] WARN The configuration 'config.storage.topic' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig:287)[2021-08-04 10:41:38,828] WARN The configuration 'group.id' was supplied but isn't a ...原创 2021-08-04 17:01:49 · 1749 阅读 · 0 评论 -
CDH6.3.2 kafka使用报错zookeeper.ClientCnxn: Opening socket connection to server xxxxx:2181.
21/08/03 17:02:16 INFO zookeeper.ZooKeeper: Client environment:java.io.tmpdir=/tmp21/08/03 17:02:16 INFO zookeeper.ZooKeeper: Client environment:java.compiler=<NA>21/08/03 17:02:16 INFO zookeeper.ZooKeeper: Client environment:os.name=Linux21/08/03原创 2021-08-03 17:41:02 · 2024 阅读 · 0 评论