- 博客(10)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 ogg12同步oracle11g数据至kafka，StreamSets3.21抽取kafka数据消费至kudu
ogg12同步oracle11g数据至kafka文章 链接：https://blog.csdn.net/kkHMou/article/details/116451669StreamSets如何建立管道流这里就不提了，直接看配置。一、kafka数据利用 kafka tool这个软件连接kafka查看数据使用ogg传过来的数据是JSON格式二、StreamSets配置1、总体流程2、Kafka Comsumer如果你不清楚你的kafka版本，到kafka的安装目录，执行：find
2021-05-17 15:08:54
380
原创 Oracle GoldenGate12.2安装同步oracle11g至kafka2.0
oracle ogg官方最新版本为19.1，旧版本需要到oracle云下载：https://edelivery.oracle.com/osdc/faces/SoftwareDelivery
2021-05-10 15:25:49
628
原创 Oracle 11g 静默安装，参数小优化，脚本安装
官方下载链接：https://www.oracle.com/middleware/technologies/goldengate-downloads.html一、软件环境CentOS7.5二、安装OGG前准备2.1 创建ogg用户表空间不清楚自己 dbf文件的存储位置可以使用 find命令create tablespace ogg_data datafile '/app/ora/oracle/oradata/orcl/ogg01.dbf' size 100m autoextend off;
2021-04-25 16:46:49
246
原创 Oracle 11g GoldenGate19.1安装同步到kafka，未完全验证成功，11g需要降ogg版本
官方下载链接：https://www.oracle.com/middleware/technologies/goldengate-downloads.html一、软件环境CentOS7.5
2021-04-21 16:14:01
443
原创 streamsets3.21 rabbitMq数据输入到mysql
部分用法的官方链接：https://streamsets.com/documentation/datacollector/3.21.x/help/index.html中文站：http://streamsets.vip/一、rabbitMq测试用：二、rabbitMq Consumer配置三、中间流设置3.1 结构化数据例如：A|B|Ca,b,c3.2 非结构化，但数据结构一致。比如一些服务器日志，nginx日志等对于这种日志一般使用正则进行匹配strea
2021-04-13 17:29:52
220
原创 streamsets3.21 Elasticsearch数据处理，输入到kudu、mysql
部分用法的官方链接：https://streamsets.com/documentation/datacollector/3.21.x/help/index.html中文站：http://streamsets.vip/上一篇文章写了mysql实时同步kudu，链接放这里https://blog.csdn.net/kkHMou/article/details/115330489一、es到kudu1、es输入端配置{ "sort": [ { "logTime": {
2021-04-13 15:57:41
591
原创 Streamsets3.21 mysql同步到kudu
部分用法的官方链接：https://streamsets.com/documentation/datacollector/3.21.x/help/index.htmlstreamsets没有内置的mysql驱动包，CDH版本则需要添加外部库，详见：https://blog.csdn.net/kkHMou/article/details/1153196971. 单表同步2. 实时同步...
2021-04-13 14:25:36
490
原创 CDH6.3.x添加streamsets3.21服务
CDH相关的软件包地址：https://archive.apache.org/dist1. 查看自己CDH各软件版本进去之后随便找一台点进去2. 添加streamsets服务官方链接：https://streamsets.com/下载链接：https://accounts.streamsets.com/archives如果不是cdh集群，下载完整包即可，超过6个G，下载比较慢集群包：STREAMSETS_DATACOLLECTOR-3.21.0-el7.parcel 安装包STR
2021-03-30 14:13:41
337
原创 CDH6.3.1安装部署
硬件环境服务器4台：192.168.10.99 cm 4核8G CentOS7.5192.168.10.100 matser 8核24G CentOS7.5192.168.10.110 node1 8核16G CentOS7.5192.168.10.120 node2 8核16G CentOS7.5注：cm节点因为硬件资源原因只部署cloudera相关服务，zk等服务都部署在另外三个节点上面。如果是生产集群的话，也建议CM单
2021-03-30 10:30:56
602
原创 apache-dolphinscheduler-1.3.5集群部署安装
apache-dolphinscheduler下载官网连接：https://dolphinscheduler.apache.org/zh-cn/download/download.htmldolphinscheduler分为前端部署和后端部署这里都用用tar包进行演示Binary Distribution 后端包Frontend Binary Distribution 前端包集群环境：10.108.10.100 master10.108.10.110 node110.108.1
2021-03-29 16:13:47
689
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人