Spark-ClickHouse-ES实时项目第十二天-MDB数据由canal检测到kafka

最新推荐文章于 2024-05-21 11:07:05 发布
最新推荐文章于 2024-05-21 11:07:05 发布
阅读量245 收藏
点赞数
分类专栏： Spark-ClickHouse-ES实时项目 文章标签： canal
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40180229/article/details/108703671
版权

资源链接

https://download.csdn.net/download/qq_40180229/12873694

开启MySQL中得bin-log

vim /etc/my.cnf

在这里插入图片描述

检查是否开启

在这里插入图片描述

生成数据

执行java -jar gmall-db…jar

在这里插入图片描述

检查bin-log是否发生改变

cd /var/lib/mysql

在这里插入图片描述

给canal分配权限

GRANT SELECT, replication SLAVE, replication client on . TO canal@’%’ identified by ‘canal’

在这里插入图片描述

检查是否有权限

在这里插入图片描述

canal服务器配置

vim canal_1.1.4/conf/canal.properties

服务器模式

在这里插入图片描述
kafka地址

在这里插入图片描述

canal 实例配置

vim canal-1.1.4/conf/exampl/instance.properties

数据库地址

在这里插入图片描述
用户名和密码

在这里插入图片描述

topic

在这里插入图片描述

partirionsNum

在这里插入图片描述

启动

canal_1.1.4/bin/startup.sh

在这里插入图片描述

通道测试

消费SPARK_CH_ES_REALTIME_GMALL_DB_C
开启数据生成

在这里插入图片描述

SmallScorpion
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark-ClickHouse-ES实时项目第四天-消费Kafka数据
SmallScorpion
09-11 574
仓库位置 日志生成：https://github.com/SmallScorpion/gmall-mock.git 日志服务器：https://github.com/SmallScorpion/gmall-spark-ch-es-realtime.git 需求 分析 做日活，取启动日志“GMALL_SPARK_CK_ES_START”中的数据(事件日志也可以做，但是会麻烦一点) 消费kafka中的数据。 利用redis过滤当日已经计入的日活设备 把每批次新增的当日日活信息保存到ES中(也可以做一层聚合数
Spark-ClickHouse-ES实时项目第十四天-需求分析
SmallScorpion
09-22 286
代码位置 日志生成：https://github.com/SmallScorpion/gmall-mock.git 日志服务器：https://github.com/SmallScorpion/gmall-spark-ch-es-realtime.git 需求 按地区（用户性别、用户年龄段）统计当日新增付费用户首单平均消费 架构 在实时数仓中，通过将维表数据放入HBASE中达到查询以前用户状态(是否为首单)，且通过其他为表数据可以得到需求的最终结果数据(用户性别、用户年龄段…) HBase 建表 crea
阿里 Canal 实时同步 MySQL 增量数据至 ClickHouse 数据库
最新发布
2301_81186823的博客
05-21 584
说明：这个文件是canal的基本通用配置，canal端口号默认就是 11111，修改canal的输出model，默认tcp，改为输出到 kafka多实例配置如果创建多个实例，通过前面canal架构，我们可以知道，一个canal服务中可以有多个instance，conf/下的每一个example即是一个实例，每个实例下面都有独立的配置文件。canal可以同步整个库的所有表和单表的表，配置都在这里进行配置，如果需要同步多张表的数据，就在rdb下创建多个类似的配置文件，文件名可以用表名来命名。
Spark-ClickHouse-ES实时项目第一天中-日志服务器
SmallScorpion
09-07 300
仓库位置 日志生成：https://github.com/SmallScorpion/gmall-mock.git 日志服务器：https://github.com/SmallScorpion/gmall-spark-ck-es-realtime.git 编写logback.xml <?xml version="1.0" encoding="UTF-8"?> <configuration> <property name="LOG_HOME" value="d:/appl
Spark-ClickHouse-ES实时项目第八天-精确一次性消费保存偏移量
SmallScorpion
09-17 296
仓库位置 日志生成：https://github.com/SmallScorpion/gmall-mock.git 日志服务器：https://github.com/SmallScorpion/gmall-spark-ch-es-realtime.git 手动提交偏移量 第一次读取会加载Redis数据，若是redis中没有数据那么将消费kafka起始数据，经过业务计算保存到redis中 中间循环过程是业务到redis保存数据的过程 若中途宕机，重启进程服务都会读取redis偏移量位置进行消费 Offs
Spark-ClickHouse-ES实时项目第十一天-发布数据接口-总数
SmallScorpion
09-17 214
仓库位置 日志生成：https://github.com/SmallScorpion/gmall-mock.git 日志服务器：https://github.com/SmallScorpion/gmall-spark-ch-es-realtime.git 访问路径 数据格式 新建spring模块pom <dependencies> <dependency> <groupId>org.springframework.boot&lt
FeatureClassLoad_导入数据到mdb_C#arcengine数据映射导入_worriedkk8_MDB-478_字
10-03
综上所述，"FeatureClassLoad_导入数据到mdb_C#arcengine数据映射导入_worriedkk8_MDB-478_字"这个任务涉及到多个技术点，包括GIS数据转换、C#编程、ArcEngine API使用、字段映射、文件锁定、错误处理和性能优化。...
MDB-Cashless-Test.rar_MDB-Cashless-Test_mdb-rs232_mdb测试工具_vendin
07-14
标题中的“MDB-Cashless-Test.rar_MDB-Cashless-Test_mdb-rs232_mdb测试工具_vendin”提到了几个关键概念，包括MDB协议、非现金支付、RS232-MDB适配器、测试工具以及与自动售货机相关的应用。这些关键词都是IT行业中...
自动售货机MDB协议中文解析（六）MDB-RS232控制硬币器的流程和解析
05-11
通过MDB-RS232控制硬币器的流程和解析。文档需要通过密码阅读。测试过程中可以向威佛技术支持工程师获取阅读密码并确认。
mdb-vdr.rar_avr_avr mdb_mdb_modbus avr_modbus-rtu avr
09-22
标题中的“mdb-vdr.rar”很可能是一个包含与MODBUS协议相关的源代码...通过解压并阅读“mdb-vdr.txt”文件，用户可以学习到如何在自己的AVR项目中有效地集成和使用MODBUS RTU协议，从而实现与各种工业设备的互联互通。
clickhouse--kafka引擎接入同步表.docx
12-26
Clickhouse—kafka引擎接入到同步表同样可同步，等同于直接插入同步表,说明只要同步表有变化久同步，和具体变化源没关系，merger系列引擎对外没有区别，可互相转化
使用Canal + ClickHouse实时分析MySQL事务信息
FaN()
12-31 2067
使用Canal + ClickHouse实时分析MySQL事务信息 作为DBA, 有时候我们会希望能够了解线上核心库更具体的"样貌", 如: 这个库主要的DML类型是什么? 这个库的事务大小, 执行时间, 影响行数大概是什么样的? 以上信息也许没什么价值, 但大事务对复制的影响不用多说, 并且当我们希望升级当前主从架构到MGR/PXC等高可用方案的场景时以上信息就比较重要了(毕竟用数据说话更有力度). 大事务对MGR和PXC都是不友好的, 尤其是MGR(起码在5.7版本)严重时会导致整个集群hang死
基于spark用户画像的实时项目【第一天】
weixin_45617201的博客
03-10 637
互联网广告的行业介绍 互联网广告得分类 从广告形式上来看，互联网广告分为：搜索广告、展示类广告、 分类广告、引导广告、电子邮件广告等五大类。 互联网广告表现形式 1）Banner Banner指横幅广告，一般在APP界面的顶部或者底部出现，有静态图、GIF图、文字链、多帧滚动动画图 计费方式一般为CPC(每点击成本)结算为主 2）公告 在电商类或者社交类的APP首页，京东快报就是公告，不断滚动播放...
canal同步mysql数据到kafka， kafka消费存入clickhouse
weixin_38738049的博客
02-13 893
环境winmysql5.7如果不想看步骤可以直接下载我打包好的文件，修改相关数据库配置就行。
Spark实时数仓(一)
m0_52210776的博客
07-11 1966
pom.xml 2.创建子模块(gmall-common) 一.pom.xml 二.MyConstants.java 3.创建子模块(gmall-logger) 将gmall-common模块pom.xml中的以下配置复制到gmall-logger模块的pom.xml spark-gmall的pom.xml添加以下内容 gmall-logger.xml application.properties 整合log4j(log4j.properties) 编写contro
Canal 与kafka
weixin_40544053的博客
04-30 1060
近段时间，业务系统架构基本完备，数据层面的建设比较薄弱，因为笔者目前工作重心在于搭建一个小型的数据平台。优先级比较高的一个任务就是需要近实时同步业务系统的数据（包括保存、更新或者软删除）到一个另一个数据源，持久化之前需要清洗数据并且构建一个相对合理的便于后续业务数据统计、标签系统构建等扩展功能的数据模型。基于当前团队的资源和能力，优先调研了Alibaba开源中间件Canal的使用。 这篇文章简单介...
Canal + Kafka经验
qq_22994783的博客
01-04 2710
canal中写入kafka的BUG kafka的默认最大消息大小是1M, canal作者也知道这个事, 所以往canal扔消息的时候, 会先做一个判断, 如果消息大小&gt;1M, 会报错 但关键是他报错说的要把kafka的配置改大, 实际上是自己做了阉割, 怨不得kafka, 我横来竖去改了n遍kafka的配置也没用 目前我做的是修改了canal的源码:(GITHUB上最新版源码已经加上了这个配...
【ClickHouse】Mysql数据同步 mysql+canal+kafka+ck
qq_41466440的博客
10-31 2259
【ClickHouse】Mysql数据同步 mysql+canal+kafka+ck
SYBYL-X 2.0软件基础应用以及3D-QSAR模型构建使用说明
08-02
CoMFA和CoMSIA都是3D-QSAR方法，它们基于相同的假设和数据处理方法，但CoMSIA引入了额外的分子场类型，提供了更全面的分析。 在模型构建完成后，可以通过等势图显示结果，并计算预测值与实际值的差异，以评估模型的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值