Kettle Kafka-＞Msyql Demo

最新推荐文章于 2024-06-14 14:40:51 发布
最新推荐文章于 2024-06-14 14:40:51 发布
阅读量531 收藏 1
点赞数
分类专栏： 大数据——数据集成工具 文章标签： kafka mysql kettle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoyoupei/article/details/120165044
版权
本文介绍了一个从Kafka到MySQL的数据迁移DEMO，涉及Kafka配置、数据传输、日志记录及批量插入策略。在Kafka中设置offset获取最新消息，使用JSON解析提取字段，通过日志跟踪数据流向，同时探讨了Kettle的插入/更新配置，如提交记录数量对MySQL提交的影响。
摘要由CSDN通过智能技术生成

文章目录

Kafka->Mysql

做了一个简单的demo，测试从kafka导数据到关系型数据库mysql，首先列出此转换demo流程，加了日志，方便linux控制台打印输出日志

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rUHoL7g5-1631013135693)(F:/ZNV/%E7%AC%94%E8%AE%B0%E5%9B%BE%E7%89%87/kettle%E9%97%AE%E9%A2%98%E9%9B%86%E9%94%A6/image-20210907190156287.png)]

1 kafka

由于是用公司服务器测试跑的，这边我是先在本地布局，再上传到资源库，然后由服务器那边pan.sh直接调用，kafka这边上传到资源库就会出如下问题，现在还不知道怎么解决(要改jar包)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-46IIxF4M-1631013135697)(F:/ZNV/%E7%AC%94%E8%AE%B0%E5%9B%BE%E7%89%87/kettle%E9%97%AE%E9%A2%98%E9%9B%86%E9%94%A6/image-20210907184152215.png)]

2、传输类型

kafka中可以设置offset拉取为最新的，可以手动创建一个生产者进行测试，我这边测试的数据是json格式，获取kafka数据的字段是Message，所以对他采用json解析格式提取有效字段信息

3、打日志

在查验数据流向是否通以及字段内容是否正确的时候我们可以加上写日志的功能，比较直观方便，kettle日志一般是logs目录下的pid.log，可以tail -f 监听看到日志变化

4、插入/更新配置

这边主要是对应好数据流中的字段和表中字段对应的映射关系

有一个提交记录数量，默认是100，意思就是只有数据量达到100，kettle才会commit到MySQL表中，没有达到100不会提交，表中不会有任何的信息

友培
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
专栏目录
Flume实时采集mysql数据到kafka中并输出
Alex的博客
11-30 5673
Flume实时采集mysql数据到kafka中并输出。Apache Flume是一个分布式的、可靠的、可用的系统，用于有效地收集、聚合和将大量日志数据从许多不同的源移动到一个集中的数据存储。在大数据生态圈中，flume经常用于完成数据采集的工作。其实时性很高，延迟大约1-2s，可以做到准实时。又因为mysql是程序员常用的数据库，所以以flume实时采集mysql数据库为例子。要了解flume如何采集数据，首先要初探其架构：Flume 运行的核心是 Agent。Flume以agent为最小的独立运行单位。
Kettle与Kafka流处理的整合
热门推荐
木讷的鱼
10-26 1万+
Kettle与Kafka流处理的整合一. 环境准备二. Kettle中连接Kafka2.1 生产者介绍2.2 消费者介绍三. 测试结果 一. 环境准备 在虚拟机的Docker中搭建Kafka单机测试环境。 docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper docker run -d
使用Kettle抽取Kafka消息并插入数据库
m0_47187076的博客
04-09 8376
1、前提条件 需部署kafka、安装Kettle、准备一个json文件 2、通过Kafka Producer上传数据 首先新建一个转换 创建JSON input 点击浏览文件 再点击增加到选中的文件 选择字段页签，点击select fields获取需要转换的字段 在Streaming中找到的Kafka producer 在Bootstrap server中输入Kafka的ip+端口 Topic必填（已经创建好了） Message field必填（和json input字段对应） 创建好连接json
kettle实时增量同步mysql数据
最新发布
weixin_43398232的博客
06-14 957
*Debezium介绍官网地址：https://debezium.io/documentation/Debezium是一个开源项目，为捕获数据更改(Capture Data Change,CDC)提供了一个低延迟的流式处理平台，通过安装配置Debezium监控数据库，可以实时消费行级别row-level))的更改。作为一个分布式系统,Debezium也拥有良好的容错性Debezium支持数据源：MySQL,MongoDB,PostgreSQL,Oracle,SQL Server等。
kettle+kafka+mysql_kafka删除topic
weixin_31822835的博客
02-26 144
环境:OS:Centos 7kafka:2.111.使用命令删除topic:./kafka-topics.sh --delete --zookeeper 192.168.1.129:2181 --topic sentinel_metric_dev只是这样事实上并没有真正删Topic2.进入/home/yeemiao/kafka/kafka-logs目录，删除文件名为sentinel_metric_...
kettle+kafka+mysql_Kettle-demo
weixin_33304777的博客
02-01 1465
Kettle-demoETL是数据抽取(Extract)、清洗(Cleaning)、转换(Transform)、装载(Load)的过程。用户从数据源抽取出所需的数据，经过数据清洗和转换，最终形成所需的数据仓库，可用于进行数据统计分析，做商业决策等 。本项目使用开源ETL工具kettle实现一些常用的功能进行演示。查询和连接：包含数据流的查询、连接查询有关的组件。脚本：包含自定义脚本的使用，脚本可以...
（自存）Kettle导数据到MySQL数据库
rime的博客
04-05 3140
Kettle批量上传数据
kettle kafka mysql,Kettle安装Kafka Consumer和Kafka Producer插件
weixin_29313547的博客
03-16 1163
1.从github上下载kettle的kafka插件，地址如下Kafka Consumer地址：https://github.com/RuckusWirelessIL/pentaho-kafka-consumer/releases/tag/v1.7Kafka Producer地址：https://github.com/RuckusWirelessIL/pentaho-kafka-producer/...
Flume 抽取MYSQL Oracle数据 JSON格式 推送Kafka
05-28
Flume二次开发，支持抽取MYSQL Oracle数据库数据 以JSON格式推送至Kafka。 demo： sql_json.sources.sql_source.type = com.hbn.rdb.source.SQLSource sql_json.sources.sql_source.connectionurl = jdbc:oracle:...
安装篇-MySQL8+Hive3.1.2安装分享
爱程序，爱生活
08-28 1153
1.安装mysql8 1.1 下载并解压mysql8的rpm安装包 mysql-8.0.21-1.el7.x86_64.rpm-bundle.tar 1.2 依次安装以下四个rpm包 rpm -ivh mysql-community-common-8.0.21-1.el7.x86_64.rpm rpm -ivh mysql-community-libs-8.0.21-1.el7.x86_64.rpm rpm -ivh mysql-community-client-8.0.21-1.el7.x86_64
kettle kafka 消息生产插件
01-17
kettle kafka 消息者生产插件，用于集成到kettle，生产Kafka消息。亲测试可用。
kettle整合kafka生产者消费者插件
06-12
kettle7.1版本整合kafka，kafka插件包含生产者、消费者。直接在kettle安装目录plugins下创建steps目录，并解压下载文件到kettle/plugins/steps目录。具体可查看我博文。
python爬取前程无忧招聘网站数据搭建Hadoop、Flume、Kafka、Spark用Hive做数据分析Sqoop存储到Mysql并实现可视化
Stranger_top的博客
07-14 7859
文章目录一、环境搭建二、 一、环境搭建 二、
kettle+kafka+mysql_kettle整合kafka-consumer插件
weixin_42503881的博客
01-30 1499
Kettle安装Kafka Consumer插件：下载软件https://github.com/RuckusWirelessIL/pentaho-kafka-consumer/releases/tag/v1.5 或者　　pentaho-kafka-consumer-v1.5进入kettle安装目录：选中plugin中创建steps4.更新对应lib下的包，就是把》steps>penta...
kettle oracle到kafka,oracle到kafka的同步
weixin_33886150的博客
04-03 876
安装kafka安装zookeeper配置环境变量，/etc/profile添加以下内容：[root@T2kafkaogg]#exportZOOKEEPER_HOME=/opt/app/kafka/zookeeper-3.4.6[root@T2kafkaogg]#exportPATH=$PATH:$ZOOKEEPER_HOME/bin修改配置文件[root@T2kafkaogg]#c...
kettle配置kafka-consumer到excel
cs_jiang的专栏
03-19 6925
大致过程可参考这个哥们的bloghttps://www.cnblogs.com/huhongy/p/7851553.html 简单介绍kafka作为输入,excel作为输出,图示如下 解释kafka参数 ① kafka的topic ②与③对应kafka消息的key和message,具体如何模拟发送key,message格式后面介绍,同时对应输出excel的列名 ④ zooke...
一百零八、Kettle采集Kafka数据到HDFS（踩坑，亲测有效）
tiantang2renjian的博客
05-09 2849
Kettle采集Kafka数据到HDFS
kettle kafka
08-27
Kettle与Kafka是两个不同的工具，可以进行流处理的整合。首先，需要进行环境准备，如果使用的是Kettle8.0版本，则自动集成了Kafka插件，如果版本较低，则需要手动安装插件。 在搭建Kafka的测试环境时，可以使用...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

友培

数据皆开源！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值