mysql 数据实时到 hdfs和kafka

本文介绍了如何将MySQL中的数据实时同步到HDFS和Kafka,包括创建MySQL表,设置Flume配置文件,配置HDFS和Kafka的sink,以及增量数据的处理。测试显示数据已成功采集并消费。
摘要由CSDN通过智能技术生成

1.在mysql创建表导入数据

use test;

create table wlslog
(id int not null,
time_stamp varchar(40),
category varchar(40),
type varchar(40),
servername varchar(40),
code varchar(40),
msg varchar(40),
primary key ( id )
);

insert into wlslog(id,time_stamp,category,type,servername,code,msg) values(1,‘apr-8-2014-7:06:16-pm-pdt’,‘notice’,‘weblogicserver’,‘adminserver’,‘bea-000365’,‘server state changed to standby’);
insert into wlslog(id,time_stamp,category,type,servername,code,msg) values(2,‘apr-8-2014-7:06:17-pm-pdt’,‘notice’,‘weblogicserver’,‘adminserver’,‘bea-000365’,‘server state changed to starting’);
insert into wlslog(id,time_stamp,category,type,servername,code,msg) values(3,‘apr-8-2014-7:06:18-pm-pdt’,‘notice’,‘weblogicserver’,‘adminserver’,‘bea-000365’,‘server state changed to admin’);
insert into wlslog(id,time_stamp,category,type,servername,code,msg) values(4,‘apr-8-2014-7:06:19-pm-pdt’,‘notic

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值