FLUME
joshua_qi
仔细一看,也就那点事
展开
-
基于flume同步mysql数据至kafka(小白入手超详细)
一、前言: 现在需要经mysql的数据定时同步到kafka,一开始用的canal但是不知道为啥没成功,启动起来了但就是数据过去不,查看log也不报错,所以转到flume。发现flume挺好用的,而且灵活。二、同步原理: Flume原理就不多介绍了,文章一大把,我说一下,连接sql的原理。我调的是网上的开源插件,看了一下log日志,特意分享一下原理,有错误的希望指出,大...原创 2020-04-18 11:50:03 · 1780 阅读 · 0 评论 -
CDH版本Flume报错:java.lang.NoSuchMethodError
问题:用Flume同步mysql数据到kafka的时候,会导入一个flume-ng-sql-souce.jar的插件。但开源社区的插件是apache flume版本的,与CDH版本的不兼容,会报如下错误:java.lang.NoSuchMethodError20/4/16 15:40:23 ERROR node.PollingPropertiesFileConfigurationP...原创 2020-04-19 21:30:45 · 674 阅读 · 0 评论