kafka
骷髅头的寂寞
大千世界,只取一瓢饮。
展开
-
通过flume把日志文件内容写入kafka主题
首先自行安装flume和 kafka当然还要jdk,我flume版本是1.6的kafka版本2.11,jdk1.8。首先在路径flume下的conf里面创建一个logtokafka.conf文件进行配置配置内容如下。agent.sources=r1 agent.sinks=k1 agent.channels=c1 agent.sources.r1.type=exec agent.sources....原创 2018-06-05 10:48:57 · 808 阅读 · 0 评论 -
通过flume把oracle数据导入到kafka
版本flume 1.6 kafka2.11flume中缺少flume-ng-sql-source的jar包需要去下载,下载地址可以是:https://github.com/keedio/flume-ng-sql-source.git 但比较麻烦,也可以下载已经弄好的jar:https://download.csdn.net/download/chongxin1/9892184第一步:把下载好的...原创 2018-06-05 14:50:25 · 4790 阅读 · 0 评论 -
flume将kafka中topic数据导入hive中
一、首先更加数据的表结构在hive中进行表的创建。 create table AREA1(unid string,area_punid string,area_no string,area_name string,area_dept_unid string,area_longitude string,area_latitude string,area_sortid string,c...原创 2018-06-07 14:35:31 · 6483 阅读 · 1 评论