CDH
笔和墨
加班让我致富,睡觉阻碍进步
展开
-
flume集成CDH步骤与异常解决
1、 确定你的flume在哪台主机上2、 确认该台主机上的flume是否可以正常使用? 在指定的目录下,创建一个bigdata_page_to_hive.conf内容可以是官网的实例:http://flume.apache.org/FlumeUserGuide.html启动:flume-ng agent --conf conf --conf-file bigdata_page_to_hive....原创 2018-05-12 17:57:12 · 2846 阅读 · 0 评论 -
读取kafka数据通过SparkStreaming处理,数据零丢失--使用jdbc存储offset
1.MySQL创建存储offset的表格 mysql> use hxh mysql> create table hxh_offset( topic varchar(32), groupid varchar(50), partitions int, fromoffset bigint, untilof...转载 2019-04-15 17:38:56 · 589 阅读 · 0 评论