flume
文章平均质量分 87
走多远才算远
这个作者很懒,什么都没留下…
展开
-
【Flume_03_笔记】
channel选择器:channel selectors 负责 指定采集的数据 发送到指定的channel。EventTakeSuccessCount(从channel中成功取走的event数量)EventPutSuccessCount(成功放入channel的event数量)EventAcceptedCount(成功放入channel的event数量)AppendAcceptedCount(放入channel的event数量)原创 2022-12-15 08:16:06 · 246 阅读 · 0 评论 -
【 Flume_02_笔记】
hdfs.useLocalTimeStamp false =》true 指定数据罗盘:依照的时间是本地机器时间,不是数据本身的时间。a1.sinks.k1.hive.metastore= => 需要hive 启动metastore 服务。读取1111端口数据 数据发送到2222端口 最终2222端口 把数据写入hdfs? body:存数据 (默认 1 ) 目的是:正确的数据落到正确的目录下。 先产生的数据后到,后产生的数据先到。数据清洗:正确的数据重新落盘到正确的分区。原创 2022-12-15 08:15:20 · 206 阅读 · 0 评论 -
【flume_01】
linux 1个文件 => flume => hdfs 几个文件 =》 hdfs小文件问题?2.streaming data flows flume采集数据 实时采集数据。2.采集过的日志内容 flume挂掉了 重启 会导致 数据重复采集。为什么flume 采集数据 到hdfs?avro 序列化框架 source ****taildir Source 日志文件 ****flume采集数据hdfs 小文件问题如何解决?NetCat TCP port采集数据 **原创 2022-12-12 19:27:21 · 166 阅读 · 0 评论