![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
qq_2631218300
这个作者很懒,什么都没留下…
展开
-
使用flume将本地数据导入kafka
文章目录创建topicflume操作使用kafka命令验证创建topic[root@hadoop1 kafka]# kafka-topics.sh --zookeeper hadoop1:2181 --create --topic users --partitions 1 --replication-factor 1Created topic "users".flume操作创建所需文件夹[root@hadoop1 jobkb09]# mkdir dataSourceFile[root@had原创 2020-12-08 19:59:23 · 294 阅读 · 0 评论 -
flume常用操作
文章目录几种flume常用的操作从控制台输入,本地连接读取本地文件本地读取文件(带筛选器Interceptors),实时更新(随本地时间更新时间目录),并上传至hdfs使用java代码 自定义筛选器(Interceptors)几种flume常用的操作从控制台输入,本地连接[root@hadoop1 ~] cd /opt/flume/conf/jobkb09[root@hadoop1 jobkb09] vi netcat-flume-logger.confnetcat-flume-logger.c原创 2020-12-02 20:04:17 · 269 阅读 · 0 评论 -
flume
文章目录1、flume 简介2、flume NG介绍flume特点flume 核心概念flume NG体系结构SourceChannelSink3、Flume的部署类型单一流程多代理流程(多个agent顺序连接)流的合并(多个Agent的数据汇聚到同一个Agent )多路复用流(多级流)load balance功能4、flume安装flume下载解压配置安装1、flume 简介flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为原创 2020-12-02 18:38:28 · 89 阅读 · 0 评论