![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
万家林
热爱大数据和AI的一名在职大数据开发工程师
展开
-
Flume经典案例之自定义Source
需求分析:使用flume接收数据,并给每条数据添加前缀,输出到控制台。操作步骤:1、打开IDEA,新建maven工程。2、导入依赖<dependency> <groupId>org.apache.flume</groupId> <artifactId>flume-ng-core</artifactId> <version>1.6.0</version> </depe原创 2021-12-26 21:34:53 · 911 阅读 · 0 评论 -
Flume经典案例之自定义Sink
需求分析:使用flume接收数据,并给每条数据添加前缀,输出到控制台。操作步骤:1、打开IDEA,新建maven工程。2、导入依赖<dependency> <groupId>org.apache.flume</groupId> <artifactId>flume-ng-core</artifactId> <version>1.6.0</version></dependen原创 2021-12-26 21:27:03 · 720 阅读 · 0 评论 -
Flume经典案例之自定义拦截器
需求分析:对Source接收到的Event对象进行操作,Event对象:header和body。body内容 以hello开头,则给event头header打入hello标签,body内容 以hi开头,则给event头header打入hi标签,其他的打上other标签。操作步骤:1、打开IDEA,新建maven工程。2、导入依赖<dependency> <groupId>org.apache.flume</groupId> <ar原创 2021-12-26 21:19:49 · 661 阅读 · 0 评论 -
Flume经典案例之故障转移和负载均衡
项目场景:1、安装netcat工具命令yum install -y nc2、本次监听的端口是22222,33333,44444,检查端口是否被占用命令netstat -tunlp | grep 22222,netstat -tunlp | grep 33333,netstat -tunlp | grep 44444操作步骤:1、创建配置文件,agent2.conf,分别在node1,node2,node3中内容如下:#node1a1.sources=r1a1.channels=c1a1原创 2021-12-26 20:59:51 · 538 阅读 · 0 评论 -
Flume经典案例之复制和多路复用
准备工作:1、准备一个文件,方便后面使用2、Hadoop集群,需要三个节点操作步骤:1、创建配置文件agent1.conf,分别在node1,node2,node3中内容如下:#agent1(node1)a1.sources=r1a1.channels=c1 c2a1.sinks=k1 k2a1.sources.r1.type=execa1.sources.r1.command=tail -F /opt/soft/flume190/demo/123.log#配置channelSel原创 2021-12-26 20:46:23 · 521 阅读 · 0 评论 -
Flume经典案例之实时监控目录下的多个追加文件(保姆级教程)
准备工作:1、准备几个文件2、提前建好文件夹用于存放文件操作步骤:1、创建配置文件taildirsource_loggersink.conf内容如下:a1.sources=r1a1.channels=c1 a1.sinks=k1a1.sources.r1.type=TAILDIRa1.sources.r1.positionFile = /opt/soft/flume190/tail_dir.jsona1.sources.r1.filegroups = f1 f2a1.sources原创 2021-12-26 18:14:24 · 729 阅读 · 0 评论 -
Flume经典案例之实时监控多个新文件(保姆级教程)
准备工作:1、准备多个大文件,以备后面使用2、提前创建好目录和文件上传至linux中操作步骤:1、首先先将我们要操作的文件拷贝到指定的文件夹下,方便一会使用命令和写配置文件命令cp events.csv flumelogfile/events/events_2021-12-26.csv2、创建events-flume-logger.conf内容如下:events.sources=eventsSourceevents.channels=eventsChannelevents.sinks=e原创 2021-12-26 17:53:29 · 818 阅读 · 0 评论 -
Flume经典案例之实时监控单个追加文件(保姆级教程)
案例说明:1、以日志的形式输出2、输出到hdfs中操作步骤:一、以日志的形式输出1、创建file-flume-logger.conf内容如下:a2.sources=r1a2.channels=c1a2.sinks=k1a2.sources.r1.type=execa2.sources.r1.command=tail -f /opt/soft/flume160/conf/KB15conf/flumefile.loga2.channels.c1.type=memorya2.chan原创 2021-12-26 16:31:46 · 789 阅读 · 1 评论 -
Flume经典案例之监控端口数据(保姆级教程)
准备工作:1、安装netcat工具命令yum install -y nc2、本次监听的端口是44444,检查端口是否被占用命令netstat -tunlp | grep 44444操作步骤:1、创建配置文件netcat-flume-logger.conf内容如下:a1.sources=r1a1.channels=c1a1.sinks=k1a1.sources.r1.type=netcata1.sources.r1.bind=localhosta1.sources.r1.port=原创 2021-12-26 16:02:06 · 701 阅读 · 0 评论 -
Flume安装和配置(单机版)(保姆级教程)
Flume简述:(1)Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,灵活简单。(2)Flume最主要的作用就是,实时读取服务器本地磁盘的数据,将数据写入到HDFS。(3)Flume用于将多种来源的日志以流的方式传输至Hadoop或者其它目的地。一种可靠、可用的高效分布式数据收集服务。(4)Flume拥有基于数据流上的简单灵活架构,支持容错、故障转移与恢复。Flume架构:Client:客户端,数据产生的地方,如Web服原创 2021-12-20 14:25:05 · 1519 阅读 · 0 评论