Flume
flume
Knight_AL
这个作者很懒,什么都没留下…
展开
-
Flume_自定义拦截器(Interceptor)
案例需求使用Flume采集服务器本地日志,需要按照日志类型的不同,将不同种类的日志发往不同的分析系统。需求分析在实际的开发中,一台服务器产生的日志类型可能有很多种,不同类型的日志可能需要发送到不同的分析系统。此时会用到Flume拓扑结构中的Multiplexing结构,Multiplexing的原理是,根据event中Header的某个key的值,将不同的event发送到不同的Channel中,所以我们需要自定义一个Interceptor,为不同类型的event的Header中的key赋予不同的值。原创 2022-05-10 00:00:00 · 851 阅读 · 0 评论 -
使用Flume监听整个目录的实时追加文件,并上传至HDFS
案例需求:使用Flume监听整个目录的实时追加文件,并上传至HDFS需求分析:实现步骤:(1)创建配置文件flume-taildir-hdfs.conf创建一个文件vim flume-taildir-hdfs.conf添加如下内容a1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = TAILDIRa1.sources.r1.positionF原创 2021-06-30 21:20:05 · 889 阅读 · 3 评论 -
使用Flume监听整个目录的文件,并上传至HDFS
案例需求:使用Flume监听整个目录的文件,并上传至HDFS需求分析:实现步骤:(1)创建配置文件flume-dir-hdfs.conf创建一个文件 vim flume-dir-hdfs.conf添加如下内容a1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = spooldira1.sources.r1.spoolDir = /export/原创 2021-06-22 19:14:00 · 1775 阅读 · 0 评论 -
Flume-实时监控Hbase日志,并上传到HDFS中
案例需求:实时监控Hive日志,并上传到HDFS中需求分析:实现步骤:(1)Flume要想将数据输出到HDFS,依赖Hadoop相关jar包检查/etc/profile.d/my_env.sh文件,确认Hadoop和Java环境变量配置正确#JAVA_HOMEexport JAVA_HOME=/export/servers/jdkexport PATH=$PATH:$JAVA_HOME/bin##HADOOP_HOMEexport HADOOP_HOME=/export/servers原创 2021-05-30 21:31:08 · 419 阅读 · 1 评论 -
Flume采集日志写到Hdfs(数仓项目)
目录Flume版本选择项目流程Flume核心配置启动flume agent采集数据思考问题 hdfs路径是否正确flume自定义拦截器Flume版本选择Flume 1.6无论是Spooling Directory Source和Exec Source均不能满足动态实时收集的需求Flume 1.7+提供了一个非常好用的TaildirSource使用这个source,可以监控一个目录,并且使用正则表达式匹配该目录中的文件名进行实时收集Taildir Source可实时监控一批文件,并记录每个文原创 2021-02-17 19:47:11 · 6535 阅读 · 0 评论 -
Flume采集数据到HDFS时,文件出现乱码
hdfs.fileType生成的文件类型,默认是SequencefileDataStream,则为普通文本解决方案在hdfs sink加一行a1.sinks.k1.hdfs.fileType = DataStream原创 2021-02-17 18:54:42 · 1127 阅读 · 0 评论 -
Flume-1.9.0的安装部署
安装地址(1) Flume官网地址:http://flume.apache.org/(2)文档查看地址:http://flume.apache.org/FlumeUserGuide.html(3)下载地址:http://archive.apache.org/dist/flume/安装部署(1)将apache-flume-1.9.0-bin.tar.gz上传到linux的/export/software目录下(2)解压apache-flume-1.9.0-bin.tar.gz到/export/se原创 2021-02-17 09:49:45 · 2094 阅读 · 0 评论 -
ERROR flume.SinkRunner: Unable to deliver event. Exception follows. org.apache.flume.EventDeliveryEx
如果报错是以下两条ERRORERROR flume.SinkRunner: Unable to deliver event. Exception follows.org.apache.flume.EventDeliveryException: java.lang.IllegalStateException: Empty value [channel=[channel=c2]]ERROR hdfs.HDFSEventSink: process failed解决方案删除checkpointDir=原创 2020-08-02 17:04:14 · 5564 阅读 · 2 评论 -
Flume 数据流监控
安装 httpd 服务与 php yum -y install httpd php 安装其他依赖 yum -y install rrdtool perl-rrdtool rrdtool-devel yum -y install apr-devel 安装 gangliarpm -Uvh http://dl.fedoraproject.org/pub/epel/6/x86_64/epe...原创 2020-04-27 23:32:16 · 205 阅读 · 0 评论 -
Flume-1.7.0的安装部署
1)将 apache-flume-1.7.0-bin.tar.gz 上传到 linux 的/export/software 目录下2)解压 apache-flume-1.7.0-bin.tar.gz 到/export/servers/目录下tar -zxf apache-flume-1.7.0bin.tar.gz -C /export/servers/3)修改 apache-flume-1...原创 2020-04-20 22:25:07 · 250 阅读 · 0 评论