flume
花和尚也有春天
会收集一些不错的文章,时常品读,也学着自己总结一些东西,坚持努力的方向!
展开
-
flume:配置文件中怎样定义变量
配置文件进行解释: a1.sources = r1 a1.sinks = k1 a1.channels = c1 该配置文件中 配置了一个代理a1 在代理agent中配置了一个source(源)一个sink(接收器)和一个channel(通道),分别为:r1,k1,c1 # Describe/configure the source a1.sources.r1.type = avro a1.sou...原创 2020-03-16 23:26:14 · 759 阅读 · 0 评论 -
Flume:数据导入到hdfs中
在前面的博客上我说了flume就是三个最重要的地方,分别是分别是source、channel、sink,source是获取数据,channel是通道,传输数据的,sink是把数据给谁的,这里显而易见的是把数据给hdfs的,所以我们只需要在前面的基础上改sink就可以了 在之前的基础上修改a.conf文件中的sink 修改完后启动hadoop 查看进程是...转载 2018-09-17 23:50:28 · 2696 阅读 · 0 评论 -
Flume:spark-project项目的flume配置
1、将flume-ng-1.5.0-cdh5.3.6.tar.gz使用WinSCP拷贝到sparkproject1的/usr/local目录下。 2、对flume进行解压缩:tar -zxvf flume-ng-1.5.0-cdh5.3.6.tar.gz 3、对flume目录进行重命名:mv apache-flume-1.5.0-cdh5.3.6-bin flume 4、配置scala相关的...原创 2018-09-18 19:23:10 · 189 阅读 · 0 评论 -
Flume:实现几十条业务线日志系统如何收集处理
在互联网迅猛发展的今天 各大厂发挥十八般武艺的收集用户的各种信息,甚至包括点击的位置,我们也经常发现自己刚搜完一个东西,再打开网页时每个小广告都会出现与之相关联的商品或信息,在感叹智能的同时不惊想 什么时候泄露的行踪。 许多公司的业务平台每天都会产生大量的日志数据。收集业务日志数据,供离线和在线的分析系统使用,正是日志收集系统的要做的事情。 用户的数据除了这种后台默默的收集外,还有各种...转载 2018-09-19 00:19:09 · 446 阅读 · 0 评论 -
Flume:采集日志
flume收集nginx日志:原创 2018-10-01 14:54:52 · 264 阅读 · 0 评论 -
Flume:使用exec及avro方式实现数据收集到HDFS的教程
1.使用exec实现数据收集到HDFS 需求:监控一个文件,将文件中新增的内容收集到HDFS Agent选型:exec source + memory channel + hdfs sink 编写flume-exec-hdfs.conf文件,内容如下 # Name the components on this agent exec-hdfs-agent.sources = exec-so...转载 2018-09-27 00:56:19 · 1259 阅读 · 0 评论 -
Flume:三种channel比较
Flume中提供的Channel实现主要有三个: Memory Channel event保存在Java Heap中。如果允许数据小量丢失,推荐使用 File Channel event保存在本地文件中,可靠性高,但吞吐量低于Memory Channel JDBC Channel event保存在关系数据中,一般不推荐使用 ...转载 2018-10-15 15:46:35 · 6128 阅读 · 2 评论