Flume
大数据Flume
奋斗的IT小白菜
这个作者很懒,什么都没留下…
展开
-
flume和kafka整合——采集实时日志落地到hdfs
flume和kafka整合——采集实时日志落地到hdfs一、采用架构二、 前期准备2.1 虚拟机配置2.2 启动hadoop集群2.3 启动zookeeper集群,kafka集群三、编写配置文件3.1 slave1创建flume-kafka.conf3.2 slave3 创建kafka-flume.conf3.3 创建kafka的topic3.4 启动flume配置测试一、采用架构flume 采用架构exec-source + memory-channel + kafka-sinkkafka-so原创 2020-10-25 16:50:41 · 1869 阅读 · 0 评论 -
Flume日志采集多级Agent聚合
Flume日志采集多级AgentFlume Agent聚合介绍案例:模拟多Agent的日志采集Flume Agent聚合介绍这种模式是我们最常见的,也非常实用,日常web应用通常分布在上百个服务器,大者甚至上千个、上万个服务器。产生的日志,处理起来也非常麻烦。用flume的这种组合方式能很好的解决这一问题,每台服务器部署一个flume采集日志,传送到一个集中收集日志的flume,再由此flume上传到hdfs、hive、hbase等,进行日志分析。案例:模拟多Agent的日志采集假设有三台组机,s原创 2020-10-11 23:39:28 · 564 阅读 · 0 评论 -
flume监听文件追加内容并上传到HDFS
flume监听文件追加内容并上传到HDFS一、监听单个日志文件1.1 需求1.2 准备工作1.3 编写配置文件1.4 运行flume一、监听单个日志文件1.1 需求监控test.log日志文件,将日志文件追加的内容上传到hdfs1.2 准备工作Flume要想将数据输出到HDFS,必须持有Hadoop相关jar包,将对应jar复制到 /flume/lib 文件夹下这里使用hadoop版本:hadoop-2.7.6##需要的Jarhadoop-common-2.7.6.jarcommons-c原创 2020-10-08 18:29:59 · 1023 阅读 · 2 评论 -
Flume入门安装使用教程
1. 系统需求Flume需要Java 1.6及以上(推荐1.7),对Agent监控目录的读写权限。2. 下载软件包到Flume官网上http://flume.apache.org/download.html下载软件包.wget "http://www.apache.org/dist/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz"tar -xzvf ...原创 2020-02-02 16:44:45 · 469 阅读 · 0 评论