flume采集数据到hdfs

最新推荐文章于 2024-01-09 22:07:52 发布

程序小小望

最新推荐文章于 2024-01-09 22:07:52 发布

阅读量1.8w

点赞数

分类专栏：大数据文章标签： hadoop flume 数据采集 hdfs

本文链接：https://blog.csdn.net/jinyingone/article/details/44046751

版权

本文介绍了如何使用 Flume 1.5 版本将数据采集到 HDFS。首先，配置 JAVA_HOME 和 HADOOP_HOME 环境变量，接着解压 Flume 并运行 bin 目录下的 flume-ng 命令。启动 Flume agent 需要指定配置文件 a4.conf，包含 agent 的名称。详细步骤和配置文件内容参照官方文档。

摘要由CSDN通过智能技术生成

说明：flume1.5，hadoop2.2
1、配置JAVA_HOME和HADOOP_HOME
说明：HADOOP_HOME用于获取flume操作hdfs所需的jar和配置文件，如果不配置，也可以手动拷贝jar包和配置文件
2、解压flume，执行bin目录下的flume-ng

flume-ng agent -f /master/env/fc/a4.conf -n a4 -c /master/env/flume/conf -Dflume.root.logger=INFO,console

命令解释:
agent run a Flume agent
global options:
–conf,-c use configs in directory、(配置文件的路径)
-Dproperty=value sets a Java system property value（java参数）
agent options:
–conf-file,-f specify a config file