Flume 数据收集_注意事项
1、 hadoop 集群与 flume 集群单独部署,hdfs 文件系统数据存放目录为:hdfs://cluster1 /flume/%Y%m%d,flume 数据收集
的时候能否识别多 NameNode 对外提供的访问路径 cluster1?
1) 无法找到 hdfs,比如 cluster1 访问地址
解决办法:将 hdfs 相关配置文件放到,flume 安装目录下的 conf 目录中
2)flume 集群无法访问 hadoop 集群
解决办法:在 flume 节点的 hosts 文件中增加 hadoop 集群的 ip 配置
2、 课程中使用 Spooling Directory Source 只监控目录文件的变更,而不监控日志文件内容的变更。Spooling Directory Source
支持追加,是指不断的追加文件,也就是文件个数增加,而不是单个文件内容的增加。
3、 flume 目前不支持递归读取目录下的文件,我们一般将产生日志目录/log 与监控目录/flume 分开。
解决办法:通过定时的脚本程序将日志目录/log 新产生的日志,copy 到/flume 监控目录下,从而完成日志的收集
4、 我们通过脚本将日志文件复制到监控目录的时候,cp 大文件会抛出异常,这个是因为 copy 到 spoolDir 下的文件不可以被修
2
改所致
解决办法:使用 scp 或者 cp 备份文件,然后将文件 mv 进 spoolDir 下。还可以使用后缀名正则配合,先拷贝进去.tmp 的文
件,等待 copy 完成后,重命令该文件。
5、 Flume 收集数据的时候,每行数据的最大长度是 2048 个字节,如果我们收集的每行数据超过这个长度该如何处理?
解决办法:通过配置:agent1.sources.spool-source1.deserializer.maxLineLength = 10240,增加每行数据的长度。
6、 我们为什么使用 snappy 压缩?hadoop 本身不支持 snappy 压缩,需要安装,那么该如何安装 snappy?
答:压缩率合理,高速的压缩速度,支持 hadoop native 本地库。
通过 hadoop 源码编译,安装 snappy 并生成 hadoop native 本地库。
安装步骤:
yum -y install gcc-c++
安装 maven
tar -zxvf apache-maven-3.3.3-bin.tar.gz//解压
mv apache-maven-3.3.3 maven//修改名称
3
vi /etc/profile //添加环境变量
MAVEN_HOME=/usr/java/maven
PATH=$MAVEN_HOME/bin:$PATH
export MAVEN_HOME
保存退出
source /etc/profile//使文件生效
mvn –v//查看 maven 版本
安装 ProtocolBuffer
tar -zxvf protobuf-2.5.0.tar.gz
mv protobuf-2.5.0 protobuf
cd protobuf
./configure --prefix=/usr/local/protobuf
make
4
make check
make install
vi /etc/profile//添加环境变量
PROTOBUF_HOME=/usr/local/protobuf
PATH=$PROTOBUF_HOME/bin:$PATH
export PROTOBUF_HOME
保存退出
source /etc/profile//使文件生效
protoc –version 查看版本号
安装 cmake
yum -y install cmake
zlib 安装
yum -y install zlib
5
openssl devel
yum -y install openssl-devel
安装 snappy
tar -zxvf snappy-1.1.3.tar.gz
mv snappy-1.1.3 snappy
cd snappy
./configure
make
make install
编译 hadoop-2.2.0-src 源码
tar –zxvf hadoop-2.2.0-src.tar.gz
cd hadoop-2.2.0-src
mvn package -Pdist,native -DskipTests -Dtar -Dbundle.snappy -Dsnappy.lib=/usr/local/lib
6
hadoop-2.2.0-src/hadoop-dist/ target 在该目录找到编译后的 hadoop jar 包,然后使用解压后的 native 本地库进行替换
hadoop checknative –a 检查本地库是否安装成功
修改 hadoop 配置
修改 hadoop-env.sh
export HADOOP_HOME=/usr/java/hadoop 安装目录
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native
修改配置 core-site.xml
<property>
<name>io.compression.codecs</name>
<value>org.apache.hadoop.io.compress.SnappyCodec</value>
</property>
如果 MR 中间结果需要使用 snappy 压缩,修改 mapred-site.xml
<property>
7
<name>mapreduce.map.output.compress</name>
<value>true</value>
</property>
<property>
<name>mapreduce.map.output.compress.codec</name>
<value>org.apache.hadoop.io.compress.SnappyCodec</value>
</property>
转载于:https://www.cnblogs.com/wenhouniba/p/5390203.html