Ambari之flume集成配置及流程

（HDP）Ambari之flume集成配置及流程

查看压缩包中编译好的源码包 zkyrpm
一：将zkyrpm/ambari-flume-service 相对目录下的FLUME 复制到 ambari-server 主机的 /var/lib/ambari-server/resources/stacks/HDP/3.1/services/ 目录下并重启ambari-server:

ambari-server restart

到此，ambari的web界面就能识别出来flume了。

二：创建flume的本地yum源

mkdir /var/www/html/flume/

2.1 创建yum源

createrepo /var/www/html/flume/

2.2 将源码包相对目录zky/ambari-flume-service-master/buildrpm/rpmbuild/RPMS/noarch/下的flume-1.9.0-1.el7.centos.noarch.rpm拷贝到 /var/www/html/flume/ 目录下

三、创建repo

cd /etc/yum.repos.d/

3.1 添加flume本地源指向
vim flume.repo

[flume-1.9.0]
name=flume-1.9.0
baseurl=http://hadoop01/flume/
gpgcheck=1
enabled=1
priority=1

四、将flume.repo复制到需要安装的子节点上

scp flume.repo ht.big1.com:/etc/yum.repos.d/

五：通过ambariUI安装flume

1）点击 add service，勾选flume

点击 next。

2） 分配客户端

3） 填写flume agent配置文件

可以在这里填写配置，也可以不填，等安装完成再填写。点击next。

4）预览页面

直接点击 deploy。

5）安装成功

点击next。

6）完成

点击complete。

问题1:机器安装运行空间不足Error message: Error occured during stack advisor command invocation: No space left on device

解决：
执行df -h 找到使用100%的地址
我的机器是tmpfs /run 使用达到了100% ,为其扩容如下
执行mount tmpfs /run -t tmpfs -o size=1G，重新加载即可

问题2：找不到已经配置好的flume安装文件Operation failed - may be retried. Service component host: FLUME_HANDLER, host: ht.big1.com Action id 116-0 and taskId 1052

解决：
这是flume.rpeo文件中的参数未提升优先级，检查flume.repo是否将优先级提高

问题3：Package flume-1.9.0-1.el7.noarch.rpm is not signed

解决：
由于flume的rpm包时在本地编译的，没有对应的签名，将flume.repo中的gpgcheck设置为0即可。 gpgcheck表示使用gpg文件来检查软件包的签名

我将源码包已经编译好了，资料在这里：https://download.csdn.net/download/m0_37606374/85265984
参考文章:https://blog.csdn.net/NDF923/article/details/123692025