Hadoop:ambari安装Flink服务

1.安装git

查看是否安装了git

git --help

如果没有git,那就安装

yum install git

2.设置version变量

VERSION=`hdp-select status hadoop-client | sed 's/hadoop-client - \([0-9]\.[0-9]\).*/\1/'`

echo $VERSION

3.下载ambari-flink-service服务

sudo git clone https://github.com.cnpmjs.org/abajwa-hw/ambari-flink-service.git   /var/lib/ambari-server/resources/stacks/HDP/$VERSION/services/FLINK

要点:直接http://github.com运行不通,需要将其替换为镜像网站:https://github.com.cnpmjs.org

4.配置本地下载源

通过链接下载好文件:

http://archive.apache.org/dist/flink/flink-1.9.1/flink-1.9.1-bin-scala_2.11.tgz

https://repo.maven.apache.org/maven2/org/apache/flink/flink-shaded-hadoop-2-uber/2.6.5-7.0/flink-shaded-hadoop-2-uber-2.6.5-7.0.jar

创建flink本地源文件夹

cd /var/www/html/
mkdir flink

然后将文件放到/var/www/html/flink文件夹下

5.修改要下载的flink版本(可以直接默认则跳过本步骤,如果需要则修改)

vim /var/lib/ambari-server/resources/stacks/HDP/2.6/services/FLINK/metainfo.xml

找到版本设置,修改为你想要的版本:

<version>1.9.1</version>

6.修改下载地址(针对2.6版本)

vim /var/lib/ambari-server/resources/stacks/HDP/2.6/services/FLINK/configuration/flink-ambari-config.xml

将其中的:

<property>
    <name>flink_download_url</name>
    <value>http://www.us.apache.org/dist/flink/flink-1.9.1/flink-1.9.1-bin-scala_2.11.tgz</value>
    <description>Snapshot download location. Downloaded when setup_prebuilt is true</description>
</property>

改为:

<property>
    <name>flink_download_url</name>
    <value>http://主节点ip地址/flink/flink-1.9.1-bin-scala_2.11.tgz</value>
    <description>Snapshot download location. Downloaded when setup_prebuilt is true</description>
</property>

如果前面修改过版本,这里需要将链接里面的版本同步

7.重启ambari服务

ambari-server restart

8.在ambari可视化界面里面安装flink

进入控制页面,点击“admin”,在Stack and Versions里面找到Flink服务,点击Add Service安装。

一直next到Customize Services后在Advanced flink-env里面的content最底下找到

env.java.home: /usr/jdk64/jdk1.8.0_77/jre

改为

env.java.home: /usr/java/jdk1.8.0_141/ #此处为你电脑里面的Java环境目录

然后到Custom flink-env下点击Add Property并在窗口添加

yarn.client.failover-proxy-provider=org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider

然后一直点击下一步直到安装完成

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值