CDH 6.3.2 Parcel 包安装 Apache Flink 1.10.2

已于 2024-01-21 09:57:57 修改
阅读量1k 收藏 24
点赞数 20
分类专栏： Flink 文章标签： apache flink 大数据
于 2024-01-21 09:57:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42598916/article/details/135726042
版权

CDH 6.3.2 Parcel 包安装 Apache Flink 1.10.2

文档材料

介质路径

调整 Maven 配置文件

# 备份原始文件
cp /data/maven/apache-maven-3.6.3/conf/settings.xml /data/maven/apache-maven-3.6.3/conf/settings.xml.orig

# 添加镜像路径
# 在 159 行的 "</mirrors>" 前，添加如下配置
<!-- flink 源码编译-->
<mirror>
    <id>alimaven</id>
    <mirrorOf>central</mirrorOf>
    <name>aliyun maven</name>
    <url>http://maven.aliyun.com/nexus/content/repositories/central/</url>
</mirror>
<mirror>
    <id>alimaven</id>
    <name>aliyun maven</name>
    <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
    <mirrorOf>central</mirrorOf>
</mirror>
<mirror>
    <id>central</id>
    <name>Maven Repository Switchboard</name>
    <url>http://repo1.maven.org/maven2/</url>
    <mirrorOf>central</mirrorOf>
</mirror>
<mirror>
    <id>repo2</id>
    <mirrorOf>central</mirrorOf>
    <name>Human Readable Name for this Mirror.</name>
    <url>http://repo2.maven.org/maven2/</url>
</mirror>
<mirror>
    <id>ibiblio</id>
    <mirrorOf>central</mirrorOf>
    <name>Human Readable Name for this Mirror.</name>
    <url>http://mirrors.ibiblio.org/pub/mirrors/maven2/</url>
</mirror>
<mirror>
    <id>jboss-public-repository-group</id>
    <mirrorOf>central</mirrorOf>
    <name>JBoss Public Repository Group</name>
    <url>http://repository.jboss.org/nexus/content/groups/public</url>
</mirror>
<mirror>
    <id>google-maven-central</id>
    <name>Google Maven Central</name>
    <url>https://maven-central.storage.googleapis.com
    </url>
    <mirrorOf>central</mirrorOf>
</mirror>
<!-- 中央仓库在中国的镜像 -->
<mirror>
    <id>maven.net.cn</id>
    <name>oneof the central mirrors in china</name>
    <url>http://maven.net.cn/content/groups/public/</url>
    <mirrorOf>central</mirrorOf>
</mirror>

编译 Flink

1. 创建服务目录

mkdir -p /data/flink

2. 下载介质

wget https://archive.apache.org/dist/flink/flink-shaded-10.0/flink-shaded-10.0-src.tgz -P /data/flink
wget https://archive.apache.org/dist/flink/flink-1.10.2/flink-1.10.2-bin-scala_2.12.tgz -P /data/flink

3. 编译 Flink Shaded

# 解压 Flink Shaded 压缩包
tar -xzf /data/flink/flink-shaded-10.0-src.tgz -C /data/flink

# 备份初始配置文件
cp /data/flink/flink-shaded-10.0/pom.xml /data/flink/flink-shaded-10.0/pom.xml.orig

# 修改配置文件
# 在 170 行的 "</profiles>" 前，添加如下配置
<profile>
    <id>java11</id>
    <activation>
        <jdk>11</jdk>
    </activation>
    <id>vendor-repos</id>
    <activation>
        <property>
            <name>vendor-repos</name>
        </property>
    </activation>
    <!-- Add vendor maven repositories -->
    <repositories>
        <!-- Cloudera -->
        <repository>
            <id>cloudera-releases</id>
            <url>https://repository.cloudera.com/artifactory/cloudera-repos</url>
            <releases>
                <enabled>true</enabled>
            </releases>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </repository>
        <!-- Hortonworks -->
        <repository>
            <id>HDPReleases</id>
            <name>HDP Releases</name>
            <url>https://repo.hortonworks.com/content/repositories/releases/</url>
            <snapshots><enabled>false</enabled></snapshots>
            <releases><enabled>true</enabled></releases>
        </repository>
        <repository>
            <id>HortonworksJettyHadoop</id>
            <name>HDP Jetty</name>
            <url>https://repo.hortonworks.com/content/repositories/jetty-hadoop</url>
            <snapshots><enabled>false</enabled></snapshots>
            <releases><enabled>true</enabled></releases>
        </repository>
        <!-- MapR -->
        <repository>
            <id>mapr-releases</id>
            <url>https://repository.mapr.com/maven/</url>
            <snapshots><enabled>false</enabled></snapshots>
            <releases><enabled>true</enabled></releases>
        </repository>
    </repositories>
</profile>

# 编译 Flink Shaded
# - clean: 在构建项目之前,清理先前生成的文件。它会删除 target 目录
# - install: 将构建的项目文件安装到本地 Maven 仓库中。其他项目可以从本地仓库中引用这个项目
# - DskipTests: 在构建期间跳过运行测试
# - Pvendor-repos: 激活 Maven profile 为 vendor-repos
# - Dhadoop.version=3.0.0-cdh6.3.2: 指定 Hadoop 版本为 3.0.0-cdh6.3.2 
# - Dscala-2.12: 指定 Scala 版本为 2.12
# - Drat.skip=true: 跳过 "Release Audit Tool"（RAT）检查。RAT 用于检查项目是否符合 Apache 许可证要求
# - T10C: 启用并行构建，线程数为 10，C 表示以类的方式执行构建
cd /data/flink/flink-shaded-10.0/ && mvn clean install -DskipTests -Pvendor-repos -Dhadoop.version=3.0.0-cdh6.3.2 -Dscala-2.12 -Drat.skip=true -T10C

制作 Pacel 包

# 下载介质
git clone https://github.com/pkeropen/flink-parcel.git

# 将 flink-1.10.2-bin-scala_2.12.tgz 存入指定路径
cp /data/flink/flink-1.10.2-bin-scala_2.12.tgz /data/flink/flink-parcel/

# 备份原始配置文件
cp /data/flink/flink-parcel/flink-parcel.properties /data/flink/flink-parcel/flink-parcel.properties.orig

# 修改配置文件
cat > /data/flink/flink-parcel/flink-parcel.properties << EOF
# FLINK 下载地址
FLINK_URL=https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.10.2/flink-1.10.2-bin-scala_2.12.tgz

# Flink 版本号
FLINK_VERSION=1.10.2

# 扩展版本号
EXTENS_VERSION=BIN-SCALA_2.12

# 操作系统版本，以centos为例
OS_VERSION=7

# CDH 小版本
CDH_MIN_FULL=5.2
CDH_MAX_FULL=6.3.3

# CDH大版本
CDH_MIN=5
CDH_MAX=6
EOF

# 增加 build.sh 权限
chmod +x build.sh

# 编译 Flink Parcel
sh build.sh parcel

# 生成 csd 文件
# On YARN
sh build.sh csd_on_yarn

# StandAlone
sh build.sh csd_standalone

# 查看是否已生成所需文件
ll /data/flink/flink-parcel
-rwxr-xr-x 1 root root      5863 Nov 27 14:50 build.sh
drwxr-xr-x 6 root root       142 Nov 27 15:03 cm_ext
drwxr-xr-x 4 root root        29 Nov 27 15:31 FLINK-1.10.2-BIN-SCALA_2.12
drwxr-xr-x 2 root root       123 Nov 27 15:31 FLINK-1.10.2-BIN-SCALA_2.12_build
-rw-r--r-- 1 root root 280626150 Nov 27 14:52 flink-1.10.2-bin-scala_2.12.tgz
-rw-r--r-- 1 root root      7737 Nov 27 15:40 FLINK-1.10.2.jar
drwxr-xr-x 5 root root        53 Nov 27 15:40 flink_csd_build
drwxr-xr-x 5 root root        53 Nov 27 14:50 flink-csd-on-yarn-src
drwxr-xr-x 5 root root        53 Nov 27 14:50 flink-csd-standalone-src
-rw-r--r-- 1 root root      8260 Nov 27 15:40 FLINK_ON_YARN-1.10.2.jar
-rw-r--r-- 1 root root       350 Nov 27 14:55 flink-parcel.properties
-rw-r--r-- 1 root root       346 Nov 27 14:53 flink-parcel.properties.orig
drwxr-xr-x 3 root root        85 Nov 27 14:50 flink-parcel-src
-rw-r--r-- 1 root root     11357 Nov 27 14:50 LICENSE
-rw-r--r-- 1 root root      4334 Nov 27 14:50 README.md

配置 Flink Parcel

1. 节点配置

# 将 csd 文件存入 cloudera-scm-server 节点的 /opt/cloudera/csd 目录下
scp FLINK-1.10.2.jar FLINK_ON_YARN-1.10.2.jar root@cloudera-scm-server:/opt/cloudera/csd

# 配置 Httpd 服务，外发 Flink Parcel 配置及介质
ln -s /data/flink/flink-parcel/FLINK-1.10.2-BIN-SCALA_2.12_build /var/www/html/flink1.10.2

# 查看外发 Flink Parcel 配置及介质
ll /var/www/html/flink1.10.2/
-rw-r--r-- 1 root root 280629521 Nov 27 15:47 FLINK-1.10.2-BIN-SCALA_2.12-el7.parcel
-rw-r--r-- 1 root root        41 Nov 27 15:47 FLINK-1.10.2-BIN-SCALA_2.12-el7.parcel.sha
-rw-r--r-- 1 root root       583 Nov 27 15:47 manifest.json

# 备份原文件
cp /etc/httpd/conf/httpd.conf /etc/httpd/conf/httpd.conf.orig

# 调整配置文件
# 将 284 行更改为如下配置
AddType application/x-gzip .gz .tgz .parcel

# 重启服务使其生效
systemctl restart httpd

# 查看外发状态
curl http://${httpd_server_ip}/flink1.10.

2. CM Web UI，选择 Parcel 配置，添加 http://${httpd_server_ip}/flink1.10.2

3. Parcel 中将会识别 Flink Parcel 包

4. 下载 => 分配 => 激活 Parcel 包

部署 Flink 服务

1. 重启 cloudera-scm-server 服务

systemctl restart cloudera-scm-server

2. 将 Flink Shaded 存入指定路径

# 所有 cloudera-scm-agent 都需进行如下操作
cp /data/flink/flink-shaded-10.0/flink-shaded-hadoop-2-parent/flink-shaded-hadoop-2-uber/target/flink-shaded-hadoop-2-uber-3.0.0-cdh6.3.2-10.0.jar /opt/cloudera/parcels/FLINK/lib/flink/lib/

3. 按流程完成 Flink 部署（若未配置 kerberos，需将两项 kerberos 配置清空）

验证 Flink 服务

1. 查看 YARN 应用程序，存在驻留任务 “Flink session cluster”

2. 通过此任务信息，跳转至 Flink Dashbord

JP.Hu
关注
  • 20
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
CDH部署flink1.13
菜鸟的博客
08-10 1380
cdh flink1.13
cdh6.3.2集成flink1.10.2-parcel包(亲测可用)
12-01
源码编译制作的parcel包，centos7.5+cdh6.3.2+scala2.12亲测可用，内附文章教程地址。
CDH6.3.2集成Flink1.14.4
04-18
1、资源包括commons-cli-1.5.0，flink-shaded-hadoop-2-uber-3.0.0-cdh6.3.2-10.0放入flink的lib包下使用 2、部署过程中有Redaction rules file doesn't exist, not redacting logs. file: redaction-rules.json和rotateLogFilesWithPrefix: command not found问题，不影响使用
CDH安装flink
bububu~
01-22 277
CDH安装flink flink 下载 https://archive.cloudera.com/csa/1.0.0.0/csd/ 这里下载jar包 https://archive.cloudera.com/csa/1.0.0.0/parcels/ 这里下载需要的parcel 创建 flink_parcels文件 接部署CDH的文章 https://blog.csdn.net/weixin_44677459/article/details/112235802 在/var/www/html下创建一个parce
CDH中安装flink
qq_43689775的博客
09-01 385
安装错误：查看日志文件显示：flink/bin/flink-yarn.sh: line 17: rotateLogFilesWithPrefix: command not found。审核更改，将这两项配置security.kerberos.login.keytab、security.kerberos.login.principal设置为空字符串，点击继续.检测parcel，检测到flink的parcel后按流程操作，分配激活即可。，完成后会有一个flink-parcel的包。（2）添加flink 服务。
CDH 6.3.2下安装Flink
weixin_47444415的博客
02-17 1574
cdh 6.3.2下安装flink简单教程，自己在生产环境中测试成功
cdh6 flink 安装
kwame211的博客
03-06 3255
flink可以做为批处理，也可以流处理的工具。功能根spark差不多，不过据说比spark强大。据说天猫双11，就用的这玩意。 一，创建flink parcel 1，下载flink parcel 查看复制打印? #gitclonehttps://github.com/pkeropen/flink-parcel.git 2，配置flink-parcel.properties ...
CDH6.3.2集成flink1.13 parcel 包
10-25
FLINK-1.13.2-BIN-SCALA_2.11-el7.parcel.sha FLINK-1.13.2-BIN-SCALA_2.11-el7.parcel manifest.json FLINK_ON_YARN-1.13.2.jar 安装教程见 ...
CDH6.3.2集成flink1.14.5 parcel
07-26
实测可用，自己编译的
CDH6.3.2集成Flink1.12.2-parcel包(apache Flink-1.12.2-bin-scala_2.12.tgz)
04-15
源码编译制作的parcel包，linux+cdh6.3.2+scala2.12必然可用，内附文章的教程地址。
CDH5.16.1 集成Flink1.10.0 parcel文件
11-07
CDH5.16.1集成Flink1.10.0 parcel文件，csd文件。Centos7.5编译。亲测可用。
Flink在CDH配置部署及读取kafka的实例验证；
05-06
CDH目前不带flink组件，文档为Flink在CDH集群上的配置部署及读取kafka的实例验证；
大数据集群cloudera CDH安装手册
12-19
大数据集群 cloudera CDH 安装手册 在服务器上安装CDH的实验 亲测可用
CDH6 配置Flink1.10(编译安装)
我思，顾我在
06-19 3262
以下包含了CDH6整合Flink1.10编译安装的全过程以及趟过的坑，供大家参考、避坑。 一、环境 CDH 6.2.1(Hadoop 3.0.0)、Flink 1.10.1、Centos7.7、Maven 3.6.3、Scala-2.12和JDK1.8 二、安装包 1、flink1.10.1 tar包 https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.10.1/flink-1.1...
CDH整合Flink(CDH6.3.0+Flink1.12.1)
最新发布
yzw_ai_sx的博客
01-14 1357
CDH集成Flink
CDH6.2+集成Flink
qq_43403113的博客
04-15 4113
手动编译基于cdh版本的flink
CDH 集成 Flink-1.14.3 过程与踩坑记录
予挚之的博客
04-20 1324
（2）此时报错依然存在，我们查看 flink 的输出日志。（3）打开 flink-yarn 配置。（5）最后重新启动 flink 即可。（4）将这两行删除掉并保存配置。
flink集群一键安装脚本 -- flink集群安装
晴空的博客
02-25 999
#!/bin/sh ########## HELP ########### if [ $# -ne 0 ];then if [ $1 == "-h" -o $1 == "-help" ];then echo -e " 示例： ./test # 启动本地模式，不修改任何配置 ...
自制Flink Parcel集成CDH（Flink1.12.0 + CDH6.3.2）
qq_41041447的博客
01-15 4585
记录制作flink parcel 环境（虚拟机，系统CentOS7.6） （1）jdk1.8 （2）maven3.6.1 （3）parcel制作工具 1.jdk1.8 下载jdk1.8版本并上传到虚拟机的指定目录下，我的目录是/app 解压jdk到当前目录 tar -zxvf /app/jdk-8u151-linux-x64.tar.gz -C . 重命名 mv jdk1.8.0_151/ jdk 配置系统环境变量 vim /etc/profile 在最后添加： export JAVA_HOME=/ap
cdh6.3.2集成flink
09-01
要在CDH 6.3.2中集成Flink，你需要按照以下步骤进行操作。 1. 首先，下载Flink的包。你可以在Flink官网的下载页面找到相应的版本。将下载的包解压缩到指定的路径下。 2. 接下来，将生成的两个JAR包复制到/var/...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

JP.Hu

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值