Mac m1安装hadoop配置Flink on yarn，并使用streampark启动Flink on yarn Application与session作业

已于 2024-07-17 17:22:41 修改
阅读量1k 收藏 13
点赞数 22
文章标签： macos hadoop flink
于 2024-07-17 16:52:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41527073/article/details/140498688
版权

本文将全流程介绍JDK安装、hadoop安装与配置、Flink安装与配置、Flink本地直接启动yarn-session模式、StreamPark安装与配置、StreamPark启动yarn-session模式、StreamPark启动yarn-application模式。

一. 安装JDK

1. 安装JDK

网上很多教程，请自行前往Oracle官网 https://www.oracle.com/hk/java/technologies/downloads/下载安装，本文不再赘述。

2. 安装之后执行java -version 查看

在这里插入图片描述

3. 配置JAVA_HOME环境变量

1. 查看JDK安装位置
/usr/libexec/java_home -V

在这里插入图片描述

2. 编辑环境变量文件 vim ~/.bash_profile，在最后面添加内容
#环境变量
export MAVEN_HOME=/Users/wangkeshuai/Documents/javaEE/maven/apache-maven-3.8.6
export PATH=$PATH:$MAVEN_HOME/bin
export JAVA_HOME=/Library/Java/JavaVirtualMachines/zulu-8.jdk/Contents/Home
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
3. 输入命令【source ~/.bash_profile】 使配置文件生效。

二. 安装hadoop

1. 设置SSH免密登陆

1. 打开mac共享

在这里插入图片描述

2. 打开终端，依次输入如下命令
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/id_rsa.pub
3.输入【ssh localhost】验证

在这里插入图片描述

2. 下载Hadoop

1. 进入网址Apache Hadoop，选择3.3.6版本Hadoop，选择binary download，由于我是M1芯片，此处选择aarch64架构

在这里插入图片描述
在这里插入图片描述

2. 获取.gz文件后双击解压该文件，获取到hadoop-3.3.6文件夹，将此文件放入根目录下（USER/[你的名字])
3.修改配置文件
(1)vim ～/.zprofile

打开 zprofile，添加以下内容, HADOOP_HOME=/Users/wangkeshuai/Documents/download/hadoop-3.3.6/
修改为你自己的路径。

# Hadoop
export HADOOP_HOME=/Users/wangkeshuai/hadoop-3.3.6/
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/nativ"

输入【source ~/.zprofile】使内容生效

(2)进入/Users/wangkeshuai/hadoop-3.3.6/etc/hadoop 目录
cd /Users/wangkeshuai/hadoop-3.3.6/etc/hadoop
(3)打开hadoop-env.sh 【vim hadoop-env.sh】,添加如下内容，路径为jdk所在路径，上文有提到如何获取
export JAVA_HOME="/Library/Java/JavaVirtualMachines/zulu-8.jdk/Contents/Home"
(4)打开core-site.sh文件【vim core-site.xml】，将标签中内容替换如下，路径需换成自己的路径
<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/Users/wangkeshuai/hdfs/tmp/</value>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://127.0.0.1:9000</value>
    </property>
</configuration>
(5)打开hdfs-site.xml文件【vim hdfs-site.xml】，将标签中内容替换如下，路径需换成自己的路径
<property>
   <name>dfs.data.dir</name>
   <value>/Users/wangkeshuai/hdfs/namenode</value>
</property>
<property>
   <name>dfs.data.dir</name>
   <value>/Users/wangkeshuai/hdfs/datanode</value>
</property>
<property>
   <name>dfs.replication</name>
   <value>1</value>
</property>
</configuration>
(6)打开mapred-site.xml文件【vim mapred-site.xml】，将标签中内容替换如下，无需更改路径
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>
(7)打开yarn-site.xml文件【vim yarn-site.xml】，将标签中内容替换如下，无需更改路径。
<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>127.0.0.1</value>
  </property>
  <property>
    <name>yarn.acl.enable</name>
    <value>0</value>
  </property>
  <property>
    <name>yarn.nodemanager.env-whitelist</name>
    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PERPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
  </property>
  <property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>4</value>
  </property>
  <property>
    <name>yarn.scheduler.maximum-allocation-vcores</name>
    <value>2</value>
  </property>
  <property>
    <name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>
    <value>99.0</value>
    <description>Maximum utilization threshold (percentage) of the local directory used by NodeManager.</description>
  </property>
  <property>
    <name>yarn.nodemanager.disk-health-checker.max-log-utilization-per-disk-percentage</name>
    <value>99.0</value>
    <description>Maximum utilization threshold (percentage) of the log directory used by NodeManager.</description>
  </property>
</configuration>
4. 执行【hdfs namenode -format】

正常应显示如下：
在这里插入图片描述

5. 执行【start-all.sh】,查看resourcemanager 和nodemanagers是否启动成功

在这里插入图片描述

6. 执行【jps】可查看进程

在这里插入图片描述

7. 访问页面验证

在浏览器中输入http://localhost:8088/
显示如下：​​​​​​​
在这里插入图片描述

三. 配置Flink

1. 下载Flink安装包并解压

在这里插入图片描述

2. 配置环境变量【vim ~/.bash_profile】
#flink
export FLINK_HOME=/Users/wangkeshuai/Documents/learn/Flink/flink-1.16.2
export PATH=$PATH:$FLINK_HOME/bin:$HADOOP_HOME/bin
#hadoop
export HADOOP_HOME=/Users/wangkeshuai/hadoop-3.3.6
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CLASSPATH=`hadoop classpath`
3. 启动Flink Session mode
cd /Users/wangkeshuai/Documents/learn/Flink/flink-1.16.2/bin
./yarn-session.sh

启动成功后，日志如下：
在这里插入图片描述

在hadoop页面点击Applications，然后点击Flink应用ID，如下图：
在这里插入图片描述

点击跳转Flink的URL，如下图：
在这里插入图片描述

可以看到Flink-Web-UI页面，在此可以提交任务，如下图：
在这里插入图片描述

四. 使用StreamPark分别运行yarn-session和yarn-application任务

1. 下载Streamparkhttps://streampark.apache.org/download/

在这里插入图片描述

2. 解压StreamPark包，启动StreamPark（这里我本地为2.0.0版本，就不下载最新版了，区别不大）

由于Streampark默认以h2内置数据库启动，这里我们演示直接用h2，正式环境建议修改conf目录下的配置文件，改为mysql

tar -xvf apache-streampark_2.12-2.0.0-incubating-bin
cd apache-streampark_2.12-2.0.0-incubating-bin/bin
./startup.sh

启动成功后会出现如下界面：
在这里插入图片描述

访问web页面（http://localhost:10000）默认用户名密码为admin/streampark
在这里插入图片描述

3. 给StreamPark添加Flink运行环境

将Flink安装路径配置到此处，点击确定即可
在这里插入图片描述

4. 创建并运行YARN-Application任务

选择执行模式为yarn-application，Flink版本选择刚才添加的Flink-1.16.2，作业为datagen从1数到500，一秒数一次
在这里插入图片描述

作业名称不可重复，其他参数可填可不填，完成后点击提交
在这里插入图片描述

回到任务列表页面，点击发布，发布成功后点击运行任务，第一次运行关闭从保存点恢复
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
点击查看作业详情页面，可以跳转Flink-web-ui
在这里插入图片描述

可以看到在正常运行datagen作业，说明运行成功
在这里插入图片描述

hadoop页面可以看到yarn队列
在这里插入图片描述

5. 创建并运行YARN-Session作业

配置Flink集群，添加Yarn-Session集群
在这里插入图片描述

添加完成后开启集群
在这里插入图片描述

开启集群时若发生权限问题，报错信息为：
== Detail exception: org.apache.hadoop.security.AccessControlException: Permission denied: user=hdfs, access=WRITE, inode=“/”:wangkeshuai:supergroup:drwxr-xr-x ==
解决方案执行，如果报错不为/，则对应调整赋权目录：

hdfs dfs -chmod -R 777 /

成功后点击查看集群详情，可以正常跳转Flink-web-ui即成功
在这里插入图片描述

hadoop页面可以看到yarn队列中有一个session应用
在这里插入图片描述

创建yarn-session作业并运行，选择执行模式为yarn-session，Flink集群选择刚才创建的wks-yarn-session，作业名称唯一
在这里插入图片描述

启动作业
在这里插入图片描述

跳转Flink-web-ui查看执行结果
在这里插入图片描述

停止集群时从SP页面进行停止，若集群失联，则使用yarn命令停止
在这里插入图片描述
在这里插入图片描述

隔壁老王的隔壁！
关注
flink on yarn安装
机器之心
09-10 342
备注：不推荐整数版本。
MAC M1大数据0-1成神篇-18 hadoop安装
Mmmxs
05-22 1020
写在前面： 开始搭建hadoop吧 给链接： 链接: https://pan.baidu.com/s/15kXxdkNtLcrkMggAFge0Ew 提取码: oldw 进入主题： Hadoop3完全分布式搭建 准备安装环境 解压文件。 cd /opt/local/hadoop-3.3.1/etc/hadoop 修改集群环境 vim hadoop-env.sh export JAVA_HOME=/opt/local/jdk1.8.0_261 export HDFS_.
Mac环境下安装hadoop
彭世瑜的博客
03-24 1586
配置ssh免密登录 mac下开启远程登录 系统偏好设置 -> 共享 -> 远程登录 授权免密登录 # 生成秘钥（如果没有） ssh-keygen -t rsa -P '' # 授权免密登录 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys # 免密登录 ssh lcoalhost 安装hadoop brew instal...
Mac M1 安装Hadoop教程（安装包安装）
最新发布
总结复盘，才能不迷失自己！
09-03 1399
2.下载好后，进行解压，将解压后的文件夹命名为hadoop-3.4.0，并将解压的hadoop文件夹放到资源库（这里你可以根据自己需要放到指定路径下，如果放到其它地方有些配置你需要做对应修改）。注意如果是x86架构的苹果电脑，Architecture选择x86 64-bit或者 x86-32bit。在打印的日志中，没有报错，且有下面提示表示格式化成功！双击标红的部分，然后按照提示，一直默认安装即可。如果在执行过程中，发现权限不足，解决办法参考。，在搜索框中搜索共享，在共享中，打开。回车、y、回车、回车。
mac配置hadoop
长舒的博客
07-06 331
可以参考这篇博客 Mac配置hadoop环境 关于mac报22端口被拒绝的问题，参考解决Mac22端口报拒绝
Mac M1芯片本地安装 hadoop 集群填坑之路
weixin_40815218的博客
10-15 2535
本文的目的是在 macOS 搭建基于docker 容器的hadoop集群，记录过程中遇到的问题和各种解决方案。
Mac 安装 Hadoop
weixin_36995355的博客
08-08 589
2. SSH 首先在系统里打开远程登录，位置在System Preference -> Sharing中，左边勾选Remote Login，右边选择All Users。 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys ssh localhost用来测试 3. 安装hado...
MAC 下安装hadoop
l_ibrary的博客
06-08 483
官网下载hadoop: http://hadoop.apache.org/releases.html 文件下载后解压,将文件放入 /usr/local目录下 伪分布式模式设置: 进入目录: hadoop-3.2.1/etc/hadoop 在hadoop-env.sh文件中增加JAVA路径设置: export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_211.jdk/Contents/Home 打开core-site.xml文件, fs.d.
1.15.0 Flink on Yarn安装并配置cdc
A_single_cat的博客
05-11 2713
下载安装 #下载包 wget https://archive.apache.org/dist/flink/flink-1.15.0/flink-1.15.0-bin-scala_2.12.tgz #清华镜像 wget https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.15.0/flink-1.15.0-bin-scala_2.12.tgz --no-check-certificat #解压 tar -zxvf flink-1.15.
flink on yarn.txt
05-24
编译环境： flink on yarn flink版本：flink1.8.0 scala版本：scala_2.1.2 hadoop版本：hadoop2.6.0-cdh5.9.3 系统：cetos6.4 final
flink1.13安装配置，flink on yarn
qq_46160502的博客
10-16 1480
flink1.13安装配置 1 下载解压 2 配置hadoop_classpath 3 添加依赖 common-cli、hadoop… 4 启动、测试 flink on yarn三种部署模式启动命令 per job # flink旧版本 ./bin/flink run -m yarn-cluster -yjm 1024 -ytm 1024 -yqu root.up ./examples/streaming/TopSpeedWindowing.jar ./examples/batch/WordCount
Mac 搭建 Hadoop和hive环境.pdf
07-23
手把手教你进行mac搭建hadoop和hive环境
Flink on Yarn安装
大数据技术派
01-14 2059
步骤很简单，既然要基于yarn，前提是hadoop已经安装好了，我们选择hadoop集群的一个节点，安装一个flink客户端即可。我们平时提交任务，包括mr、spark任务等，也会去安装一个spark客户端。 选择一个节点，这个节点通常会用它提交任务。 下载flink wget http://archive.apache.org/dist/flink/flink-1.13.5/flink-1.13.5-bin-scala_2.11.tgz 解压 tar -zxvf flink-1.13.5-bin-scal
【hadoop】在Mac m1下搭建安装hadoop环境（亲测有效版）
zjutkarma的博客
10-11 3950
在Mac m1环境下安装hadoop教程 亲测有效 超简单版
Mac安装配置Hadoop
qq_43259354的博客
11-02 1382
一、SSH登陆权限设置_ SSH：secure shell,安全壳。是一种网络服务程序，传输数据安全高效。Hadoop是集群，不安装ssh会导致各服务器间无法访问。 （1）、打开远程登录，允许所有用户访问。 （2）、终端输入“ssh-keygen -t rsa -P “”” “cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys” （3）、输入“ssh localhost”。 （4）、若无须输入密码即可登录，则ssh免密登录设置成功。 二、安装单机.
Mac m1 安装hadoop的心酸历程
weixin_39153148的博客
10-17 3559
1.下载pd 2.找到适合m1的centos7镜像文件，百度云链接如下： 链接: https://pan.baidu.com/s/1FeCXz8c5AOHUuQC3rjrlog 提取码: c4jc --来自百度网盘超级会员v6的分享 3.开始安装后首先配置网络，要注意首先ip addr显示如下。 注意2：eth0。接下来配置/etc/....最后那个文件文件名要是eth0,并且文件中配置的名字也要改为eth0. 否则怎么重启网络都是失败 (问题1) 4.接下来使用i...
Mac搭建Hadoop
王者归来
11-20 431
1.安装jdk 2.安装hadoop 配置ssh ssh-keygen -t rsa 授权你的公钥到本地可以避免每次登陆时都要询问你的密码, cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys sudo systemsetup -f -setremotelogin on 报错setremotelogin: Turning Remote Login on or off requires Full Disk Access privileges
mac上安装hadoop
qfikh的博客
07-12 2178
这里介绍Hadoop在mac下的安装与配置。 安装及配置Hadoop 首先安装Hadoop $ brew install Hadoop 配置ssh免密码登录 用dsa密钥认证来生成一对公钥和私钥： $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 将生成的公钥加入到用于认证的公钥文件中： $ cat ~/.ssh/id_dsa.pub >>
Mac 上安装Hadoop
third_的博客
12-27 1789
1.安装JAVA 安装java就不详细说了，直接下载jdk，安装。现在mac新版本好像都不用专门给java和python配置环境变量就直接能用。 终端输入 java -version 如果显示出java版本号就ok了。如果没有，使用命令vim ~/.bash_profile 修改一下环境变量。 2.下载Hadoop 网址：https://hadoop.apache.org/rele...
flink on yarn配置
09-20
5. 在Flink的安装目录中，使用以下命令提交Flink作业到YARN集群： ```shell ./bin/flink run -m yarn-cluster -p <parallelism> -yjm <jobmanager_memory> -ytm <taskmanager_memory> <jar_file> ``` 请替换...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值