部署Spark2，今晚我们通宵学习SpringCloud

部署spark集群

1. 本次实战的部署方式，是先部署standalone模式的spark集群，再做少量配置修改，即可改为on Yarn模式；

2. standalone模式的spark集群部署，请参考《部署spark2.2集群(standalone模式)》一文，要注意的是spark集群的master和hadoop集群的NameNode是同一台机器，worker和DataNode在是同一台机器，并且建议spark和hadoop部署都用同一个账号来进行；

修改配置

如果您已经完成了hadoop集群和spark集群(standalone模式)的部署，接下来只需要两步设置即可：

1. 假设hadoop的文件夹hadoop-2.7.7所在目录为/home/hadoop/，打开spark的spark-env.sh文件，在尾部追加一行：

export HADOOP_CONF_DIR=/home/hadoop/hadoop-2.7.7/etc/hadoop

2. 打开hadoop-2.7.7/etc/hadoop/yarn-site.xml文件，在configuration节点中增加下面两个子节点，如果不做以下设置，在提交spark任务的时候，yarn可能将spark任务kill掉，导致"Failed to send RPC xxxxxx"异常：

yarn.nodemanager.pmem-check-enabled

false

yarn.nodemanager.vmem-check-enabled

false

本次实战一共有三台电脑，请确保在每台电脑上都做了上述配置；

启动hadoop和spark

hadoop和spark都部署在当前账号的家目录下，因此启动命令和顺序如下：

~/hadoop-2.7.7/sbin/start-dfs.sh \

&& ~/hadoop-2.7.7/sbin/start-yarn.sh \

&& ~/hadoop-2.7.7/sbin/mr-jobhistory-daemon.sh start historyserver \

&& ~/spark-2.3.2-bin-hadoop2.7/sbin/start-all.sh

验证spark

1. 在hdfs创建一个目录用于保存输入文件：

~/hadoop-2.7.7/bin/hdfs dfs -mkdir /input

2. 准备一个txt文件(我这里是GoneWiththeWind.txt)，提交到hdfs的/input目录下：

~/hadoop-2.7.7/bin/hdfs dfs -put ~/GoneWiththeWind.txt /input

3. 以client模式启动spark-shell

~/spark-2.3.2-bin-hadoop2.7/bin/spark-shell --master yarn --deploy-mode client

以下信息表示启动成功：

2019-02-09 10:13:09 WARN NativeCodeLoader:62 - Unable to load native-hadoop library for your platform… using builtin-java classes where applicable

Setting default log level to “WARN”.

To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).

2019-02-09 10:13:15 WARN Client:66 - Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME.

Spark context Web UI available at http://node0:4040

Spark context available as ‘sc’ (master = yarn, app id = application_1549678248927_0001).

Spark session available as ‘spark’.

Welcome to

---

/ / ___ ___/ /

\ / _ / _ `/ __/ '/

// ./_,// //_\ version 2.3.2

/_/

Using Scala version 2.11.8 (Java HotSpot™ 64-Bit Server VM, Java 1.8.0_191)

Type in expressions to have them evaluated.

小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Java工程师，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Java开发全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注Java）

技术学习总结

学习技术一定要制定一个明确的学习路线，这样才能高效的学习，不必要做无效功，既浪费时间又得不到什么效率，大家不妨按照我这份路线来学习。

最后面试分享

大家不妨直接在牛客和力扣上多刷题，同时，我也拿了一些面试题跟大家分享，也是从一些大佬那里获得的，大家不妨多刷刷题，为金九银十冲一波！

链图片转存中…(img-AgsdXL7H-1710765473326)]

最后面试分享

大家不妨直接在牛客和力扣上多刷题，同时，我也拿了一些面试题跟大家分享，也是从一些大佬那里获得的，大家不妨多刷刷题，为金九银十冲一波！

[外链图片转存中…(img-SNfyK8qr-1710765473327)]

[外链图片转存中…(img-vD4ilVp9-1710765473327)]

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录