接上篇:hadoop单机配置
1、配置scala
1)添加环境变量
vi /etc/profile
export CLASS_HOME=/usr/jdk-11.0.10+9/lib
2、配置spark
1)添加环境变量
export SPARK_HOME=/usr/spark-3.2.0-bin-hadoop3.2-scala2.13
export PATH=$PATH:$JAVA_HOME/bin:$SCALA_HOME/bin:$HADOOP_HOME/bin:$SPARK_HOME/bin
2)使生效: source /etc/profile
3、添加hadoop/yarn路径,配置文件spark-env.sh
路径:./spark-3.2.0-bin-hadoop3.2-scala2.13/conf
HADOOP_CONF_DIR=/usr/hadoop-3.2.2/etc/hadoop
YARN_CONF_DIR=/usr/hadoop-3.2.2/etc/hadoop
4、编辑yarn-site.xml文件,添加如下
文件路径:./hadoop-3.2.2/etc/hadoop/yarn-site.xml
<!--是否启动一个线程检查每个任务正使用的物理内存量,如果任务超出分配值,则直接将其杀掉,默认是true -->
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<!--是否启动一个线程检查每个任务正使用的虚拟内存量,如果任务超出分配值,则直接将其杀掉,默认是true -->
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
5、启动HDFS和YARN
路径:./hadoop-3.2.2/sbin
start-dfs.sh 或 start-all.sh
6、使spark-shell运行在YARN上
spark-shell --master yarn --deploy
7、修改python版本
1)安装minconda 可以去清华源下载https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/
2)创建软连接 ls -n /usr/Minconda/bin/python3.8 /usr/bin/python3
3)修改配置文件:./conf/spark-env.sh
在文件末尾添加
export PYSPARK_PYTHON=/usr/local/src/python3
export PYSPARK_DRIVER_PYTHON=/usr/bin/python3
4)验证 pyspark 确认python版本已切换
****************************完****************************