Spark之PySpark使用
1. 背景
- Spark支持对多种编程语言的api,包括java、scala、python
- 根据官方文档介绍,python其实是使用Spark框架最多的语言
- Spark支持对python的shell,api
2. 环境配置
- 在spark集群上安装python3, 版本必须是3.6以上
yum install -y python3
注意,安装好之后,使用python3 -V即可查看版本,python指令是指代python2版本的
2. 修改所有spark集群节点的环境变量
export JAVA_HOME=/usr/local/jdk1.8.0_251
export PYSPARK_PYTHON=python3
export HADOOP_HOME=/doit/hadoop-3.2.1
export HADOOP_CONF_DIR=/doit/hadoop-3.2.1/etc/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin