spark2.x-pyspark-集群环境搭建(centos6_python3)

pyspark集群部署

1、安装spark2.1.0 （略）

2、安装Python3环境

下载Anaconda3-4.2.0-Linux-x86_64.sh
下载地址
https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-4.2.0-Linux-x86_64.sh

安装Anaconda3
切换到有hdfs读写权限和spark程序执行的用户（如：hadoop用户）

sh Anaconda3-4.2.0-Linux-x86_64.sh

Enter 回车

选yes, 同意协议

对应python 版本 Python 3.5.2

Enter 回车 输入安装路径（非当前用户home目录下，本人安装路径在/opt/py3/anaconda3,
注意：输入前修改/opt/py3目录属主为当前用户）

选择no 后面配置全局环境变量
3、修复异常

如果$SPARK_HOME/conf 目录下配置了hive环境:
hive-env.sh
hive-site.xml 配置

需要添加 oracle驱动包到spark classpath

添加ojdbc14-10.2.0.4.0.jar
到$SPARK_HOME/jars目录

ClassNotFoundException: Class com.hadoop.compression.lzo.LzoCodec not found
在spark-env.sh中加入

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/cloudera/parcels/HADOOP_LZO-0.4.15-1.gplextras.p0.123/lib/hadoop/lib/native:/opt/cloudera/parcels/HADOOP_LZO/lib/hadoop/lib/*

export SPARK_LIBRARY_PATH=$SPARK_LIBRARY_PATH:/opt/cloudera/parcels/HADOOP_LZO-0.4.15-1.gplextras.p0.123/lib/hadoop/lib/native:/opt/cloudera/parcels/HADOOP_LZO/lib/hadoop/lib/*

export SPARK_CLASSPATH=$SPARK_CLASSPATH:/opt/cloudera/parcels/HADOOP_LZO-0.4.15-1.gplextras.p0.123/lib/hadoop/lib/native:/opt/cloudera/parcels/HADOOP_LZO/lib/hadoop/lib/*

4、配置环境变量

#spark
export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME

#python3
export PYSPARK_PYTHON=/opt/py3/anaconda3/bin/python
export PYTHONPATH=${SPARK_HOME}/python/:$(echo ${SPARK_HOME}/python/lib/py4j-*-src.zip):${PYTHONPATH}

5、分发复制到集群其他节点（略）

6、测试验证
编写python 程序 如
test.py

from pyspark import SparkConf, SparkContext
conf = SparkConf().setMaster("local[*]").setAppName("First_App")
sc = SparkContext(conf=conf)
sc.textFile("/tmp/xxx测试路径").count()
sc.stop()

提交运行

 /usr/local/spark/bin/spark-submit \
   --master yarn \
   --deploy-mode client \
   --executor-memory 2G \
   --num-executors 5 \
   --executor-cores 2 \
   --driver-memory 2G \
   --queue spark \
  /home/hadoop/f.py \
   env=dev  \
   log.level=info

没有异常出现 说明部署成功！