CDH5.14 spark2.4.0配置python3 以及读取hive表

在cdh5.14上装好spark5.14后，如果使用pyspark的话，默认是使用系统的python，一般是python2.7

配置使用python3

1、在各个节点上安装好python3，路径要一致

2、在cdh的配置页面

• 2.1、选择spark2
• 2.2、选择配置页签
• 2.3、搜索env
• 2.4、在spark2-conf/spark-env.sh 的 Spark 2 服务高级配置代码段（安全阀） Spark 2（服务范围） 下面的空栏增加（注意python3路径）

	export PYSPARK_PYTHON=/usr/bin/python3
	export PYSPARK_DRIVER_PYTHON=/usr/bin/python3

配置spark读取到hive表

1、hive已经安装好并可正常使用

2、在cdh的配置页面（和python3一个位置）

• 2.1、选择spark2
• 2.2、选择配置页签
• 2.3、搜索env
• 2.4、在spark2-conf/spark-env.sh 的 Spark 2 服务高级配置代码段（安全阀） Spark 2（服务范围） 下面的空栏增加

export HADOOP_CONF_DIR=/etc/hive/conf

ps. 这里不是网上很多说的【/etc/hadoop/conf】因为这个目录下没有hive-site.xml 还是读取不到hive， 发现【/etc/hive/conf】包含hadoop的所有xml 也有hive的xml，所以使用这个路径，其原理就是要包含hadoop和hive的site.xml，

如下