我的大数据之路 --pyspark连接mysql数据库

pyspark连接mysql数据库

说明一点，spark2.0（包括spark2.0）以下的版本不支持python3.6以上的版本（包括python3.6）。（亲测到怀疑人生）

三台机都要。

1. 由于CentOS本身自带python2.7.5，而2.-.-现在已经逐步退出。所以建议大家使用python3。
2. 下载python3以及安装 点这里呀
3. 下载mysql:jdbc驱动包 提取码 q4nn ，我这里使用的是mysql-connector-java-5.1.10-bin的驱动包，亲测可用。
4. 将下载好的驱动包放在spark的jars目录下

cp /user/mysql-connector-java-5.1.10-bin.jar /user/spark/jars/

5. 记得驱动包的组是hadoop
6. 接下来就把spark-env.sh改一下

#pyspark

export  PYSPARK_PYTHON=/usr/bin/python
export  EXTRA_SPARK_CLASSPATH=/user/spark/jars

7. 再修改pyspark文件，前提是python的软连接对应的是你python3的版本
   

8. vi /user/spark/bin/pyspark

9. 开启集群，pyspark开启需要启动hadoop集群。

   bin/pyspark
   

   
   因为我使用的是spark2.0.0的，由于不支持python3.6以上，所以我换成了python3.5。

10.连接mysql，前提创建好数据库test，表people。
df1=sqlContext.read.format("jdbc").option("url", "jdbc:mysql://localhost:3306/test?useSSL=false").option("driver", "com.mysql.jdbc.Driver").option("dbtable", "people").option("user", "root").option("password", "root").load()

11.成功，接下来就是自己操作了。