pyspark连接mysql数据库
说明一点,spark2.0(包括spark2.0)以下的版本不支持python3.6以上的版本(包括python3.6)。(亲测到怀疑人生)
三台机都要。
- 由于CentOS本身自带python2.7.5,而2.-.-现在已经逐步退出。所以建议大家使用python3。
- 下载python3以及安装 点这里呀
- 下载mysql:jdbc驱动包 提取码 q4nn ,我这里使用的是mysql-connector-java-5.1.10-bin的驱动包,亲测可用。
- 将下载好的驱动包放在spark的jars目录下
cp /user/mysql-connector-java-5.1.10-bin.jar /user/spark/jars/
- 记得驱动包的组是hadoop
- 接下来就把spark-env.sh改一下
#pyspark
export PYSPARK_PYTHON=/usr/bin/python
export EXTRA_SPARK_CLASSPATH=/user/spark/jars
-
再修改pyspark文件,前提是python的软连接对应的是你python3的版本
-
vi /user/spark/bin/pyspark
-
开启集群,pyspark开启需要启动hadoop集群。
bin/pyspark
因为我使用的是spark2.0.0的,由于不支持python3.6以上,所以我换成了python3.5。
10.连接mysql,前提创建好数据库test,表people。
df1=sqlContext.read.format("jdbc").option("url", "jdbc:mysql://localhost:3306/test?useSSL=false").option("driver", "com.mysql.jdbc.Driver").option("dbtable", "people").option("user", "root").option("password", "root").load()
11.成功,接下来就是自己操作了。