pyspark 连接mysql读取数据

最新推荐文章于 2024-07-29 17:54:27 发布

huangkang1995

最新推荐文章于 2024-07-29 17:54:27 发布

阅读量2.2k

点赞数 1

分类专栏： python 文章标签： pyspark连接mysql

本文链接：https://blog.csdn.net/huangkang1995/article/details/88791756

版权

python 专栏收录该内容

6 篇文章 0 订阅

订阅专栏

@pyspark 连接mysql 读取数据

from pyspark import SparkConf
from pyspark import SparkContext

conf=SparkConf().setAppName(“miniProject”).setMaster(“local[*]”)
sc = SparkContext(appName=“mysqltest”)
sqlContext = SQLContext(sc)

sql 1

df = sqlContext.read.format(“jdbc”).options(
url=“jdbc:mysql://localhost:3306/data_collection?user=root&password=1qaz2wsx”, dbtable=“catalog”).load()
#df.show()

sql 2

df=sqlContext.read.jdbc(url=“jdbc:mysql://localhost:3306?user=root&password=1qaz2wsx”,table=“data_collection.catalog”)
#df.show()

sql 3

sql="(select catalog_id from catalog where catalog_id <‘5’) t"
df=sqlContext.read.format(“jdbc”).options(url=“jdbc:mysql://localhost:3306/data_collection”,dbtable=sql,user=“root”,password=“1qaz2wsx”).load()
#df.show()