mysql spark jdbcrdd_使用spark jdbcRDD的坑

spark的jdbcRDD可以让你连接到jdbc数据库上，以数据库表里的数据构建dataframe，非常方便。如下python代码：

dataframe = spark.read \

.jdbc(“jdbc:mysql://192.168.111.111:3306/mydatabase”,

“mytable”,

column=’incidentId’, lowerBound=0, upperBound=40000000, numPartitions=20000,

properties={“user”: “myusername”, “password”: “mypass”,

“useUnicode”: “true”, “characterEncoding”: “utf8”,

“rewriteBatchedStatements”: “true”, “connectTimeout”: “60000”,

“socketTimeout”: “60000”})\

.select(‘colum1’, ‘colum2’ )\

.withColumnRenamed(“colum1”, “originalid”) \

.withColumn(“newColumn”, lit(5))

根据接口，需要指定column和numPartitions以便分区，lowerBound和upperBound应该对应column中的最小值和最大值，以便界定dataframe的边界。

但是坑爹的是，lowerBound和upperBound参数根本不起作用，spark会把该表中所有的数据都load出来。

我的表中有4000万的数据，每次实验都会out of memory。 就只能分很多区，然后每个区分别处理就好了。