目前
一、不指定查詢條件
這個方式鏈接MySql的函數原型是:
我們只需要提供Driver的url,需要查詢的表名,以及連接表相關屬性properties。下面是具體例子:
我們運行上面的程序,可以看到df.rdd.partitions.size輸出結果是1,這個結果的含義是iteblog表的所有數據都是由RDD的一個分區處理的,所以說,如果你這個表很大,很可能會出現OOM
這種方式在數據量大的時候不建議使用。
如果想及時了解iteblog_hadoop
二、指定數據庫字段的范圍
這種方式就是通過指定數據庫中某個字段的范圍,但是遺憾的是,這個字段必須是數字,來看看這個函數的函數原型:
前兩個字段的含義和方法一類似。columnName就是需要分區的字段,這個字段在數據庫中的類型必須是數字;lowerBound就是分區的下界;upperBound就是分區的上界;numPartitions是分區的個數。同樣,我們也來看看如何使用:
這個方法可以將iteblog表的數據分布到RDD的幾個分區中,分區的數量由numPartitions參數決定,在理想情況下,每個分區處理相同數量的數據,我們在使用的時候不建議將這個值設置的比較大,因為這可能導致數據庫掛掉!但是根據前面介紹,這個函數的缺點就是只能使用整形數據字段作為分區關鍵字。
這個函數在極端情況下,也就是設置將numPartitions設置為1,其含義和第一種方式一致。
三、根據任意字段進行分區
基於前面兩種方法的限制,
這個函數相比第一種方式多了predicates參數,我們可以通過這個參數設置分區的依據,來看看例子:
最后rdd的分區數量就等於predicates.length。
四、通過load獲取
Spark還提供通過load的方式來讀取數據。
options函數支持url、driver、dbtable、partitionColumn、lowerBound、upperBound以及numPartitions選項,細心的同學肯定發現這個和方法二的參數一致。是的,其內部實現原理部分和方法二大體一致。同時load方法還支持json、orc等數據源的讀取。