sparksession读取oracle,sparkSQL 连接读取Oracle数据库

类似于mysql的连接方式，不过稍有细节差别。

1. Oracle数据库在安装后一般会在$ORACLE_HOME/jdbc/lib目录中放置ojdbc*.jar等jar文件，将这些文件复制到spark集群服务器上，比如$SPARK_HOME/jars/中，然后修改CLASSPATH=$SPARK_HOME/jars/ojdbc6.jar:$CLASSPATH

2. 重启jupyter notebook

3.  连接读取oracle数据库

from pyspark.sql import SparkSession

try:

sc.stop()

except:

pass

spk = SparkSession.builder.master("spark://192.168.12.7:7077").appName("spark-oracle").getOrCreate()

print(spk)

sc11=spk.sparkContext

print(sc11)

#从oracle 数据库表中读取数据到spark，如果要使用sql语句，则必须添加别名alias，比如下面的t

sqltext="(select col1,col2,col3 from tablename) t"

jdbcdf = spk.read.format('jdbc').options(

url='jdbc:oracle:thin:@//192.168.2.7:1521/dbname',

dbtable=sqltext,

user='username',

password='password'

).load()

print(jdbcdf)

jdbcdf.createOrReplaceTempView('ls')

spk.sql("select * from ls).show()

sc11.stop()