Spark+神通数据库连接

首先,访问资源:

链接:https://pan.baidu.com/s/1bsb4dx7be7kjbefq2etoqa

提取代码:21p0

建议将上述驱动程序与JDK1.8一起使用。如果是JDK 1.8、1.7或其他早期版本之前的版本,则可以使用早期的驱动程序。如有必要,请留言。

我在网上找到了很多申通数据库的驱动程序,但都没有。(其实申通数据库的安装目录里有一个jdbc驱动程序)路径:申通/jdbc/ocarJDBC16.jar,直接从服务器上拉出来,用Maven本地打包。

Mvn-install:安装文件-DgroupId=com。oscar-ArtifactId=oscarJDBC16-Dversion=1.0-Dpackaging=jar-Dfile=D:\software\oscarJDBC 16。罐子

-Dfile:刚才从服务器下载的jar包在硬盘上的位置

-DgroupId、-ArtifactId、-Version:三个参数,指定Maven存储库中的位置(对应于引入依赖项时的属性,自定义);

-Dpackaging:包装类型;

2.Maven pom文件引入了依赖关系:

<依赖关系>

<groupId>com。奥斯卡</groupId>

<artifactId>oscarJDBC16</artifactId>

<版本>1.0</版本>

</dependency>

3.用法:(主代码是基于Spark修改后连接MySQL的)

//从dataFrame打印数据

Val personaDFShow:单位=personaDF。显示()

//将DataFrame注册为表模型

值personaView:Unit=personaDF。createTempView(“persona_view”)

//从表中获取数据

Val结果:DataFrame=sparkSession。SQL(“从person_view中选择*”)

SparkSession.sql(“从person_view中选择count(1)作为person_view_count”)。显示()

Val URL=“jdbc:oscar://192.168.000.000:2003/osrdb?useunicode=true&amp;CharacterEncoding=utf-8;UseOldAliasMetadataBehavior=true“

Val tableName=“TEST.pone”

Val属性=新属性()

属性。setProperty(“driver”,“com.oscar.driver”)

属性。setProperty(“user”、“root”)

属性。setProperty(“password”、“root”)

后果写模式(SaveMode.Append)。jdbc(URL、表名、属性)

SparkContext。停止()

SparkSession。关闭()

  • 6
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在Python中使用Spark SQL连接数据库主要有两个步骤:首先,需要使用适当的JDBC驱动程序连接到数据库。其次,将数据库表加载为Spark DataFrame进行查询和分析。 以下是一些示例代码: 1. 安装所需软件包: ```python !pip install pyspark !pip install findspark ``` 2. 导入所需的库并设置SparkSession: ```python import findspark findspark.init() from pyspark.sql import SparkSession spark = SparkSession.builder \ .appName("Database Connection") \ .config("spark.driver.extraClassPath", "/path/to/jdbc-driver.jar") \ .getOrCreate() ``` 请注意,上面的`/path/to/jdbc-driver.jar`应该替换为您实际的JDBC驱动程序路径。 3. 连接到数据库: ```python url = "jdbc:postgresql://localhost:5432/dbname" properties = { "user": "username", "password": "password", "driver": "org.postgresql.Driver" } df = spark.read.jdbc(url=url, table="table_name", properties=properties) ``` 请将`"jdbc:postgresql://localhost:5432/dbname"`替换为您的数据库URL,以及`"username"`和`"password"`替换为您的数据库凭据。 4. 进行数据查询和分析: ```python df.show() # 其他Spark SQL操作... ``` 您可以使用`df.show()`显示DataFrame中的数据,并使用其他Spark SQL操作来查询和分析数据。 请注意,上述示例使用PostgreSQL数据库和对应的JDBC驱动程序。如果您使用不同的数据库,您需要相应地更改`url`和`properties`变量。 希望以上代码可以帮助您在Python中使用Spark SQL连接数据库
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值