[spark]spark读取postgresql的表（纯SQL方式）

最新推荐文章于 2022-08-15 16:35:24 发布
最新推荐文章于 2022-08-15 16:35:24 发布
阅读量5k 收藏 2
点赞数
分类专栏： BIGDATA
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/rongyongfeikai2/article/details/45646367
版权

1.thrift-server启动时，需要带上pg的驱动


2.在beeline中，需要add jar带上pg的驱动；然后再将pg映射为spark的表；最后才可以进行查询：

 
3.写成python代码类似于：




rongyongfeikai2
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
使用idea开发scala代码，使用spark从postgresql读取数据并转换成新的数据存入postgresql
wuai66的博客
05-30 1058
使用idea开发scala代码，使用spark从postgresql读取数据并转换成新的数据存入postgresql
关于spark同步hive的geometry数据至pg数据库的geometry类型字段中
cnjss的博客
08-03 1200
spark同步hive数据至pg数据库的geometry类型字段中
Spark读写postgresql
m0_37347812的博客
11-04 1744
Spark读写postgresql
SparkGP:Spark中大型天气数据的高斯过程
06-10
火花GP 在大数据上使用高斯过程来预测县质心的天气。 构建： sbt package 跑步： $SPARK_HOME/bin/spark-submit --class SparkGP --master local[*] target/scala-2.10/sparkgp_2.10-1.0.jar </path> <data> <yyyy>
databricks spark 读取postgresql表
lbl251的博客
08-15 537
spark 读取postrgresql 表数据
spark 写 gp/tpg 效率优化：写入 237w 行数据耗时从 77 分钟到 34 秒
张伟的专栏
08-21 5509
请原谅我标题党了，这年代不标题党没法混啊。。。 T .T 其实事情很简单，先介绍一下背景，背景是我们 lz 或者 tesla 上跑 spark 任务，一通计算之后，结果总要落地，一般落地到 tdw/tpg，而具体到我们这次的场景中，我们用的是 gp，gp 全称是 greenplum，是一个 mpp 版本的 postgresql，可以参考这个简介《Pivotal开源基于PostgreS
【图分析】使用Spark连接PostgreSQL进行聚类分析
sword_csdn的博客
08-14 1044
目录示例数据的可视化连接PG数据库的准备解析geo_json的准备完整示例代码代码结果 示例数据的可视化 连接PG数据库的准备 Spark连接PG需要用到以下jar包 <dependency> <groupId>org.postgresql</groupId> <artifactId>postgresql</artifactId> <version>42.2.14</version> </de
spark-postgres:适用于Apache Spark的PostgreSQL和GreenPlum数据源
05-24
适用于Apache Spark的PostgreSQL和GreenPlum数据源 一个库，用于使用Apache Spark从Greenplum数据库读取数据并将数据传输到Greenplum数据库，用于Spark SQL和DataFrame。 在将数据从Spark传输到Greenpum数据库时，该...
spark提交jdbc到pgsql测试代码
最新发布
07-27
首先，`spark_jdbc_pgsql.py`是主要的Python脚本文件，它包含了一个使用Spark SQL与PostgreSQL交互的示例。在Python中，我们通常通过`pyspark.sql`模块来与Spark SQL进行交互，该模块提供了DataFrame API，使得操作...
Spark数据库百度云02.txt
12-09
这种方式下，Spark可以直接读取和写入数据库中的表，实现与传统数据库系统的无缝对接。 #### 数据库连接器 为了进一步提高与特定数据库系统的集成效率，Spark社区还开发了一系列专用的数据库连接器，例如Spark-...
Spark查询太慢试试这款MPP数据库吧!.docx
12-19
Segment 是 Greenplum 实际存储数据和进行数据读取计算的节点，每个 Segment 都可以视为一个独立的 PostgreSQL 实例，上面存放着一部分用户数据，同时参与 SQL 执行工作。 Greenplum 数据库的优势 与传统数据库...
spark 并行加载 greenplum 数据
09-30
spark 并行加载 greenplum 数据，为正确运行，需引入 spark 相关包和 greenplum 驱动。 <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core --> org.apache.spark spark-core_2.11 2.3.1 <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql --> org.apache.spark spark-sql_2.11 2.3.1 <!-- https://mvnrepository.com/artifact/com.pivotal/greenplum-jdbc --> com.pivotal greenplum-jdbc 5.1.4
AgensGraph-Extension：PostgreSQL图形数据库扩展
02-05
6. **扩展与集成**：PostgreSQL支持用户自定义函数（UDF）和模块，AgensGraph可能也允许扩展其功能，以及与其他系统如Hadoop、Spark的集成。 7. **安全与备份**：掌握AgensGraph的安全策略，如角色权限管理，以及...
postgresql获取表结构，表名、表注释、字段名、字段类型及长度和字段注释
热门推荐
离离原上草，一岁一枯荣，野火烧不尽，春风吹又生。
03-21 1万+
Postgresql允许向表等对象添加注释。 例如，我使用此SQL命令在表 mytable上添加了注释： COMMENT ON TABLE mytable IS 'This is my table 查询表注释 所有注释都存储在 pg_description 要获取表中的注释，您可以需要将其加入 pg_class 作为替代方案，您也可以使用函数 obj_description（）来检索以下信息： select relname as tabname, obj_description(c.oid) from
【Spark】 Spark beeline简单使用
可乐大牛的博客
02-13 5090
操作 Spark Thrift Server 是 Spark 社区基于 HiveServer2 实现的一个 Thrift 服务。旨在无缝兼容 HiveServer2。因为 Spark Thrift Server 的接口和协议都和 HiveServer2 完全一致，因此我们部 署好 Spark Thrift Server 后，可以直接使用 hive 的 beeline 访问 Spark Thrift Server 执行相关 语句。Spark Thrift Server 的目的也只是取代 HiveServer2
Spark读写MySQL、Oracle、PostgreSQL、Greenplum
雾幻的博客
10-24 4074
添加pom依赖 &amp;lt;!-- https://mvnrepository.com/artifact/com.pivotal/greenplum-jdbc --&amp;gt; &amp;lt;dependency&amp;gt; &amp;lt;groupId&amp;gt;com.pivotal&amp;lt;/groupId&amp;gt; &amp;lt;artifactId&amp;gt;green
spark读取HDFS多个文件配置
挖矿的小强的博客
12-14 1万+
情况说明：数据以parquet文件形式保存在HDFS上，数据中的某一列包含了日期（例如：2017-12-12）属性，根据日期对数据分区存储，如下图所示：  项目需求：  在项目中想要读取某一个月的数据，肿么办？  解决方法：  spark中读取本地文件的方法如下: sparkSession.read.parquet("hdfs://path") 1 方法一：  要读取多个文件，文件的路径中有一...
python 上怎么读取spark 的表
06-01
在Python中读取Spark表可以通过PySpark的API来实现，具体步骤如下： 1. 首先需要安装PySpark库，可以通过pip命令来安装：`pip install pyspark` 2. 创建SparkSession对象，该对象是与Spark集群进行交互的入口点，可以通过以下代码创建： ``` from pyspark.sql import SparkSession spark = SparkSession.builder \ .appName("Read Spark Table") \ .config("spark.some.config.option", "some-value") \ .getOrCreate() ``` 3. 使用read方法从Spark表中读取数据，可以通过以下代码实现： ``` df = spark.read \ .format("jdbc") \ .option("url", "jdbc:postgresql://localhost:5432/mydatabase") \ .option("dbtable", "mytable") \ .option("user", "myuser") \ .option("password", "mypassword") \ .load() ``` 其中，url需要根据实际情况进行修改，dbtable指定要读取的表名，user和password是连接数据库的用户名和密码。 4. 最后，可以使用DataFrame API对读取的数据进行处理，例如进行过滤、聚合等操作。 以上就是在Python中读取Spark表的基本步骤。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值