Spark抽取多分表数据性能

最新推荐文章于 2024-06-04 23:14:26 发布
最新推荐文章于 2024-06-04 23:14:26 发布
阅读量376 收藏 1
点赞数 1
分类专栏： Spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SPlus_SS/article/details/112970239
版权

使用spark.read.jdbc读取表后注册成临时表,再将表UNION ALL起来可不形成宽依赖,将多张分表合并成总表的job放在一个stage中
从而可以根据任务启用资源的调整(主要是core数)将从MySQL抽数的任务并行处理
下图为任务执行的的DAG图,可以看到128个分表虽然在代码中是循环读,但是实际上分成了1个stage中的128个task并行执行

在这里插入图片描述

下面为验证:
由于测试环境资源有限,分别进行了如下三种资源调整测试效率(也只是观察趋势,具体生产环境配置还需要测试调整)

num-executors:1 executor-cores: 1 executor-memory 1g (单线程串行执行)
在这里插入图片描述
num-executors:4 executor-cores: 4 executor-memory 1g (16并发执行)
在这里插入图片描述
num-executors:4 executor-cores: 8 executor-memory 1g (32并发执行)
在这里插入图片描述

SPlus_SS
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark数据静态抽取和分区
cc1233456的博客
10-25 1045
spark分区和数据抽取源码
Spark中使用scala完成数据抽取任务 -- 总结
努力！加油！！
12-21 2243
任务二：离线数据处理，校赛题目需要使用spark框架将mysql数据库中ds_db01数据库的user_info表的内容抽取到Hive库的user_info表中，并且添加一个字段设置字段的格式 第二个任务和第一个的内容几乎一样。
java_spark使用索引分区抽数
PacosonSWJTU的博客
04-22 24
转自：Spark RDD算子（八）mapPartitions， mapPartitionsWithIndex_val rdd1 = rdd.mappartitions(x=>x.map(_*2))-CSDN博客文章浏览阅读450次。mapPartions对一个rdd里所有分区遍历_val rdd1 = rdd.mappartitions(x=>x.map(_*2))
spark读取mysql的性能_Spark JDBC系列--读取优化
weixin_30462741的博客
02-22 689
本文旨在介绍 Spark 通过JDBC读取数据时常用的一些优化手段关于数据库索引无论使用哪种JDBC API，spark拉取数据最终都是以select语句来执行的，所以在自定义分区条件或者指定的long型column时，都需要结合表的索引来综合考虑，才能以更高性能并发读取数据库数据。离散型的分区字段当使用spark拉取table_example表的数据时，使用的分区字段，并不是连续或均匀分布的。这...
Spark 实现两表查询(SparkCore和SparkSql)
浪淘沙
09-30 3861
项目需求： ip.txt:包含ip起始地址，ip结束地址，ip所属省份 access.txt:包含ip地址和各种访问数据 需求：两表联合查询每个省份的ip数量 SparkCore 使用广播，将小表广播到executor.对大表的每条数据都到小表中进行查找。 package day07 import java.sql.DriverManager import org.apache....
速速收藏！使用Apache Spark实现ETL 300％的速度提升
qq_27005679的博客
03-18 1158
当技术团队开始将现有系统和EDH（企业数据中心）集群拼接在一起时，通常会采用以下常见的设计模式：将文件转储（通常为CSV格式）定期上传到EDH中，接着进行解压缩，转换为最佳查询格式，然后隐藏在HDFS中，在这里各种EDH组件都可以使用它们。 当这些文件转储很大或很经常出现时，这些简单的步骤可能会显著减慢数据撷取管道的速度。这种延迟的一部分是不可避免的；由于物理限制因素，跨网络移动大文件是非常耗时...
Spark大数据-特征抽取CountVectorizer
chenbengang的博客
12-31 495
特征抽取CountVectorizer // 通过计数将文档转化为向量的，产生文档关于词语的稀疏表示 // CountVectorizer将根据语料库中的词频排序从高到低进行选择，词汇表的最大含量由vocabsize超参数来指定，超参数minDF， // 则指定词汇表中的词语至少要在多少个不同文档中出现 import org.apache.spark.sql.SparkSession val...
Mybaits-plus优雅的实现多数据源及分表
08-15
不同的数据库写在对应的包名下分别进行扫描, 通过对id的取模运算实现分表的能力, 此代码仅只是提供思路,具体的实现方案还需要完善
分表_利用python进行数据表分表_
09-28
利用python进行数据表分表，目的是将一个大的excel文本按照规则生成对应的小文件
MSSQLServer数据分表(水平分割)
04-16
① 创建数据库 ② 在创建的数据库中添加文件组 ③ 在文件组中添加新的文件 ④ 定义分区函数 ⑤ 定义分区架构 ⑥ 定义分区表 ⑦ 定义代理作业，自动添加分区分割点 ⑧ 测试数据
分库分表数据看板项目实战
10-24
分库分表数据看板项目实战
分库分表，多数据源的切换
06-16
通过使用sharding-jdbc分库分表，以及多数据源的切换
Spark大数据-特征抽取TF-IDF
chenbengang的博客
12-31 392
特征抽取TF-IDF import org.apache.spark.ml.feature.{HashingTF,IDF,Tokenizer} import org.apache.spark.sql.SparkSession val spark=SparkSession.builder(). master("local"). appName("TF-IDF-Test"). ...
Spark抽取MySQL分表优化
SPlus_SS的博客
01-21 376
从MySQL抽取Hive表XXX ,MySQL中有128张分表 原抽数逻辑SQL为 SELECT CONCAT(good_sn, “#”, wh_code) AS goodsId, MAX(ship_price/exchange_rate) AS shipPrice, MAX(ship_fee/exchange_rate) AS shipFee, price_type AS shipType pipeline_code FROM goods_price_factor_s_${order} WHERE sit
Spark JDBC系列--取数的四种方式
爱是与世界平行
11-04 1927
Spark JDBC系列--取数的四种方式一、单分区模式二、指定Long型column字段的分区模式三、高自由度的分区模式四、自定义option参数模式 原文地址： 简书：wuli_小博：Spark JDBC系列–取数的四种方式 一、单分区模式 函数： def jdbc(url: String, table: String, properties: Properties): DataFrame...
在Spark中如何通过YDB实现比原生Spark性能高100倍的多表关联
qq_33160722的博客
01-08 1351
多表关联Join在Spark数据分析中是一个不可或缺的一部，我们以商品交易记录表（trade表）与用户信息表为例（user表）来阐述下如何实现高性能的多表关联分析。 经常会遇到这种情形，我们需要先找出【某一个省份】【工商银行】【交易金额在150~160元】的所有用户，并通过与用户信息表进行关联得到该用户的手机号，性别，年龄，职业等信息。 Spark的传统做法是对双表都进行暴力扫描，需要
spark同时读取多个指定文件
我的博客
07-18 7057
val result = spark.read.text("hdfs://192.168.40.51:9000/user/test/cxb/aa/aa.txt","hdfs://192.168.40.51:9000/user/test/cxb/bb/bb.txt") .toDF("str").as[A].rdd.collect().foreach(println)
Spark中的算子学习01
盛夏光年-进阶修炼池
09-18 369
一、sample /** * 抽样算子,比如从1000ge 数据抽出去10% * 可以通过sample算子来完成 * 一个最经典的应用案例:就是当spark作业发生数据倾斜的时候,通过该算子完成样本数据的分析 * sample中的参数说明 * withReplacement:是否支持重复抽样(有放回的抽样), * fraction:抽样的比例 ,是以...
Spark的开发环境配置
最新发布
day_ue的博客
06-04 346
这里主要记录一下，我们常用的maven配置，方便后期开发配置环境，避免每次都从零开始配置工程。
Sharding-JDBC如何查询多个分表的数据
07-14
Sharding-JDBC是一个用于数据库分片和分库分表的中间件，它提供了一种便捷的方式来处理多个分表的数据查询。 要查询多个分表的数据，你可以使用Sharding-JDBC提供的分片表路由功能。在配置文件中，你需要定义数据源和分片规则，以指定如何将数据分布到不同的分表中。然后，你可以使用SQL语句进行查询，Sharding-JDBC会根据配置的分片规则自动将查询路由到正确的分表。 具体步骤如下： 1. 在配置文件中定义数据源和分片规则。配置文件可以是XML格式或者Java代码。你需要指定数据库连接信息、分片规则等。 2. 根据配置的分片规则，将数据插入到不同的分表中。Sharding-JDBC会根据配置的算法将数据分散到不同的分表中。 3. 在查询时，使用SQL语句进行查询。Sharding-JDBC会根据SQL语句中的条件和分片规则，将查询路由到正确的分表中。 下面是一个示例查询多个分表的SQL语句： ``` SELECT * FROM table_name WHERE id IN (1, 2, 3); ``` 在这个示例中，`table_name`是你的逻辑表名，`id`是用于分片的字段。Sharding-JDBC会根据配置的分片规则，将这个查询路由到包含id为1、2、3的分表上，并返回结果。 需要注意的是，具体的配置和使用方式会根据你的实际情况而有所不同。你可以参考Sharding-JDBC的官方文档和示例代码来了解更多详细信息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值