Spark性能优化之通过YDB实现比原生Spark性能高100倍的多表关联

最新推荐文章于 2022-05-08 09:00:00 发布
最新推荐文章于 2022-05-08 09:00:00 发布
阅读量1k 收藏 1
点赞数
文章标签： elasticsearch hadoop solr spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33160722/article/details/68958610
版权

多表关联Join在Spark数据分析中是一个不可或缺的一部，我们以商品交易记录表（trade表）与用户信息表为例（user表）来阐述下如何实现高性能的多表关联分析。

经常会遇到这种情形，我们需要先找出【某一个省份】【工商银行】【交易金额在150~160元】的所有用户，并通过与用户信息表进行关联得到该用户的手机号，性别，年龄，职业等信息。

Spark的传统做法是对双表都进行暴力扫描，需要对trade表与user表都进行一次完整的扫描，根据扫描出来的结果在进行进一步的关联。用户信息表(User表)的数据量通常来说也是非常大的，运营商，阿里，腾讯都会有达数十亿条，数万维度的用户信息表，Spark默认方式的为将User表全部读取后在过滤的方式，性能是很慢的，我们可以换个方式，将这个过程对调一下，先进行过滤，在对过滤后的结果进行扫描，经过过滤后，需要处理的数据条数，是原先总量的万分之一或者千分之一，性能自然就会得到数百倍的提升。

其实这种方式大家并不陌生，传统数据库如MySQL在做多表关联的时候，对关联的字段创建索引与不创建索引关联的效率相差很多，主要原因也是因为创建索引后，就不需要在对“用户表”，进行“全表扫描了”，仅仅读取需要的数据，关联效率自然就高了。

在YDB中，针对这种大表与小表的关联，可以通过广播将小表的数据广播到每个节点上去，与原生spark不同的是，广播到每个节点后，广播数据是直接基于索引进行关联，而不是采用暴力遍历的方式，这样性能就会有较大幅度的提升。

 

下文为关于ydb进行join的使用示例：

示例一：

原本写法

with
shu as
(
/*ydb.pushdown(‘->’)*/
select usernick,count(*) as scnt,avg(amtdouble) as samt from ydb_example_shu where ydbpartion=’3000w’  group by usernick
/*(‘<-‘)pushdown.ydb*/
),
trade as (
/*ydb.pushdown(‘->’)*/
select nickname,count(*) as tcnt,avg(amt) as tamt from ydb_example_trade where ydbpartion=’20151011′  and nickname=’张*’  group by nickname
/*(‘<-‘)pushdown.ydb*/
)

select * from (
select  shu.usernick as n1,shu.scnt  as n2,shu.samt  as n3,trade.nickname  as n4,trade.tamt,trade.tcnt
from shu LEFT JOIN  trade on (shu.usernick=trade.nickname)
) tmp where tmp.n4 is not null

order by tmp.n1  limit 100;

采用广播后的写法

YBroadCastBlock@0000000001:10240:over_all@
select  distinct nickname from (
/*ydb.pushdown(‘->’)*/
select nickname  from ydb_example_trade where ydbpartion=’20151011′  and nickname=’张*’
/*(‘<-‘)pushdown.ydb*/
) tmp
@YBroadCastBlock

with
shu as
(
/*ydb.pushdown(‘->’)*/
select usernick,count(*) as scnt,avg(amtdouble) as samt from ydb_example_shu where ydbpartion=’3000w’
and ydb_raw_query_s like ‘YBroadCastQuery@term@usernick@0@{YBroadCastId:0000000001}’
group by usernick
/*(‘<-‘)pushdown.ydb*/
),
trade as (
/*ydb.pushdown(‘->’)*/
select nickname,count(*) as tcnt,avg(amt) as tamt from ydb_example_trade where ydbpartion=’20151011′  and nickname=’张*’
and ydb_raw_query_s like ‘YBroadCastQuery@term@nickname@0@{YBroadCastId:0000000001}’
group by nickname
/*(‘<-‘)pushdown.ydb*/
)

select * from (
select  shu.usernick as n1,shu.scnt  as n2,shu.samt  as n3,trade.nickname  as n4,trade.tamt,trade.tcnt
from shu LEFT JOIN  trade on (shu.usernick=trade.nickname)
) tmp where tmp.n4 is not null

order by tmp.n1  limit 100;

 

示例二：

原本写法

with
shu as
(
/*ydb.pushdown(‘->’)*/
select amtlong,usernick,phonenum,ydb_sex,ydb_grade from ydb_example_shu where ydbpartion=’3000w’
/*(‘<-‘)pushdown.ydb*/
),
trade as (
/*ydb.pushdown(‘->’)*/
select max(amt) as maxamt,avg(amt) as avgamt, min(amt) as minamt,nickname,count(*) as tcnt from ydb_example_trade where ydbpartion=’20151011′  and nickname=’张*’  group by nickname
/*(‘<-‘)pushdown.ydb*/
)

select * from (
select  shu.amtlong as n1,shu.phonenum  as n2,shu.ydb_sex  as n3,shu.ydb_grade,trade.maxamt  as n4,trade.tcnt,shu.usernick n5,trade.nickname
from shu LEFT JOIN  trade on ( shu.usernick=trade.nickname and shu.amtlong>=trade.minamt and shu.amtlong<=trade.maxamt)
) tmp where tmp.n4 is not null

order by tmp.n1,tmp.n5  limit 100;

 

采用广播后的写法

YBroadCastBlock@0000000001:10240:over_all@

select cast (tmp.maxamt as bigint) as c0, tmp.avgamt as c1, cast (tmp.minamt as bigint) as c2,tmp.nickname as c3,tmp.tcnt  from (
/*ydb.pushdown(‘->’)*/
select max(amt) as maxamt,avg(amt) as avgamt, min(amt) as minamt,nickname,count(*) as tcnt from ydb_example_trade where ydbpartion=’20151011′  and nickname=’张*’  group by nickname
/*(‘<-‘)pushdown.ydb*/

) tmp
@YBroadCastBlock

with
shu as
(
/*ydb.pushdown(‘->’)*/
select amtlong,usernick,phonenum,ydb_sex,ydb_grade from ydb_example_shu where ydbpartion=’3000w’
and ydb_raw_query_s like ‘YBroadCastQuery@query@usernick:{YBroadCastparam} AND amtlong:[{YBroadCastparam} TO {YBroadCastparam}]@3,2,0@{YBroadCastId:0000000001}’

/*(‘<-‘)pushdown.ydb*/
),
trade as (
/*ydb.pushdown(‘->’)*/
select max(amt) as maxamt,avg(amt) as avgamt, min(amt) as minamt,nickname,count(*) as tcnt from ydb_example_trade where ydbpartion=’20151011′  and nickname=’张*’  group by nickname
/*(‘<-‘)pushdown.ydb*/
)

select * from (
select  shu.amtlong as n1,shu.phonenum  as n2,shu.ydb_sex  as n3,shu.ydb_grade,trade.maxamt  as n4,trade.tcnt,shu.usernick n5,trade.nickname
from shu LEFT JOIN  trade on ( shu.usernick=trade.nickname and shu.amtlong>=trade.minamt and shu.amtlong<=trade.maxamt)
) tmp where tmp.n4 is not null

order by tmp.n1,tmp.n5  limit 100;

示例三，巧用over_all 实现left semi join 即 exists in 查询

—-原本写法
with
shu as
(
/*ydb.pushdown(‘->’)*/
select usernick,count(*) as scnt,avg(amtdouble) as samt from ydb_example_shu where ydbpartion=’3000w’  group by usernick
/*(‘<-‘)pushdown.ydb*/
),
trade as (

select  distinct nickname from (
/*ydb.pushdown(‘->’)*/
select nickname  from ydb_example_trade where ydbpartion=’20151011′  and nickname=’张*’        /*(‘<-‘)pushdown.ydb*/
) tmpdist
)

select  shu.usernick as n1,shu.scnt  as n2,shu.samt  as n3 from shu LEFT SEMI JOIN  trade on (shu.usernick=trade.nickname)
order by shu.usernick  limit 100;

—-使用broadcast后的写法
YBroadCastBlock@0000000001:10240:over_all@
select  distinct nickname from (
/*ydb.pushdown(‘->’)*/
select nickname  from ydb_example_trade where ydbpartion=’20151011′  and nickname=’张*’
/*(‘<-‘)pushdown.ydb*/
) tmp
@YBroadCastBlock

with
shu as
(
/*ydb.pushdown(‘->’)*/
select usernick,count(*) as scnt,avg(amtdouble) as samt from ydb_example_shu where ydbpartion=’3000w’
and ydb_raw_query_s like ‘YBroadCastQuery@term@usernick@0@{YBroadCastId:0000000001}’
group by usernick
/*(‘<-‘)pushdown.ydb*/
),
trade as (
select  distinct nickname from (
/*ydb.pushdown(‘->’)*/
select nickname  from ydb_example_trade where ydbpartion=’20151011′  and nickname=’张*’
and ydb_raw_query_s like ‘YBroadCastQuery@term@nickname@0@{YBroadCastId:0000000001}’
/*(‘<-‘)pushdown.ydb*/
) tmpdist
)

select  shu.usernick as n1,shu.scnt  as n2,shu.samt  as n3
from shu LEFT SEMI JOIN  trade on (shu.usernick=trade.nickname)

order by shu.usernick  limit 100;

—在来个复杂点的例子
with
shu as
(
/*ydb.pushdown(‘->’)*/
select usernick,count(*) as scnt,avg(amtdouble) as samt from ydb_example_shu where ydbpartion=’3000w’ and amtlong >=’10’ and amtlong<=’3000′  group by usernick
/*(‘<-‘)pushdown.ydb*/
),
trade as (

select  distinct nickname from (
/*ydb.pushdown(‘->’)*/
select nickname  from ydb_example_trade where ydbpartion=’20151011′  and nickname=’张*’        /*(‘<-‘)pushdown.ydb*/
) tmpdist
)

select  shu.usernick as n1,shu.scnt  as n2,shu.samt  as n3 from shu LEFT SEMI JOIN  trade on (shu.usernick=trade.nickname)
order by shu.usernick  limit 100;

新写法

YBroadCastBlock@0000000001:10240:over_all@
select  distinct nickname from (
/*ydb.pushdown(‘->’)*/
select nickname  from ydb_example_trade where ydbpartion=’20151011′  and nickname=’张*’
/*(‘<-‘)pushdown.ydb*/
) tmp
@YBroadCastBlock

YBroadCastBlock@0000000002:10240:over_all@
select  distinct usernick from (
/*ydb.pushdown(‘->’)*/
select usernick  from ydb_example_shu where ydbpartion=’3000w’  and amtlong >=’10’ and amtlong<=’3000′
/*(‘<-‘)pushdown.ydb*/
) tmp
@YBroadCastBlock

with
shu as
(
/*ydb.pushdown(‘->’)*/
select usernick,count(*) as scnt,avg(amtdouble) as samt from ydb_example_shu where ydbpartion=’3000w’ and amtlong >=’10’ and amtlong<=’3000′
and ydb_raw_query_s like ‘YBroadCastQuery@term@usernick@0@{YBroadCastId:0000000001}’
and ydb_raw_query_s like ‘YBroadCastQuery@term@usernick@0@{YBroadCastId:0000000002}’

group by usernick
/*(‘<-‘)pushdown.ydb*/
),
trade as (
select  distinct nickname from (
/*ydb.pushdown(‘->’)*/
select nickname  from ydb_example_trade where ydbpartion=’20151011′  and nickname=’张*’
and ydb_raw_query_s like ‘YBroadCastQuery@term@nickname@0@{YBroadCastId:0000000001}’
and ydb_raw_query_s like ‘YBroadCastQuery@term@usernick@0@{YBroadCastId:0000000002}’

/*(‘<-‘)pushdown.ydb*/
) tmpdist
)

select  shu.usernick as n1,shu.scnt  as n2,shu.samt  as n3
from shu LEFT SEMI JOIN  trade on (shu.usernick=trade.nickname)

order by shu.usernick  limit 100;

示例四 巧用over_rand 实现车辆伴随，旅店同宿 查询

对于有严重数据倾斜的人员，进行抽取，通常场景汽车伴随与旅店同住超过千次同住不应该属于常规情况，随机取N个即可
YBroadCastBlock@0000000001:1024:over_rand@
select KKBH ,cast((JGSJ-600)  as bigint) as JGSJ_BEGIN,cast((JGSJ+600) as bigint) as JGSJ_END from (
/*ydb.pushdown(‘->’)*/ select KKBH,JGSJ from ydb_oribit where ydbpartion = ‘20160619’ and  HPHM=’浙COW832′    /*(‘<-‘)pushdown.ydb*/
) tmp
@YBroadCastBlock

select tmp.HPHM,count(*) as rows,size(collect_set(tmp.KKBH)) as dist_kkbh,concat_ws(‘#’, sort_array(collect_set(concat_ws(‘,’,tmp.JGSJ,tmp.KKBH)))) as detail
from (
/*ydb.pushdown(‘->’)*/
select HPHM,JGSJ,KKBH from ydb_oribit where ydbpartion = ‘20160619’ and
ydb_raw_query_s like ‘YBroadCastQuery@query@KKBH:{YBroadCastparam} AND JGSJ:{{YBroadCastparam} TO {YBroadCastparam}}@0,1,2@{YBroadCastId:0000000001}’
/*(‘<-‘)pushdown.ydb*/
) tmp group by tmp.HPHM order by dist_kkbh desc  limit 10

示例五：基本使用方法

 
—-示例一 超过1024条，会返回错误—–
YBroadCastBlock@0000000001:1024:over_error@
select distinct tradeid from (
/*ydb.pushdown(‘->’)*/ select tradeid from ydb_trade_demo where ydbpartion=’20151011′ and (nickname=’张*’ or nickname=’王*’ or nickname=’赵*’ or nickname=’孙*’)    /*(‘<-‘)pushdown.ydb*/
) tmp
@YBroadCastBlock

select nickname,count(*) from
(
/*ydb.pushdown(‘->’)*/
select nickname from ydb_trade_demo where ydbpartion=’20151011′ and ydb_raw_query_s like ‘YBroadCastQuery@term@tradeid@0@{YBroadCastId:0000000001}’
/*(‘<-‘)pushdown.ydb*/

) tmp group by nickname

—-示例二 超过2048条，随机抽取其中的2048条—–
YBroadCastBlock@0000000001:2048:over_rand@
select  distinct tradeid from (
/*ydb.pushdown(‘->’)*/ select tradeid from ydb_trade_demo where ydbpartion=’20151011′ and (nickname=’张*’ or nickname=’王*’ or nickname=’赵*’ or nickname=’孙*’)    /*(‘<-‘)pushdown.ydb*/
) tmp
@YBroadCastBlock

/*ydb.pushdown(‘->’)*/
select count(*) from ydb_trade_demo where ydbpartion=’20151011′ and ydb_raw_query_s like ‘YBroadCastQuery@term@tradeid@0@{YBroadCastId:0000000001}’
/*(‘<-‘)pushdown.ydb*/

—-示例三 超过4096条，则匹配所有(一般用来优化join,对于小表匹配使用broadcast性能很好，对于大表则依然采用原先的spark默认逻辑)—–
YBroadCastBlock@0000000001:4096:over_all@
select distinct tradeid from (
/*ydb.pushdown(‘->’)*/ select tradeid from ydb_trade_demo where ydbpartion=’20151011′ and (nickname=’张*’ or nickname=’王*’ or nickname=’赵*’ or nickname=’孙*’)    /*(‘<-‘)pushdown.ydb*/
) tmp
@YBroadCastBlock

/*ydb.pushdown(‘->’)*/
select count(*) from ydb_trade_demo where ydbpartion=’20151011′ and ydb_raw_query_s like ‘YBroadCastQuery@term@tradeid@0@{YBroadCastId:0000000001}’ limit 10
/*(‘<-‘)pushdown.ydb*/

—-示例四 字符串类型—–
YBroadCastBlock@0000000001:1024:over_error@
select distinct nickname  from (
/*ydb.pushdown(‘->’)*/ select nickname from ydb_trade_demo where ydbpartion=’20151011′ and nickname=’张*’    /*(‘<-‘)pushdown.ydb*/
) tmp
@YBroadCastBlock

select nickname,count(*) from
(
/*ydb.pushdown(‘->’)*/
select nickname from ydb_trade_demo where ydbpartion=’20151011′ and ydb_raw_query_s like ‘YBroadCastQuery@term@nickname@0@{YBroadCastId:0000000001}’
/*(‘<-‘)pushdown.ydb*/

) tmp group by nickname  limit 20

—-示例五：通过lucene query ,可以实现范围匹配—-

YBroadCastBlock@0000000002:1024:over_error@
select cast((amt-5)  as bigint) as amtmin,cast((amt+5) as bigint) as amtmax from (
/*ydb.pushdown(‘->’)*/ select nickname,avg(amt) as amt from ydb_trade_demo where ydbpartion=’20151011′ and  nickname=’张*’  and amt>=’9′ and amt <=’10’ group by nickname   /*(‘<-‘)pushdown.ydb*/
) tmp

@YBroadCastBlock

/*ydb.pushdown(‘->’)*/
select * from ydb_trade_demo where ydbpartion=’20151011′ and ydb_raw_query_s like ‘YBroadCastQuery@query@amt:{{YBroadCastparam} TO {YBroadCastparam}} @0,1@{YBroadCastId:0000000002}’
limit 20
/*(‘<-‘)pushdown.ydb*/

—-示例六：lucene query的 AND OR  多个逻辑支持—-

YBroadCastBlock@0000000001:1024:over_error@
select nickname as nickname,cast((amt-5)  as bigint) as amtmin,cast((amt+5) as bigint) as amtmax from (
/*ydb.pushdown(‘->’)*/ select nickname,avg(amt) as amt from ydb_trade_demo where ydbpartion=’20151011′ and  nickname=’张*’  and amt>=’9′ and amt <=’10’ group by nickname   /*(‘<-‘)pushdown.ydb*/
) tmp
@YBroadCastBlock

/*ydb.pushdown(‘->’)*/
select count(*) from ydb_trade_demo where ydbpartion=’20151011′ and ydb_raw_query_s like ‘YBroadCastQuery@query@nickname:{YBroadCastparam} AND amt:{{YBroadCastparam} TO {YBroadCastparam}}@0,1,2@{YBroadCastId:0000000001}’
limit 20
/*(‘<-‘)pushdown.ydb*/ ;

 

qq_33160722
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
SPARK dataframe 两个表操作
u012531043的博客
03-15 3882
spark 如何操作两个文件呢？ 创建了两个临时表，而后在编写语句。
Spark在不同存储格式下的性能对比
03-06
笔者发现，很多同学在各种项目中尝试使用Spark，大多数同学最初开始尝试使用Spark的原因都很简单，主要就是为了让大数据计算作业的执行速度更快、性能更高。然而，通过Spark开发出高性能的大数据计算作业，并不是...
sparkmllib关联规则算法（FPGrowth,Apriori）
prometheus的博客
11-20 1万+
关联规则算法的思想就是找频繁项集，通过频繁项集找强关联。 介绍下基本概念： 对于A->B 1、置信度：P(B|A)，在A发生的事件中同时发生B的概率 p(AB)/P(A) 例如购物篮分析：牛奶 ⇒ 面包 2、支持度：P(A ∩ B)，既有A又有B的概率 假如支持度：3%，置信度：40% 支持度3%：意味着3%顾客同时购买牛奶和面包 置信度
基于spark进行多源数据关联统计分析
鸟语清晨
02-01 1119
spark引擎进行多数据关联分析业务背景解决方案代码示例 业务背景 很多统计需求是根据现有存储进行统计分析： 1、关系型数据库存储基本关系数据，MySQL、oracle、pg等。 2、非关系型数据库存储详细数据，MongoDB、HBase、ES等。 解决方案 通过spark引擎加载多源数据，进行统计分析。 处理流程图 代码示例 //加载jdbc数据 Dataset<Row> ...
Spark购物篮分析:关联规则挖掘
陈杰
11-15 3843
1、浅谈数据挖掘中的关联规则挖掘 2、Hadoop/MapReduce购物篮分析:关联规则挖掘 3、Spark购物篮分析 过程分析: import org.apache.spark.SparkConf import org.apache.spark.SparkContext import scala.collection.mutable.ListBuff
yDB:基于英特尔 RTM 的高性能可扩展内存键值存储原型
06-06
它可以在源自 YCSB 的基准测试中实现与称为 Silo (SOSP'13)[3] 的最先进内存数据库之一相同的性能。 具体来说，它使用 4 个内核和 8 个硬件线程实现了 720 万 tps。 此外，它还可以在具有超线程的 4 核 CPU 上从 1 ...
YDB之大数据时代
07-06
总的来说，YDB之大数据时代揭示了一个全新的数据管理理念，它通过强大的分布式处理能力、高可用性、一致性和安全性，为大数据时代的各类应用场景提供了高效、可靠的解决方案。随着大数据的持续发展，YDB将持续发挥其...
延云ydbOnSpark的性能测试报告
01-01
关于ydb on spark的介绍，请阅读该文：...本文测试的目的是用来比对 使用原生Spark与 YDB on Spark上的性能差异。 如果您感兴趣想要亲自测试，请访问http://ycloud.net.cn获取延云YDB，自行测试。
YDB编程指南-预览版
01-03
YDB全称延云YDB，是一个基于Hadoop分布式架构下的实时的、多维的、交互式的查询、统计、分析引擎，具有万亿数据规模下的秒级性能表现，并具备企业级的稳定可靠表现。 YDB是一个细粒度的索引，精确粒度的索引。数据...
spark做两张大表的join操作，mapPartition和重分区算子的使用策略
攻城狮Kevin
01-11 5931
Spark中做两个大hive表的join操作，先读取过来处理成两个数据量很大的RDD，如果两个RDD直接进行join操作，势必会造成shuffle等导致运行非常缓慢，那么怎么优化呢？方法如下： 首先，对每个大hive表生成RDD进行优化 1. 对RDD进行repartition重分区 先依据Executor数和内存情况估算出对RDD分为多少个partition比较合适，因为一个par...
我这样写代码，比 MyBatis 快 100 倍，天生支持联表！
Java精选
05-08 219
1开源项目简介对于java程序员来说，myBatis、Hibernate等都是常见的 ORM框架，对于一些简单的 CRUD，事务支持非常不错。但是有时候用起来可能比较繁琐，比如接下来我们要聊的话题，比 MyBatis 效率快 100 倍的条件检索引擎，天生支持联表，使一行代码实现复杂列表检索成为可能，绝无夸张之语！2开源协议使用Apache-2.0开源协议3界面展示你的产...
Spark 实现两表查询(SparkCore和SparkSql)
浪淘沙
09-30 3867
项目需求： ip.txt:包含ip起始地址，ip结束地址，ip所属省份 access.txt:包含ip地址和各种访问数据 需求：两表联合查询每个省份的ip数量 SparkCore 使用广播，将小表广播到executor.对大表的每条数据都到小表中进行查找。 package day07 import java.sql.DriverManager import org.apache....
YDB技术原理
qq_33160722的博客
02-19 883
第十二章YDB技术原理 一、铺一条让Spark跑的更快的路   二、YDB的本质 在Spark之上基于搜索引擎技术，实现索引和搜索功能。 既有搜索引擎的查询速度，又有Spark强大的分析计算能力。 可对多个字段进行关键字全匹配或模糊匹配检索，并可对检索结果集进行分组、排序、计算等统计分析操作。   三、多种技术组合-万亿数据秒级查
spark十亿数据join优化
热门推荐
weixin_36630761的博客
12-14 1万+
转：https://daizuozhuo.github.io/spark-join/ 最近在项目中用Spark join了几十亿的数据，在debug和不断优化性能中感觉收获良多，特此记录一下。 任务很简单，就是join两张表，表A ship有几千万行，包含每日寄出去的包裹的信息，表B item有几十亿行，包括所有商品的属性，我们需要把商品的属性信息加到每个包裹里面的商品上。
Spark离线计算优化——leftOuterJoin优化
zxlove
06-06 3438
两个k-v格式的RDD进行leftOuterJoin操作如果数据量较大复杂度较高的话计算可能会消耗大量时间。可以通过两种方式进行优化：1、leftOuterJoin操作前，两个RDD自身进行reduceByKey操作（保证key唯一）；2、两个RDD先map成结果k-v格式，再将两个RDD进行reduceByKey操作（避免使用leftOuterJoin操作），示例：RDD1：（a, a1）RDD...
Python-pyspark中常见问题总结
csearch的博客
05-10 1815
在实际工作中经常遇到各种坑，特别适用pyspark进行相关挖掘探索，有许多编程上的问题，在这里逐个记录一下吧，便于以后查找…… pyspark中将dataframe注册为内存数据表时，命名中不能带点(.)，否则出现无法找到数据表 如下所示，registerDataFrameAsTable将df注册为内存数据表时，由于惯性思维，习惯性指定到hive仓库的某个库某个表，结果出现无法找到对应的表 df
Spark SQL 之 Join 实现
weixin_30258027的博客
09-20 852
原文地址：Spark SQL 之 Join 实现 Spark SQL 之 Join 实现 涂小刚2017-07-19217标签：spark，数据库 Join作为SQL中一个重要语法特性，几乎所有稍微复杂一点的数据分析场景都离不开Join，如今Spark SQL(Dataset/DataFrame)已经成为Spark应用程序开发的主流，作为开发者，我们有必要了解Jo...
YDB跟Solr Cloud、ElasticSearch区别
qq_33160722的博客
02-19 847
一、跟Solr Cloud、ElasticSearch区别        谈到YDB的索引技术，相信很多同学都会想到Solr、ElasticSearch。他们俩真可谓是大名鼎鼎，是两个顶级项目，最近有些同学经常问我，“开源世界有Solr、ElasticSearch为什么还要使用YDB?”          在回答这个问题之前，大家可以思考一个问题，既然已经有了Oracle、Mysql等数
YDB编程指南：大数据分析与高性能解决方案
《YDB编程指南最新版笔记版》不仅提供了全面的编程知识，还包括了YDB技术在实际应用中的最佳实践和性能优化，对于希望在大数据领域进行深入学习和实践的开发者来说，这是一本不可或缺的参考资料。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值