spark
半夏大师兄
这个作者很懒,什么都没留下…
展开
-
Spark BroadCastJoin时,基表不能被广播的原因
Spark BroadCastJoin时,基表不能被广播的原因相信很多朋友在看Spark的各种join的文章时,总会看到Spark BroadCastJoin时,基表不能被广播。比如 left outer join 时,只能广播右表。但是都没写什么原因,以下是我个人猜测的原因假设有A和B表,数据如下:查询sql为:select A.name,B.age from A left join B on A.name = B.name结果应该为:假设broadcast join广播的不是右表而是左原创 2021-01-16 17:30:01 · 1267 阅读 · 1 评论 -
Spark查询多字符分隔符hive表时遇到的问题
Spark查询多分隔符hive表时遇到的问题首先肯定要引入创建多分隔符hive表时的jar包,hive-contrib-3.1.0.3.0.0.0-1634.jar然而使用spark-shell --jars xxx/hive-contrib-3.1.0.3.0.0.0-1634.jar引入jar包后查询多分隔符hive表时仍然提示classnotfound异常,提示类找不到,在命令行界面试下...原创 2019-11-07 15:35:56 · 1347 阅读 · 1 评论