- 博客(2)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 spark数据清洗解决方案
数据倾斜的解决方案 之 小表join大表转为小表broadcast+map大表实现。适用场景：在对RDD使用join类操作，或者是在Spark SQL中使用join语句时，并且join操作中的一个RDD或表的数据量比较小（比如几百M或者一两G）。实现原理：普通的join是会走shuffle过程的，而一旦shuffle，就相当于会将相同key的数据拉取到一个shuffle read task...
2020-01-15 15:02:11
2407
原创 java.lang.RuntimeException: java.lang.String is not a valid external type for schema of boolean
使用spark进行json解析时发生 Caused by: java.lang.RuntimeException: java.lang.String is not a valid external type for schema of boolean表示的是，hive表的数据类型是Boolean类型，但是你自己却定义成string类型...
2020-01-14 10:10:38
746
linux与shell相关
Linux是一款类Unix操作系统，它的出现离不开GNU自由软件运动中诞生的开发环境和编译器，又反过来极大的推动了GNU自由软件运动，让崇尚自由软件精神的先驱们不必继续局限在Unix系统上进行开发。Linux出现后，sendmail, wu-ftp, apache等团队纷纷启动了基于Linux系统的开发计划。
2018-12-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人