- 博客(2)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 Scala 元组
与列表一样，元组也是不可变的，但与列表不同的是元组可以包含不同类型的元素。元组的值是通过将单个的值包含在圆括号中构成的。例如：val t = (1, 3.14, "Fred") 以上实例在元组中定义了三个元素，对应的类型分别为[Int, Double, java.lang.String]。此外我们也可以使用以下方式来定义：val t = new Tuple3(1, 3.14, "Fr...
2019-11-14 10:42:46
206
转载 Spark 2.0 DataFrame map操作中Unable to find encoder for type stored in a Dataset.问题的分析与解决
Spark 2.0 DataFrame map操作中Unable to find encoder for type stored in a Dataset.问题的分析与解决转载于：https://blog.csdn.net/sparkexpert/article/details/52871000随着新版本的spark已经逐渐稳定，最近拟将原有框架升级到spark 2.0。还是比较兴奋的，特别是...
2019-11-13 20:23:27
641
Spark调优.webp
Spark调优
直接join将会对所有数据进行shuffle，需要大量的io操作，相同的key会在同一个partition中进行处理，任务的并发度也收到了限制。使用broadcast将会把小表分发到每台执行节点上，因此，关联操作都在本地完成，基本就取消了shuffle的过程，运行效率大幅度提高，进行了broadcast,可以看到连shuffle过程都省略了。
2019-11-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人