![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
wangzhanchi8
这个作者很懒,什么都没留下…
展开
-
Spark RDD概念学习系列之Spark的算子的分类
Spark的算子的分类 从大方向来说,Spark 算子大致可以分为以下两类: 1)Transformation 变换/转换算子:这种变换并不触发提交作业,完成作业中间过程处理。 Transformation 操作是延迟计算的,也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行,需要等到有 Action 操作的时候才会真正触发运算。 2)Action...转载 2018-03-16 18:58:08 · 384 阅读 · 0 评论 -
java.lang.IllegalStateException: unread block data
Spark 通过textfile读取外部数据源,报错:unread block data,具体错误信息如下 18/03/19 20:46:54 ERROR Executor: Exception in task 0.0 in stage 0.0 (TID 0)java.lang.IllegalStateException: unread block data at java.io.ObjectIn...原创 2018-03-19 20:54:29 · 9637 阅读 · 3 评论 -
Intellij IDEA开发Scala程序--搭建Scala开发环境
1为什么要学习Scala语言2Scala简介3Scala在Windows系统上的安装及环境配置1安装Java下载JDK配置环境变量测试Java环境3安装Scala下载Scala配置环境变量测试Scala环境4使用Intellij IDEA写hello world1安装Intellij IDEA下载Intellij IDEA配置Intellij IDEA1、为什么要学习Scala语言?结合Spark...转载 2018-04-13 20:46:29 · 471 阅读 · 0 评论