Hadoop
子安
这个作者很懒,什么都没留下…
展开
-
hadoop Checksum校验的一个小问题
今天使用下面的命令读取文件的时候val train_male = sc.textFile("file:\\E:\\m\\part-00000")读取数据的时候,报了下面的错误 org.apache.hadoop.fs.ChecksumException: Checksum error 后来查资料发现,这个和Checksum校验有问题,查看目录,发现保存的数据里面果然有.part-00000.cr原创 2017-06-07 10:24:56 · 4067 阅读 · 1 评论 -
快速上手写spark代码系列01:RDD transformation函数入门
快速上手写spark代码系列:01-RDD transformation函数入门标签(空格分隔): RDD transformation快速上手写spark代码系列01-RDD transformation函数入门 元素映射类转换 map函数 flatMap函数 filter函数 分区集合类转换 mapPartitions函数这个属于集合类操作直接对一个分区进行操作 mapPartitionsWit原创 2017-06-29 18:26:40 · 2960 阅读 · 0 评论