Spark
文章平均质量分 93
相关知识
伍华锋
这个作者很懒,什么都没留下…
展开
-
MapReduce常见的知识点
文章目录1. 准备部分2. jar包依赖3. Map部分4.Reduce部分5.提交部分6.打包提交 原博文,点击这里 接下来以一个简单的WordCount为例子,介绍Java版本的MapReduce的程序编写。 mapreduce程序主要分三部分:1.map部分,2.reduce部分,3.提交部分。 1. 准备部分 hadoop中,针对数据类型自成一体,与java的数据类型对应。封装在hadoop.io包中,主要分为基本类型和其它类型。 基本数据类型 其它类型 2. jar包依赖 创建一个maven工转载 2021-08-10 14:52:46 · 546 阅读 · 0 评论 -
sequenceFile读写文件、记录边界、同步点、压缩排序、格式
文章目录sequenceFile读写文件、记录边界、同步点、压缩排序、格式(1)写入数据到文件(2)从文件读取数据(3)其他序列化框架调用方法(4)记录边界和同步点(5)查看序列化文件(6)输出排序后的sequenceFile文件(7)sequenceFile文件格式 原博文,点击这里 sequenceFile读写文件、记录边界、同步点、压缩排序、格式 HDFS和MapReduce是针对大文件优化的存储文本记录,不适合二进制类型的数据。SequenceFile作为小文件的容器,SequenceFile类型将转载 2021-08-10 10:03:22 · 649 阅读 · 0 评论