java
文章平均质量分 74
未来世界~未来之星
这个作者很懒,什么都没留下…
展开
-
Mapreduce
一、hadoop序列化的特点:1、紧凑:高效使用存储空间2、快速:读写数据的额外开销小3、可扩展:随着通信协议的升级而升级4、互操作:支持多语言的交互二、hadoop小文件处理方式:每一个小文件都是一个Block,都会产生一个InputSplit,最终每一个小文件都会产生一个map任务。解决方案:选择一个容器,将这些小文件组织起来统一存储,HDFS提供了两种类型的容器,分别是SequenceFile 和 MapFile。SequenceFile 其实可以理解为把很多小文件压缩成一个大的压缩包了原创 2021-10-20 14:08:23 · 121 阅读 · 0 评论 -
Hadoop入门
Hadoop的优势原创 2021-08-13 11:05:51 · 478 阅读 · 0 评论