Hadoop第一弹:与传统数据处理相比较

对10T大小行存储的文本文件进行重复行处理:

传统处理:
环境:PC机1台,8G内存
第一步:读文件并进行取模将相同行写入小文件
第二步:分别读取小文件并进行重复行的处理

Hadoop处理:
环境:PC机100台,8G内存
第一步:文件进行线性切割然后平均存储在100台PC机上
第二步:每台PC机读取当前机器上的切割后的文件,进行取模计算并写入小文件
第三步:每台PC机分别拉取与自己编号相同的小文件进行对数据的重复处理



发布了5 篇原创文章 · 获赞 2 · 访问量 9022
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览