分布式计算
文章平均质量分 78
liumihust
这个作者很懒,什么都没留下…
展开
-
如何利用GNU Parallel工具在单机上处理百万级数量规模的文件
进行数据处理的时候我们经常会遇到这样的情况:一个数据集由一大堆很小的文件组成,这些小文件格式相同,可能是系统的日志文件或者产自传感器等终端。处理这种类型的数据集非常困难,而GNU Parralle为我们提供了一种思路。原创 2016-02-20 13:46:24 · 1304 阅读 · 0 评论 -
从MapReduce框架浅谈分布式计算
从MapReduce框架浅谈分布式计算 现在的数据挖掘应用,也就是常说的大数据分析,需要我们对大规模的数据进行快速高效的分析。我们先来看下面的例子: 20billions的20KB的网页有400TB,按照目前磁盘的读取速度约为30M/S,我们需要大约4个月的时间才能读完这所有的数据,而存储这些数据需要1000块普通磁盘。即便是这些问题解决了,想要分析这些数据,从中获取有用的价值,就更是难上加难原创 2016-02-26 20:19:36 · 6536 阅读 · 0 评论