- 博客(2)
- 收藏
- 关注
原创 从MapReduce框架浅谈分布式计算
从MapReduce框架浅谈分布式计算 现在的数据挖掘应用,也就是常说的大数据分析,需要我们对大规模的数据进行快速高效的分析。我们先来看下面的例子: 20billions的20KB的网页有400TB,按照目前磁盘的读取速度约为30M/S,我们需要大约4个月的时间才能读完这所有的数据,而存储这些数据需要1000块普通磁盘。即便是这些问题解决了,想要分析这些数据,从中获取有用的价值,就更是难上加难
2016-02-26 20:19:36
6536
原创 如何利用GNU Parallel工具在单机上处理百万级数量规模的文件
进行数据处理的时候我们经常会遇到这样的情况:一个数据集由一大堆很小的文件组成,这些小文件格式相同,可能是系统的日志文件或者产自传感器等终端。处理这种类型的数据集非常困难,而GNU Parralle为我们提供了一种思路。
2016-02-20 13:46:24
1304
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人