- 博客(2)
- 收藏
- 关注
RSS订阅原创 从MapReduce框架浅谈分布式计算
从MapReduce框架浅谈分布式计算 现在的数据挖掘应用，也就是常说的大数据分析，需要我们对大规模的数据进行快速高效的分析。我们先来看下面的例子： 20billions的20KB的网页有400TB，按照目前磁盘的读取速度约为30M/S，我们需要大约4个月的时间才能读完这所有的数据，而存储这些数据需要1000块普通磁盘。即便是这些问题解决了，想要分析这些数据，从中获取有用的价值，就更是难上加难
2016-02-26 20:19:36
6536
原创 如何利用GNU Parallel工具在单机上处理百万级数量规模的文件
进行数据处理的时候我们经常会遇到这样的情况：一个数据集由一大堆很小的文件组成，这些小文件格式相同，可能是系统的日志文件或者产自传感器等终端。处理这种类型的数据集非常困难，而GNU Parralle为我们提供了一种思路。
2016-02-20 13:46:24
1304
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人