数据分析
文章平均质量分 74
疏雨过风林破
这个作者很懒,什么都没留下…
展开
-
MapReduce过程
MapReduce是分治算法的一种实现。 处理过程为input->map->sort->combine->Partition->Reduce->Output input阶段:数据以一定的格式传递给Mapper; map阶段: 对输入的key,value进行处理,即map(k1,v1) -> list(k2,v2); sort阶段:对于Mapper...原创 2018-03-17 17:53:27 · 323 阅读 · 0 评论 -
解决大数据问题的思路
文章转载自:https://www.cnblogs.com/CheeseZH/p/5283390.html 大数据问题一般采用分而治之的思想。 首先对数据量大小的单位做一个总结: 1GB=1024MB 1MB=1024KB 1KB=1024Bytes(字节) 1GB=10910910^9Bytes 哈希存储 布隆过滤器 归并排序 快速排序 推排序 分布式架构 trie树(...转载 2018-03-17 20:28:11 · 1245 阅读 · 0 评论