hadoop
caoshuming_500
这个作者很懒,什么都没留下…
展开
-
第1章 初识hadoop
1.1 数据存储和分析 我们生活在数据时代,每天都有大量的数据在产出,但这些数据怎么存储、使用就变的非常重要的;一个数据不被使用那这份数据就是死数据 现在我们的磁盘读速度100M/s 如果读10T 的数据需要 10 * 1000 * 1000 M / 100M = 30个小时;那这样的速度肯定是不可取的,一种简单的办法就是把数据存储在多台机器上(数据足够大,一台机器也存储不下来);原创 2016-08-17 11:20:49 · 488 阅读 · 0 评论 -
第2章 MapReduce 简介
2.1 MR 进行数据分析 mr 是一种用于数据处理的编程模型,同一个hadoop 集群可以运行不同编程语言写的MR 程序,比如java、python、C++ 都可以。 下面是一个从大数据中计算出每一年最高的气温的流程图原创 2016-08-17 11:55:06 · 504 阅读 · 0 评论