tianyu的专栏 - Linux site:blog.csdn.net/wishfly

http://thinkinginhadoop.iteye.com/blog/709947

http://www.iteye.com/topic/200508

http://tech.sina.com.cn/i/2011-04-27/09205455732.shtml

http://cloud.csdn.net/a/20110429/296900.html

Google在2004年创造了MapReduce，MapReduce集群可包括数以千计的并行操作的计算机。同时MapReduce允许程序员在如此庞大的集群中快速的转换数据并执行数据。 从MapReduce到Hadoop，这其中经历了一个有趣的转变。MapReduce最初是帮助搜索引擎公司应对万维网所带来的创建索引时产生的大量数据。Google最初也招募了一些硅谷的精英，并雇用了大批的工程师来完善

当数据以成百上千TB不断增长的时候，我们需要一种独特技术来应对这种前所未有的挑战。 大数据分析迎来大时代 全球各行各业的组织机构已经意识到，最准确的商务决策来自于事实，而不是凭空臆想。这也就意味着，他们需要在内部交易系统的历史信息之外，采用基于数据分析的决策模型和技术支持。互联网点击数据、传感数据、日志文件、具有丰富地理空间信息的移动数据和涉及网络的各类评论，成为了海量信息的多种形式。 极具

事实上，麦肯锡全球研究院的研究预测在未来6年，仅在美国本土就可能面临缺乏14万至19万具备深入分析数据能力人才的情况，同时具备通过分析大数据并为企业做出有效决策的数据的管理人员和分析师也有150万人的缺口。 Ventana研究公司的分析师David Menninger指出在其公司最近所作的一项调查显示，在169位公司高管中有四分之三的人认为技术人员缺乏是企业无从应对大数据挑战的重要因素。 Ha