![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
Darin2017
Python兴趣
展开
-
Hadoop学习笔记001
Hadoop是一个开源框架,它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。他的目的是从单一的服务器到上千台机器的扩展,每一个台机都可以提供本地计算和存储。 “90%的世界数据在过去的几年中产生”。 由于新技术,设备和类似的社交网站通信装置的出现,人类产生的数据量每年都在迅速增长。美国从一开始的时候到2003年产生的数据量为5十千亿兆字节。如果以堆放的数据磁盘的形式,它可以填补...原创 2019-07-12 15:54:42 · 168 阅读 · 0 评论 -
Hadoop学习笔记002
Hadoop大数据解决方案 传统的企业方法 在这种方法中,一个企业将有一个计算机存储和处理大数据。对于存储而言,程序员会选择自己的数据库厂商,如Oracle,IBM等的帮助下完成,用户交互使用应用程序进而获取并处理数据存储和分析。 局限性 这种方式能完美地处理那些可以由标准的数据库服务器来存储,或直至处理数据的处理器的限制少的大量数据应用程序。但是,当设计到处理大量的可伸缩数据,这是一个繁忙的任...原创 2019-07-12 16:12:41 · 146 阅读 · 0 评论 -
Hadoop学习笔记003
Hadoop是什么? Hadoop是使用Java编写,允许分布在集群,使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。Hadoop框架应用工成提供跨计算机集群的分布式存储和计算的环境。Hadoop是专为从单一服务器到上千台机器扩展,每个机器都可以提供本地计算和存储。 Hadoop的架构 在其核心,Hadoop主要有两个层次,即: 加工/计算层(MapReduce),以及 存储层...原创 2019-07-12 16:37:47 · 167 阅读 · 0 评论