Hadoop学习笔记（一）

1. 什么是Hadoop平台

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。 （百度百科）

• 分布式计算的概念：
  简单来说就是把庞大的数据分给不同的计算机分开计算，解决由于硬件性能不足，运算速度慢的问题。
• 个人小结：
  而Hadoop就是把分布式开发的功能集合在一个平台上，实现功能接口给用户使用，让复杂的分布式底层简单化。

以下内容参考：https://www.cnblogs.com/maybe2030/p/4593190.html

2.Hadoop平台的使用

大数据时代已经到来，给我们的生活、工作、思维方式都带来变革。如何寻求大数据后面的价值，既是机遇又是挑战。不管是金融数据、还是电商数据、又还是社交数据、游戏数据… … 这些数据的规模、结构、增长的速度都给传统数据存储和处理技术带来巨大的考验。幸运的是，Hadoop的诞生和所构建成的生态系统给大数据的存储、处理和分析带来了曙光。

不管是国外的著名公司Google、Yahoo!、微软、亚马逊、 EBay、FaceBook、Twitter、LinkedIn等和初创公司Cloudera、Hortonworks等，又还是国内的著名公司中国移动、阿里巴巴、华为、腾讯、百度、网易、京东商城等，都在使用Hadoop及相关技术解决大规模化数据问题，以满足公司需求和创造商业价值。

例如：Yahoo! 的垃圾邮件识别和过滤、用户特征建模系统；Amazon.com（亚马逊）的协同过滤推荐系统；Facebook的Web日志分析；Twitter、LinkedIn的人脉寻找系统；淘宝商品推荐系统、淘宝搜索中的自定义筛选功能……这些应用都使用到Hadoop及其相关技术。

“Hadoop能做什么？” ，概括如下：

1）搜索引擎：这也正是Doug Cutting设计Hadoop的初衷，为了针对大规模的网页快速建立索引；

2）大数据存储：利用Hadoop的分布式存储能力，例如数据备份、数据仓库等；

3）大数据处理：利用Hadoop的分布式处理能力，例如数据挖掘、数据分析等；

4）科学研究：Hadoop是一种分布式的开源框架，对于分布式系统有很大程度地参考价值。

3.Hadoop的三种模式

参考：http://www.cnblogs.com/maybe2030/p/4591195.html
Hadoop有三种不同的模式操作，分别为单机模式、伪分布模式和全分布模式。

• 单机模式操作是Hadoop的默认操作模式，当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，会保守地选择最小配置，即单机模式。该模式主要用于开发调试MapReduce程序的应用逻辑，而不会和守护进程交互，避免增加额外的复杂性。

• 伪分布模式操作是指在“单节点集群”上运行Hadoop，其中所有的守护进程都运行在同一台机器上。该模式在单机模式操作之上多了代码调试功能，可以查阅内存的使用情况、HDFS的输入输出以及守护进程之间的交互。

• 全分布模式操作是指一种实际意义上的Hadoop集群，其规模可从几个节点的小集群到成百上千个节点的大集群，甚至是成千上万的超大集群。

个人小结：

• 单机模式：没有分布式文件系统，主要是学习或开发阶段事使用。
• 伪分布模式：在一台电脑里模拟多主机，也用于学习开发
• 完全分布模式：真正的生产环境。