Hadoop初识与其在Linux系统的配置步骤

1.简介

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。

2. 优点

高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖 。
高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。
高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。
高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。
低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低。

3. 简要特征

4V特征：大数据量、速度快、多样化、+价值密度低
固有特征：时效性、不可变性

4. 下载步骤（Linux系统下）

地址：https://archive.apache.org/dist/hadoop/common/ （包含三大版本）

Hadoop目前版本分为：DKhadoop发行版、cloudera发行版、hortonworks发行版

DKhadoop发行版：有效的集成了整个HADOOP生态系统的全部组件，并深度优化，重新编译为一个完整的更高性能的大数据通用计算平台，实现了各部件的有机协调。因此DKH相比开源的大数据平台，在计算性能上有了高达5倍(最大)的性能提升。DKhadoop将复杂的大数据集群配置简化至三种节点(主节点、管理节点、计算节点)，极大的简化了集群的管理运维，增强了集群的高可用性、高可维护性、高稳定性。

Cloudera发行版：CDH是Cloudera的hadoop发行版，完全开源，比Apache hadoop在兼容性，安全性，稳定性上有增强。

Hortonworks发行版：Hortonworks 的主打产品是Hortonworks Data Platform (HDP)，也同样是100%开源的产品，其版本特点：HDP包括稳定版本的Apache Hadoop的所有关键组件;安装方便，HDP包括一个现代化的，直观的用户界面的安装和配置工具。

解压文件
tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz

移动文件夹到soft目录下
mv hadoop-2.6.0-cdh5.14.2 soft/hadoop260

进入文件夹目录下
cd soft/hadoop260/etc/hadoop

打印文件路径
echo $JAVA_HOME

进入文件
vi hadoop-env.sh（修改成红框内的正确内容）

进入文件
vi core-site.xml
并填充红框内的内容

进入文件
vi hdfs-site.xml
并填充红框内的内容

复制文件
cp mapred-site.xml.template mapred-site.xml

进入文件
vi mapred-site.xml
并填充红框内的内容

进入文件
vi yarn-site.xml
并填充红框内的内容

进入文件
vi /etc/profile
并填充红框内的内容

输入source /etc/profile
输入hadoop namenode -format （全选yes）
输入start-all.sh
输入 jps

完成配置