分布式文件系统Hadoop（二）部署

分布式文件系统Hadoop（二）部署

Linux环境安装
Hadoop是运行在Linux，虽然借助工具也可以运行在Windows上，但是建议还是运行在Linux系统上，第一部分介绍Linux环境的安装、配置、Java JDK安装等。

Hadoop本地模式安装
Hadoop 本地模式只是用于本地开发调试，或者快速安装体验 Hadoop，这部分做简单的介绍。
直接解压，无需任何配置。主要用于测试代码。没有分布式文件系统。

Hadoop伪分布式模式安装
学习 Hadoop 一般是在伪分布式模式下进行。这种模式是在一台机器上各个进程上运行 Hadoop 的各个模块，伪分布式的意思是虽然各个模块是在各个进程上分开运行的，但是只是运行在一个操作系统上的，并不是真正的分布式。

完全分布式安装
包含主节点和从节点，主节点namenode只有一个（一般来说，真实生产环境中namenode只会单独作为一个节点）namenode主要负责存储元数据，即datanode存储数据的描述，如数据存储在datanode的哪一个节点上，数据是谁上传的。datanode负责真正干活的，负责数据存储的。完全分布式中，如果namenode宕机了会造成整个集群无法使用，这也是完全分布式的一大缺点，存在单点故障问题。所以在一般生产环境中不太使用这种模式。

Hadoop各个功能模块的理解

1、 HDFS模块

HDFS负责大数据的存储，通过将大文件分块后进行分布式存储方式，突破了服务器硬盘大小的限制，解决了单台机器无法存储大文件的问题，HDFS是个相对独立的模块，可以为YARN提供服务，也可以为HBase等其他模块提供服务。

2、 YARN模块

YARN是一个通用的资源协同和任务调度框架，是为了解决Hadoop1.x中MapReduce里NameNode负载太大和其他问题而创建的一个框架。

YARN是个通用框架，不止可以运行MapReduce，还可以运行Spark、Storm等其他计算框架。

3、 MapReduce模块

MapReduce是一个计算框架，它给出了一种数据处理的方式，即通过Map阶段、Reduce阶段来分布式地流式处理数据。它只适用于大数据的离线处理，对实时性要求很高的应用不适用。

Linux环境安装

防火墙、selinux关闭状态，机器连网
tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules
vim /etc/profile
export JAVA_HOME="/opt/modules/jdk1.7.0_67"
export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile
java –version

Hadoop本地模式安装

本地模式是最简单的模式，所有模块都运行与一个JVM进程中，使用的本地文件系统，而不是HDFS，本地模式主要是用于本地开发过程中的运行调试用。下载 hadoop 安装包后不用任何设置，默认的就是本地模式。
解压hadoop后就是直接可以使用

mkdir /opt/modules/hadoopstandalone
解压所下载的Hadoop发行版到/opt/modules/hadoopstandalone
编辑 conf/hadoop-env.sh文件，至少需要将JAVA_HOME设置为Java安装根路径

bin/hadoop
将会显示hadoop 脚本的使用文档

$ mkdir input
$ cp conf/*.xml input
$ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'
$ cat output/*
本地模式下，mapreduce的输出是输出到本地。
输出目录中有_SUCCESS文件说明JOB运行成功，part-r-00000是输出结果文件。

Hadoop伪分布式模式安装

#ssh免密
ssh localhost
如果不输入口令就无法用ssh登陆localhost，执行下面的命令：
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys


1、 创建一个名字为hadoop的普通用户
# useradd hadoop
# passwd hadoop
2、 给hadoop用户sudo权限
# vim /etc/sudoers
#设置权限，学习环境可以将hadoop用户的权限设置的大一些，但是生产环境一定要注意普通用户的权限限制。
root    ALL=(ALL)       ALL
hadoop ALL=(root) NOPASSWD:ALL

3、 切换到hadoop用户
# su - hadoop
4、 创建存放hadoop文件的目录
$ sudo mkdir /opt/modules
5、 将hadoop文件夹的所有者指定为hadoop用户
#如果存放hadoop的目录的所有者不是hadoop，之后hadoop运行中可能会有权限问题，那么就讲所有者改为hadoop。
# sudo chown -R hadoop:hadoop /opt/modules

cd /opt/modules
# tar -zxvf hadoop-2.5.0.tar.gz
vim /etc/profile
export HADOOP_HOME="/opt/modules/hadoop-2.5.0"
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

source /etc/profile
vim  ${HADOOP_HOME}/etc/hadoop/hadoop-env.sh
修改JAVA_HOME参数为：
export JAVA_HOME="/opt/modules/jdk1.7.0_67"


创建临时目录：
mkdir -p /opt/data/tmp
sudo chown –R hadoop:hadoop /opt/data/tmp


配置{
   HADOOP_HOME