Hadoop的伪分布式安装部署

一：下载Hadoop包

下载地址：https://hadoop.apache.org/releases.html

二：简介

2.1.Hadoop是什么

Hadoop是一种分析和处理海量数据的软件平台
Hadoop是一款开源软件,使用JAVA开发
Hadoop可以提供一个分布式基础架构

2.2.Hadoop特点

高可靠性、高扩展性、高效性、高容错性、低成本

2.3.Hadoop常用组件

HDFS:Hadoop分布式文件系统(核心组件)
MapReduce:分布式计算框架(核心组件)
Yarn:集群资源管理系统(核心组件)
Zookeeper:分布式协作服务
Hbase:分布式列存数据库
Hive:基于Hadoop的数据仓库
Sqoop:数据同步工具
Pig:基于Hadoop的数据流系统
Mahout:数据挖掘算法库
Flume:日志收集工具

三：安装模式简介

• 单机模式：不能使用HDFS，只能使用MapReduce,所以单机模式最主要的目的是在本机调试mapreduce代码

• 伪分布式模式：用多个线程模拟多台真实机器，即模拟真实的分布式环境。

• 完全分布式模式：用多台机器（或启动多个虚拟机）来完成部署集群。

四：伪分布式安装部署

4.1 前提准备

4.1.1配置主机名

在network中更改hostname参数（重启后依然有效）：
模式：HOSTNAME=<主机名>

vim /etc/sysconfig/network

或者可以暂时有效方法：

sudo hostname <主机名>

4.1.2配置hosts文件

更改hosts文件：
模式：IP <主机名>

vim /etc/hosts

4.1.3配置自己节点登录的免密码登录

如果是单机的伪分布式环境，节点需要登录自己节点，即hadoop01要登录hadoop01，但是此时是需要输入密码的，所以要在hadoop01节点上执行：

ssh-keygen -t rsa//生成密钥
ssh-copy-id <用户名>@<主机名>//自己节点免密登录

4.1.4安装好JDK环境

4.1.5下载并上传Hadoop安装包

以2.8.5版本的hadoop、上传路径以/opt路径为例。

4.2正式安装

4.2.1解压安装包

cd /opt/hadoop
tar -zxvf hadoop-2.8.5.tar.gz

目录说明：（最常用的就是bin和etc目录）

• bin目录：命令脚本
• etc/hadoop:存放hadoop的配置文件
• lib目录：hadoop运行的依赖jar包
• sbin目录：启动和关闭hadoop等命令都在这里
• libexec目录：存放的也是hadoop命令，但一般不常用

4.2.2配置环境变量

打开环境变量文件：

sudo vim /etc/profile

在文件最后面写上下面配置：

# Hadoop配置文件
export HADOOP_HOME=/opt/hadoop/hadoop-2.8.5
export PATH=${HADOOP_HOME}/bin:$PATH

4.2.3配置文件

进入hadoop配置文件路径

cd /opt/hadoop/hadoop-2.8.5/etc/hadoop/

• 1.配置hadoop-env.sh
  修改java_home路径和hadoop_conf_dir 路径
  vim hadoop-env.sh
  
  然后执行：source hadoop-env.sh 让配置立即生效
• 2.配置core-site.xml
  vim core-site.xml

<configuration>

        <!--用来指定hdfs的老大，namenode的地址-->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop01:9000</value>
        </property>
        <!--用来指定hadoop运行时产生文件的存放目录-->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/hadoop/hadoop-2.8.5/tmp</value>
        </property>
</configuration>

• 3.配置hdfs-site .xml
  vim hdfs-site .xml

<configuration>
        <!--指定hdfs保存数据副本的数量，包括自己，默认值是3-->
        <!--如果是伪分布模式，此值是1-->
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <!--设置hdfs的操作权限，false表示任何用户都可以在hdfs上操作文件-->
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
</configuration>

• 4.配置mapred-site.xml
  这个文件初始时是没有的，有的是模板文件，mapred-site.xml.template所以需要拷贝一份，并重命名为mapred-site.xml
  执行：cp mapred-site.xml.template mapred-site.xml
  vim mapred-site.xml

<configuration>
        <property>
        <!--指定mapreduce运行在yarn上-->
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

• 5.配置yarn-site.xml
  vim yarn-site.xml

<configuration>
        <!-- Site specific YARN configuration properties -->
        <property>
                <!--指定yarn的老大 resoucemanager的地址-->
                <name>yarn.resourcemanager.hostname</name>
                <value>aeb</value>
        </property>
        <property>
                <!--NodeManager获取数据的方式-->
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

• 6.配置slaves文件
  vim slaves

hadoop01

4.2.4格式化NameNode

hadoop namenode -format

当出现：successfully，证明格式化成功

4.2.5Hadoop的启动

• 切换到sbin目录下, 执行./start-dfs.sh, 启动hadoop相关服务;
• 执行./start-yarn.sh, 启动yarn相关服务。

4.2.6在WEB页面访问，查看是否正常

NameNode节点通过Web访问
默认URL：http://localhost:50070/
在浏览器查看YARN
默认URL：http://localhost:8088

4.3.上述都正常，则安装成功

至此，Hadoop伪分布式集群安装及配置完成，这个安装只有HDFS、YARN，MapReduce等基本组件。

（后续继续补充，把单机安装、分布式安装完成）