Hadoop2.0 简易安装

为什么80%的码农都做不了架构师？>>>   

前言

使用交互式安装脚本,只需在主节点操作即可.

脚本自动将代码下发部署到其他远程主机,包括修改环境变量,修改相关配置,集群统一起停等.

@Author duangr

@Website http://my.oschina.net/duangr/blog/181215

1.相关环境

Host Name	OS	IP
duangr-1	CentOS 64 x86_64	192.168.56.10
duangr-2	CentOS 64 x86_64	192.168.56.11
duangr-3	CentOS 64 x86_64	192.168.56.12

2.部署规划

项	值
安装用户	hadoop
Hadoop版本	hadoop-2.0.0-cdh4.5.0
安装路径	/export/home/tools/hadoop
主节点	duangr-1
从节点	duangr-2,duangr-3

3.代码获取

•  hadoop-2.0.0-cdh4.5.0.tar.gz
•  hadoop-native-2.0.0+1518-1.cdh4.5.0.p0.24.el6.x86_64.tar.gz
•  hadoop2-plugin-install.tar.gz

4.前提依赖

• 多主机之间配置好SSH密钥
• 关闭SELinux

5.开始安装

只需主节点安装

mkdir -p /export/home/tools/hadoop
tar -zxf  hadoop-2.0.0-cdh4.5.0.tar.gz -C /export/home/tools/hadoop
tar -zxf  hadoop-native-2.0.0+1518-1.cdh4.5.0.p0.24.el6.x86_64.tar.gz  -C /export/home/tools/hadoop/hadoop-2.0.0-cdh4.5.0/lib
tar -zxf hadoop2-plugin-install.tar.gz -C /export/home/tools/hadoop/hadoop-2.0.0-cdh4.5.0
cd /export/home/tools/hadoop/hadoop-2.0.0-cdh4.5.0/install
./install.sh          ##  根据交互提示进行输入
. ~/.bash_profile

6.基本操作

如下操作只适用于主节点

6.1 重置集群数据目录

$ hadoop-cluster.sh reset

6.2 启动hdfs集群

$ hadoop-cluster.sh dfs start

6.3 启动mapred集群

$ hadoop-cluster.sh yarn start

6.4 查看集群状态

$ hadoop-cluster.sh status

6.5 查看帮助

$ hadoop-cluster.sh
Usage: hadoop-cluster.sh [task] [task-options]

Tasks:
    reset         - Reset hadoop data and Clear logs
    dfs           - dfs Options (required options)
    yarn          - yarn Options (required options)
    status        - show hadoop status

Task [dfs] options:
    start         - dfs Start
    stop          - dfs Stop
    status        - dfs status
Task [yarn] options:
    start         - yarn Start
    stop          - yarn Stop
    status        - yarn status

7.相关链接

• 多主机SSH密钥配置

• 如何获取Hadoop Native Lib

• 关闭SELinux
• hadoop

转载于:https://my.oschina.net/duangr/blog/181215