hadoop的安装与配置

1.安装前的准备

1）设置ip地址（公司内部网络，不能自动分配ip）

注意：重启网卡

2）关闭防火墙

3）设置主机名： /etc/sysconfig/network

4）ip与hostname的绑定：vi  /etc/hosts

如：添加192.168.152.128   master

5)设置免密码登录

执行命令:

(1)ssh-keygen -t rsa

(2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys(复制到当前用户下，免密码登录)安全复制到slave：ssh-copy-id  zkpk@slave   将密钥对传给对方，实现下次免密码登录

验证方式：ssh test

2.JDK安装

1）解压缩 tar、重命名mv

2)修改配置文件、并生成配置文件：

)vi ~/.bash_profile 添加如下内容:

export  JAVA_HOME=/usr/local/jdk（jdk的路径）
export  PATH=.:$JAVA_HOME/bin:$PATH

(6)source /etc/profile（使更改后的文件立即生效）

验证: java -version（查看Java的版本信息）

3. 安装 hadoop

执行命令

(1)tar -zxvf hadoop-1.1.2.tar.gz

(2)mv hadoop-1.1.2 hadoop

(3)vi ~/.bash_profile 增加内容如下:

export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$PATH

(4)source /etc/profile

(5)修改 conf 目录下的配置文件

hadoop-env.sh

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

1.hadoop-env.sh

export JAVA_HOME=/usr/local/jdk/

2.core-site.xml

<configuration>
    <property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop0:9000</value>
    </property>
    <property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
    </property>
</configuration>

3.hdfs-site.xml

<configuration>
    <property>
<name>dfs.replication</name>
<value>1</value>
    </property>
</configuration>

4.mapred-site.xml

<configuration>
    <property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
    </property>
</configuration>

5.yarn-site.xml

<configuration>
    <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
    </property>
</configuration>

4. 格式化 HDFS：

hadoop namenode -format

2.0 启动 Hadoop

1.先启动 HDFS： sbin/start-dfs.sh

2.再启动 Yarn: sbin/start-yarn.sh

检测是否启动成功：jps

在浏览器查看:

http://test:50070 http://test:50030(查看hdfs的存储情况，磁盘利用情况)

http://test:18088（查看的是yarn平台活跃的节点和执行的任务数） 

2)启动

分步启动：启动HDFS  start-dfs  启动yarn平台start-yarn

全部启动：start-all

停止启动：stop-all

5.验证：jps查看启动的进程

主节点进程：

namenode              

resoucemanager （yarn平台）

secondarynamenode

从节点中的进程：

datanode

nodemanager