hadoop安装/JDK安装

1. 准备三台机器 修改host的name

vim /etc/hosts

192.168.119.144 hadoop1
192.168.119.145 hadoop2
192.168.119.146 hadoop3

2.安装jdk

解压jdk到指定的文件夹
重命名文件夹 mv 原文件夹的名字 新文件夹的名字
配置文件 vim /etc/profile

JAVA_HOME=/usr/local/jdk
JRE_HOME=/usr/local/jdk/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
CLASSPATH=:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export JAVA_HOME JRE_HOME PATH CLASSPATH 

使配置文件生效

source /etc/profile

3.安装Hadoop

创建一个文件夹 mkdir -p /usr/local/hadoop
解压

tar -zxvf … -C /usr/local/hadoop

创建软连接 ln -s hadoop-2.6.1 hadoop
配置环境

> HADOOP_HOME=/usr/local/hadoop/hadoop
> :$HADOOP_HOME/bin:$HADOOP_HOME/sbin export HADOOP_HOME

生效：

source /etc/profile

修改配置文件
进入/usr/local/hadoop/hadoop/etc/hadoop
1）hadoop-env.sh
配置jdk变量

export JAVA_HOME=/export/servers/jdk

2）core-site.xml
指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址

<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop1:9000</value>
</property>

指定hadoop运行时产生文件的存储目录

<property>
<name>hadoop.tmp.dir</name>
<value>/export/data/hadoop/tmp</value>
</property>

3)hdfs-site.xml
指定HDFS副本的数量

<property>
<name>dfs.replication</name>
<value>2</value>
</property>

<property>
 <name>dfs.secondary.http.address</name>
 <value>hadoop1:50090</value>
  </property>

4) mapred-site.xml
指定mr运行在yarn上

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

5)yarn-site.xml
指定YARN的老大（ResourceManager）的地址

<property>
                <name>yarn.resourcemanager.hostname</name>
                        <value>hadoop1</value>
</property>

reducer获取数据的方式

<property>
        <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
</property>

6)mapred-env.sh
vim mapred-env.sh 配置jdk环境

将文件copy到另外两台机器上

scp core-site.xml 192.168.119.145:/usr/local/hadoop/hadoop/etc/hadoop/
scp hdfs-site.xml 192.168.119.145:/usr/local/hadoop/hadoop/etc/hadoop/
scp mapred-site.xml 192.168.119.145:/usr/local/hadoop/hadoop/etc/hadoop/
scp yarn-site.xml 192.168.119.145:/usr/local/hadoop/hadoop/etc/hadoop/

格式化namenode

bin/hadoop namenode -format

启动hadoop
先启动HDFS

   sbin/start-dfs.sh

再启动YARN

    sbin/start-yarn.sh

或者 sbin/start-all.sh

停止： sbin/stop-all.sh
或者： stop-dfs.sh

访问：

http://192.168.119.144:8088/cluster
http://192.168.119.144:50070

4.配置免密码登录
ssh-keygen -t rsa （四个回车）
执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
将公钥拷贝到要免密登陆的目标机器上

ssh-copy-id hadoop2
ssh-copy-id hadoop3