hadoop 2.5.2安装

1到hadoop官网下载2.5.2版本，虽然现在的版本已经是3.0

http://apache.fayea.com/hadoop/common/hadoop-2.5.2/hadoop-2.5.2.tar.gz

下载解压到：

/usr/hadoop/hadoop-2.5.2

2安装java环境，我的里用的是jdk1.7

下载解压到：

/usr/tool/java7/jdk1.7.0_79

修改配置文件~/.bashrc：

--------------------------------------------------------------------------------------------------

AVA_HOME=/usr/tool/java7/jdk1.7.0_79
CLASSPATH=$JAVA_HOME/lib/
SCALA_HOME=/usr/scala/scala-2.10.4
SPARK_HOME=/usr/spark/spark-1.0.0-bin-hadoop1
export HADOOP_INSTALL=/usr/hadoop/hadoop-2.5.2
PATH=$PATH:$HADOOP_INSTALL/bin:$JAVA_HOME/bin:$HADOOP_INSTALL/sbin:$SCALA_HOME/bin:$SPARK_HOME/bin
PATH=$PATH:/usr/tool/idea-IC-163.12024.16/bin
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export SCALA_HOME JAVA_HOME CLASSPATH
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
export PATH JAVA_HOME CLASSPATH SPARK_HOME

--------------------------------------------------------------------------------------------------

修改配置文件/etc/profile：

--------------------------------------------------------------------------------------------------

JAVA_HOME=/usr/tool/java7/jdk1.7.0_79
CLASSPATH=$JAVA_HOME/lib/
SCALA_HOME=/usr/scala/scala-2.10.4
SPARK_HOME=/usr/spark/spark-1.0.0-bin-hadoop1
PATH=$PATH:$JAVA_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin
HADOOP_HOME=/usr/hadoop/hadoop-2.5.2
PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export PATH JAVA_HOME CLASSPATH HADOOP_HOME SCALA_HOME SPARK_HOME

--------------------------------------------------------------------------------------------------

3安装ssh:

sudo apt-get install openssh-server openssh-client

生成公钥和密钥：

$ ssh-keygen -t dsa

三台机的公钥互享：将三台机的id_dsa.pub 都合并到每台机的authorized_keys里实现无密码登录

4hadoop的配置：

/etc/hadoop/core-site.xml:--------------------------------------------------------

    <name>hadoop.tmp.dir</name>   
         <value>/usr/hadoop/tmp</value>   
         <description>Abase for other temporary directories.</description>   
     </property>   
     <property>   
         <name>fs.defaultFS</name>   
         <value>hdfs://Master:9000</value>   
     </property>   
     <property>   
         <name>io.file.buffer.size</name>   
         <value>4096 </value>   
     </property> 
</configuration>

--------------------------------------------------------

注：两个从服务器也要按上面修改core-site.xml配置文件，以下其余配置只针对主服务器

/etc/hadoop/hdfs-site.xml:

--------------------------------------------------------

<configuration>
<property>   
         <name>dfs.nameservices</name>   
         <value>hadoop-cluster1</value>   
     </property>   
     <property>   
         <name>dfs.namenode.secondary.http-address</name>   
         <value>Master:50090</value>   
     </property>   
     <property>   
         <name>dfs.namenode.name.dir</name>   
         <value> file:///home/hadoop/dfs/name</value>   
     </property>   
     <property>   
         <name>dfs.datanode.data.dir</name>   
         <value>file:///home/hadoop/dfs/data</value>   
     </property>   
     <property>   
         <name>dfs.replication</name>   
         <value>3</value>   
     </property>   
     <property>   
         <name>dfs.webhdfs.enabled</name>   
         <value>true</value>   
     </property>  
</configuration>

--------------------------------------------------------

/etc/hadoop/mapred-site.xml:

--------------------------------------------------------

<configuration>   
<property>   
         <name>mapreduce.framework.name</name>   
         <value>yarn</value>   
     </property>   
     <property>   
         <name>mapreduce.jobtracker.http.address</name>   
         <value>Master:50030</value>   
     </property>   
     <property>   
         <name>mapreduce.jobhistory.address</name>   
         <value>Master:10020 </value>   
     </property>   
     <property>   
         <name>mapreduce.jobhistory.webapp.address </name>   
         <value>Master:19888</value>   
     </property> 
</configuration>

--------------------------------------------------------

/etc/hadoop/yarn-site.xml:

--------------------------------------------------------

<configuration>
<property>   
         <name>yarn.nodemanager.aux-services</name>   
         <value>mapreduce_shuffle</value>   
     </property>   
     <property>   
         <name>yarn.resourcemanager.address</name>   
         <value>Master:8032</value>   
     </property>   
     <property>   
         <name>yarn.resourcemanager.scheduler.address</name>   
         <value>Master:8030</value>   
     </property>   
     <property>   
         <name>yarn.resourcemanager.resource-tracker.address</name>   
         <value>Master:8031</value>   
     </property>   
     <property>   
         <name>yarn.resourcemanager.admin.address</name>   
         <value>Master:8033</value>   
     </property>   
     <property>   
         <name>yarn.resourcemanager.webapp.address</name>   
         <value>Master:8088</value>   
     </property> 
</configuration>

--------------------------------------------------------

/etc/hadoop/slaves:

--------------------------------------------------------

Master

Slave1

Slave2

--------------------------------------------------------

/etc/hadoop/hadoop-env.sh:

--------------------------------------------------------

export HADOOP_IDENT_STRING=$USER
export JAVA_HOME=/usr/tool/java7/jdk1.7.0_79
export HADOOP_HOME=/usr/hadoop/hadoop-2.5.2/
export PATH=$PATH:/usr/hadoop/hadoop-2.5.2/bin

--------------------------------------------------------

/etc/hadoop/yarn-env.sh:--------------------------------------------------------

xport  JAVA_HOME=/usr/tool/java7/jdk1.7.0_79

--------------------------------------------------------

3、格式化文件系统

1. bin/hdfs namenode -format  

bin/hdfs namenode -format

这里的格式化文件系统并不是硬盘格式化，只是针对主服务器hdfs-site.xml的dfs.namenode.name.dir和dfs.datanode.data.dir目录做相应的清理工作。

4、启动和停止服务

启动

1. sbin/start-dfs.sh  

sbin/start-dfs.sh

1. sbin/start-yarn.sh  

sbin/start-yarn.sh

停止

1. sbin/stop-dfs.sh  

sbin/stop-dfs.sh

1. sbin/stop-yarn.sh  

sbin/stop-yarn.sh

5、查看启动的进程

1. jps  

jps

三、通过浏览器访问

http://Master:50070/

http://Master:8088/