Hadoop环境搭建

Hadoop环境搭建

1. 准备

  （1）linux系统

         ubuntu

 （2）jdk

• 安装jdk            

apt-get install openjdk-7-jdk

•  设置环境变量

vim /etc/profile

在文件开头添加下面的内容

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/lib:$JRE_HOME/lib:$PATH

• 生效环境变量

source /etc/profile

• 检查是否安装及配置成功

javac

会有命令帮助列表显示出来

2. 配置Hadoop

• 下载Hadoop

cd /opt

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz

• 解压

tar -zxvf hadoop-1.2.1.tar.gz

• 配置

      配置四个文件

    （1）hadoop-env.sh

cd /opt/hadoop-1.2.1/conf

vim hadoop-env.sh

这个文件配置java_home,在文件开头加入下面的内容：

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

  (2)core-site.xml

vim core-site.xml

在<configuration></configuration>之间加入下面的内容：

 <property>

    <name>hadoop.tmp.dir</name>

    <value>/hadoop</value>

  </property>

  <property>

    <name>dfs.name.dir</name>

    <value>/hadoop/name</value>

  </property>

  <property>

    <name>fs.default.name</name>

    <value>hdfs://localhost:9000</value>

  </property>

注释：

hadoop.tmp.dir ： hadoop的工作目录

dfs.name.dir ： name node所有原数据的目录

fs.default.name： 文件系统的name node的根访问

（3）hdfs-site.xml

配置文件系统的数据的存放目录

vim hdfs-site.xml

在<configuration></configuration>之间加入下面的内容：

<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>

(4)mapred-site.xml

vim mapred-site.xml

在<configuration></configuration>之间加入下面的内容：

<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>

(5)环境变量加上HADOOP_HOME

vim /etc/profile

添加上HADOOP_HOME, 在PATH里添加上$HADOOP_HOME/bin

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_HOME=/opt/hadoop-1.2.1
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/lib:$JRE_HOME/lib:$HADOOP_HOME/bin:$PATH

source /etc/profile

此时输入hadoop ，应该能看到有命令提示了。

3. 启动Hadoop

• name node格式化

hadoop namenode -format

• 启动hadoop

/opt/hadoop-1.2.1/bin/start-all.sh

输入三次密码

• 使用JSP查看hadoop是否正常运行

jps

会看到有JobTracker , Jps, DataNode, TaskTracker, NameNode, SecondaryNameNode

• 查看hadoop文件系统下有哪些文件

hadoop fs -ls /