Hadoop学习日志（2.安装配置Hadoop）

由于Hadoop并不在库里边，所以我们需要手动下载Hadoop，这里我们使用以下命令

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

下边我们将下载到的压缩包移动到opt目录下，使用

mv hadoop-1.2.1.tar.gz /opt/

然后我们进入opt目录下，可以使用

ls

命令来查看是否移动成功
接下来我们可以解压缩，使用

tar -zxvf hadoop-1.2.1.tar.gz

然后我们继续使用ls命令查看下opt目录下的文件，可以发现多了一个hadoop-1.2.1的文件夹
接下来我们进入这个文件夹，配置下文件依次使用以下命令

cd hadoop-1.2.1/

cd conf/

这里我们有四个文件需要配置，分别是

mapred-site.xml
core-site.xml
hdfs-site.xml
hadoop-env.sh   

第一个我们打开hadoop-env.sh,使用

vim hadoop-env.sh

其中我们需要更改下java的路径，首先我们使用

echo $JAVA_HOME

来查看下java的安装路径，将路径复制下来
然后重新进入hadoop-env.sh文件中
更改

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

然后按下esc键，然后输入wq保存并退出
接下来我们使用以下命令

vim core-site.xml

进入到文件中,在标签中加入配置代码，如下

<property>
    <name>hadoop.tmp.dir</name>
    <value>/hadoop</value>
</property>
<property>
    <name>dfs.tmp.dir</name>
    <value>/hadoop/name</value>
</property>
<property>
    <name>fs.default.name</name>
    <value>hdfs://imooc:9000</value>
</property>

其中第一条属性（property）是我们hadoop的工作目录，它就直接在/hadoop下面
第二条属性是namenode中所有原数据的目录，就在/hadoop/name下面
第三条属性就是我们的文件系统的namenode的文件属性该如何访问，下面值代表的是访问本机host名的9000端口
继续保存并退出
接下来我们需要编辑

hdfs-site.xml

使用vim hdfs-site.xml进入文件中，进行编辑
在两个标签之间，添加以下属性

<property>
    <name>dfs.data.dir</name>
    <value>/hadoop/data</value>
</property>

代表的是hadoop的数据存放目录，然后保存退出
接下来我们进入mapred-site.xml里，在两个标签之间，添加以下属性

<property>
    <name>mapred.job.tracker</name>
    <value>imooc:9001</value>
</property>

代表的是我们的任务调用器怎么访问，同样使用我们本机host下的9001端口，编辑好之后，同样保存退出
接下来我们还要配置下hadoop的环境变量，使

vim /etc/profile

同样，我们要添加一条

export HADOOP_HOME=/opt/hadoop-1.2.1

然后我们在PATH里添$HADOOP_HOME/bin
然后保存退出
使用source /etc/profile使文件生效
这时我们可以用hadoop命令进行测试，看看是否会有示示
接下来我们进入hadoop/bin目录下
使用之前，我们需要对hadoop的namenode进行格式化操作，使

hadoop namenode -format

接下来我们就可以使用start-all.sh来启动hadoop
执行完成之后，我们可以使用jps查看下当前启动了那些java程序，可以查看hadoop是否运行正常，如果有以下进程，说明hadoop正常运

JobTracker
Jps
DataNode
TaskTracker
NameNode
SecondaryNameNode

还可以使用hadoop fs -ls /命令来查看下hadoop下面有哪些文件