初识hadoop hdfs--（1）安装

我是在ubuntu14.04上安装的最简单的单点的hadoop，按照官方文档安装的。

首先要安装几个必备的软件

1. 安装jdk. 从oracle官网下载jdk，jdk-8u77-linux-x64.tar.gz, 然后解压缩

tar -xzvf jdk-8u77-linux-x64.tar.gz

配置环境变量：在/etc/profile最后追加

export JAVA_HOME=/usr/java/jdk1.8.0_77
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib 

运行

source /etc/profile

使之生效。

2. 安装ssh和rsync

apt-get install ssh
apt-get install rsync

3. 下载hadoop安装包hadoop-2.7.4.tar.gz

解压缩

tar -xzvf hadoop-2.7.4.tar.gz

4. 编辑hadoop安装目录下的etc/hadoop/hadoop-env.sh，把javahome配成刚刚安装的jdk路径

# set to the root of your Java installation
  export JAVA_HOME=/usr/java/jdk1.8.0_77

这时候执行bin/hadoop会打印使用参数的一些基本信息

5. 然后创建文件夹input，将conf下的文件拷贝进去，匹配正则后输出到outpu目录

  $ mkdir input
  $ cp etc/hadoop/*.xml input
  $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.4.jar grep input output 'dfs[a-z.]+'
  $ cat output/*

6. 编辑etc/hadoop/core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

7. 编辑etc/hadoop/hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

8. 执行ssh localhost确定本地ssh是否需要输入密码，如果需要输入密码，那么要改成不输入密码

  $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  $ chmod 0600 ~/.ssh/authorized_keys

9. 格式化文件系统

 $ bin/hdfs namenode -format

10. 开启实例

 $ sbin/start-dfs.sh

然后就可以通过浏览器来查看节点信息了

http://localhost:50070/