Ubuntu16.04 Hadoop2.7.5安装教程和伪分布式配置

1.安装JAVA运行环境

下载jdk 源码地址

通过终端在 /usr/local 目录下新建java文件夹，命令行：

sudo mkdir /usr/local/java

将下载到压缩包拷贝到java文件夹中，命令行：

cp jdk-8u25-linux-x64.tar.gz /usr/local/java

进入java目录解压并删除压缩包， 命令行：

cd /usr/local/java

sudo tar xvf jdk-8u25-linux-x64.tar.gz

sudo rm jdk-8u25-linux-x64.tar.gz

设置环境变量，命令行：

sudo gedit ~/.bashrc

export JAVA_HOME=/usr/local/java/jdk1.8.0_25 
export JRE_HOME=${JAVA_HOME}/jre 
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib 
export PATH=${JAVA_HOME}/bin:$PATH

查看是否安装成功， 命令行：

java -version

2.安装SSH、配置SSH无密码登陆

安装SSH server，  命令行：

sudo apt-get install openssh-serve

安装后，可以使用如下命令登陆本机：

ssh localhost

为了方便，设置免密登录：

exit

cd ~/.ssh/

ssh-keygen -t rsa

cat ./id_rsa.pub >> ./authorized_keys

3.安装Hadoop

下载源码包下载地址

解压到 /usr/local/ 中，并修改名称和权限：

sudo tar -zxf ~/Download/hadoop-2.7.5.tar.gz -C /usr/local

cd /usr/local/

sudo mv ./hadoop-2.7.5/ ./hadoop

sudo chown -R hadoop ./hadoop

显示 Hadoop 版本信息：

cd /usr/local/hadoop

./bin/hadoop version

4.Hadoop 伪分布式配置

伪分布式需要修改2个配置文件 core-site.xml和 hdfs-site.xml，位置在 /usr/local/hadoop/etc/hadoop/

先修改 core-site.xml如下：

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

再修改hdfs-site.xml如下:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

执行 NameNode 的格式化:

./bin/hdfs namenode -format

开启 Haddop，命令行：

./sbin/start-dfs.sh

关闭 Haddop，命令行：

./sbin/stop-dfs.sh