Ubuntu16.04中安装Hadoop1.0.1

写在前面：

1、 本次实验Ubuntu是安装在VMware14 pro中，确保Ubuntu能正常联网；

2、目前Ubuntu最新版本是Ubuntu18.04，Hadoop最新版本是Hadoop3.1.1，我们这里由于其他实验环境要求，我们没有使用最新版本的。

 

安装步骤：

一：安装jdk1.6

1、在ubuntu中的火狐浏览器中进入：https://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase6-419409.html

在以下页面中：同意许可，找到Linux版本jdk6u45，即可下载（这里首次下载可能会跳出登录oracle账号界面，这里可以快速注册一个，过程很简单）

 

2、jdk下载完成后，是默认在Download文件夹下，这里下载下来的是bin文件。

  在/usr/local下创建一个文件夹来存放jdk文件：

$ sudo mkdir /usr/local/java

   将下载下来的jdk解压并移动到到java文件夹下：

$ chmod 755 jdk-6u45-linux-x64.bin  //添加权限
$ ./jdk-6u45-linux-x64.bin          //这里解压后会生成jdk1.6.0_45文件
$ chmod 755 jdk1.6.0_45
$ sudo mv jdk1.6.0_45 /usr/local/java       //移动jdk文件

 

 3、配置环境变量

  更新apt：

$ sudo apt-get update

  安装vim编辑器：

$ sudo apt-get install vim

 用vim打开配置文件配置Java环境变量：

$ sudo vim /etc/profile

   

配置环境变量后还需要使环境变量生效：

$ source /etc/profile

验证环境变量是否生效：注意只有java -version和$JAVA_HOME/bin/java -version都可以才算配置成功。

hjc@ubuntu:~$ java -version
java version "1.6.0_45"
Java(TM) SE Runtime Environment (build 1.6.0_45-b06)
Java HotSpot(TM) 64-Bit Server VM (build 20.45-b01, mixed mode)
hjc@ubuntu:~$ $JAVA_HOME/bin/java -version  
java version "1.6.0_45"
Java(TM) SE Runtime Environment (build 1.6.0_45-b06)
Java HotSpot(TM) 64-Bit Server VM (build 20.45-b01, mixed mode)

 

二、安装SSH、配置SSH无密码登陆

$ sudo apt-get install openssh-server

 安装后，可以使用如下命令登陆本机：

$ ssh localhost

但这样登陆是需要每次输入密码的，我们需要配置成SSH无密码登陆比较方便。

首先退出刚才的 ssh，就回到了我们原先的终端窗口，然后利用 ssh-keygen 生成密钥，并将密钥加入到授权中：

$ exit                           # 退出刚才的 ssh localhost
$ cd ~/.ssh/                     # 若没有该目录，请先执行一次ssh localhost
$ ssh-keygen -t rsa              # 会有提示，都按回车就可以
$ cat ./id_rsa.pub >> ./authorized_keys  # 加入授权

 

三、安装Hadoop1.0.1

1、下载Hadoop1.0.1

https://archive.apache.org/dist/hadoop/core/hadoop-1.0.1/hadoop-1.0.1.tar.gz

2、下载完Hadoop1.0.1后，同样在/usr/local下创建一个Hadoop文件夹，并将下载下来的压缩包解压到该文件夹下

$ mkdir /usr/local/hadoop    
$ sudo tar -zxf hadoop-1.0.1.tar.gz       //解压后生成hadoop-1.0.1
$ sudo mv hadoop-1.0.1 /usr/local/hadoop
$ sudo mv hadoop-1.0.1 hadoop         //改名

  检验安装是否正确

hjc@ubuntu:/usr/local/hadoop$ ./bin/hadoop version
Hadoop 1.0.1

3、配置Hadoop环境变量（使在任何路径下都能使用Hadoop）

$ vim /etc/profile

 

 4、配置Hadoop伪分布式

 配置文件路径：/usr/local/hadoop/conf    （注意这里的配置文件的路径与Hadoop2是不同的）

 需要配置的文件：hadoop-env.sh 、conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml

 (1)、配置hadoop-env.sh

$ sudo vim hadoop-env.sh 

（2）、配置conf/core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>~/hadoop/tmp</value>
    </property>
    <property>
         <name>fs.default.name</name>
         <value>hdfs://localhost:9000</value>
     </property>
</configuration>

（3）、配置conf/hdfs-site.xml

<configuration>
     <property>
        <name>dfs.replication</name>
        <value>1</value>
     </property>
</configuration>

（4)、配置conf/mapred-site.xml

    <configuration>
         <property>
             <name>mapred.job.tracker</name>
             <value>localhost:9001</value>
         </property>
    </configuration>

5、格式化节点

$ bin/hadoop namenode -format

开启Hadoop进程

@ubuntu:/usr/local/hadoop/bin$ ./start-all.sh
                                 //如果这里失败，则修改Hadoop文件夹的权限为755

查看正在运行的进程

jps
13330 Jps
7019 JobTracker
10725 DataNode
13149 SecondaryNameNode
10584 NameNode
11018 TaskTracker

以上则完成Hadoop1.0.1伪分布式配置的全部内容。