1、基于环境
Ubuntu 16.04 64位 作为系统环境(Ubuntu 14.04,12.04 也行,32位、64位均可),请自行安装系统。
装好了 Ubuntu 系统之后,在安装 Hadoop 前还需要做一些必备工作。
2、创建hadoop用户
1、创建可以登陆的 hadoop 用户,并使用 /bin/bash 作为 shell。
sudo useradd -m hadoop -s /bin/bash
2、接着使用如下命令设置密码,可简单设置为 hadoop,按提示输入两次密码:
sudo passwd hadoop
3、为 hadoop 用户增加管理员权限,方便部署,避免一些对新手来说比较棘手的权限问题:
sudo adduser hadoop sudo
4、最后注销当前用户,使用刚创建的 hadoop 用户进行登陆,接下来的教程都在hadoop用户下操作
给当前的用户赋值超级权限
sudo usermod -aG sudo 自己的用户名
5、 更新apt
先更新一下 apt,后续我们使用 apt 安装软件,如果没更新可能有一些软件安装不了
sudo apt-get update
6、安装vim编辑器
sudo apt-get install vim
7、安装SSH、配置SSH无密码登陆
集群、单节点模式都需要用到 SSH 登陆(类似于远程登陆,你可以登录某台 Linux 主机,并且在上面运行命令),Ubuntu 默认已安装了 SSH client,此外还需要安装 SSH server:
sudo apt-get install openssh-server
安装后,可以使用如下命令登陆本机:
ssh localhost
此时会有提示(SSH首次登陆提示),输入 yes 。然后按提示输入密码 hadoop,这样就登陆到本机了。
但这样登陆是需要每次输入密码的,我们需要配置成SSH无密码登陆比较方便。
首先退出刚才的 ssh,就回到了我们原先的终端窗口,然后利用 ssh-keygen 生成密钥,并将密钥加入到授权中:
$ exit # 退出刚才的 ssh localhost
$ cd ~/.ssh/
$ ssh-keygen -t rsa #
会有提示,都按回车就可以
$ cat ./id_rsa.pub >> ./authorized_keys
加入授权
3、安装适配Hadoop2.6.4的Java版本
sudo apt-get install openjdk-8-jre openjdk-8-jdk
查看Java的默认路径:/usr/lib/jvm/java-8-openjdk-amd64(按照自己安装路径查找)
配置 JAVA_HOME 环境变量
sudo vim ~/.bashrc
在文件的初始行,加入jdk的安装路径 默认是这个
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
使变量生效
source ~/.bashrc
测试Java是否安装成功
java -version
如果出现对应版本,则安装成功
4、安装Hadoop 2.6.4
cd /home/hadoop
wget https://archive.apache.org/dist/hadoop/core/hadoop-2.6.4/hadoop-2.6.4.tar.gz
解压缩文件
tar -xvf hadoop-2.6.4.tar.gz
给文件夹改名
mv ./hadoop-2.6.4/ ./hadoop
修改权限
chown -R hadoop ./hadoop
查看当前Hadoop是否安装成功
cd ./hadoop
查看当前的Hadoop版本
./bin/hadoop version
5、Hadoop配置
进入到Hadoop的配置文件夹,进行配置
cd /home/hadoop/hadoop/etc/hadoop/
修改配置文件
$ vim hadoop-env.sh
#在最前面插入一行
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
vim core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file: /home/hadoop/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
vim hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/hadoop/tmp/dfs/data</value>
</property>
</configuration>
配置完成后,执行 NameNode 的格式化:
$ ./bin/hdfs namenode -format
开启项目
可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息