在ubuntu上搭建hadoop服务 （单机模式）

环境：ubuntu 16.04

hadoop-3.1.3

1.安装JDK

2.创建hadoop组、hadoop用户

sudo addgroup hadoop

sudo adduser --ingroup hadoop hadoop

给hadoop用户添加权限

sudo vi /etc/sudoers

添加如下：hadoop ALL=(ALL:ALL) ALL

3.配置SSH无密码登陆

切换用户

su hadoop

安装ssh，openssh-server

sudo apt install ssh

sudo apt install openssh-server

启动服务

sudo /etc/init.d/ssh start

查看服务是否启动

ps -e | grep ssh

切换到hadoop用户

su hadoop

进入用户主目录

cd /home/hadoop/

设置免密码登陆

ssh-keygen -t rsa -P ""

/home/hadoop/.ssh下生成两个文件： id_rsa （私钥）  、id_rsa.pub  （公钥）

把公钥加到用于认证的公钥文件中

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 600 .ssh/authorized_keys

登入ssh，确认不需要密码

ssh localhost

登出

exit

4.下载解压hadoop

回到用户工作目录

cd ~

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz

tar -zxvf hadoop-3.1.3.tar.gz

移动到/opt/hadoop目录

sudo mv hadoop-3.1.3  /opt/hadoop           

赋予用户对该文件夹的读写权限

sudo chmod 777 /opt/hadoop

5.配置环境变量

vim /etc/profile

使配置生效

source  /etc/profile

6.查看hadoop是否安装成功以及安装的hadoop版本

hadoop version

7.测试

执行hadoop自带实例WordCount，验证是否安装成功

cd /usr/local/hadoop

创建输入文件

mkdir input

cp README.txt input

执行

bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-3.1.3-sources.jar org.apache.hadoop.examples.WordCount input output

查看字符统计结果

cat output/*