centos搭建单机版hadoop服务器

一、安装配置JDK，参考另一篇博客：https://blog.csdn.net/weixin_37590454/article/details/92815133

二、新建hadoop用户

1.su root     #以root账号登录并创建接下来的hadoop新用户

2.通过useradd增加用户:

useradd -m hadoop -s /bin/bash   # 创建新用户Hadoop

3.给hadoop新用户设置登录密码：
 passwd   hadoop

4.为hadoop增加管理员权限（即拥有和root一样的权限），执行指令：visudo

找到root ALL= (ALL)     ALL这一行(一般在99行附近)，然后在这一行下面增加下面指令： 

hadoop ALL= (ALL)      ALL

添加之后，保存退出。然后通过指令：su hadoop，切换到hadoop用户

三、配置SSH无密码登录

1.首先检查自己服务器 上是否已经安装好SSH client、SSH serve，指令：

rpm -qa | grep ssh

执行后出现以下画面，则不需要安装：

若需要安装，则可以通过 yum 进行安装

如下图，我这里是缺少第一个，所以我装第一个

sudo yum install openssh-askpass

安装完之后，执行如下命令测试一下 SSH 是否可用： ssh localhost

此时会有如下提示(SSH首次登陆提示)，输入 yes 。然后按提示输入 hadoop用户的登录密码，这样就实现登录到本机了。

但是上述的登陆是需要每次输入密码的，我们可以配置成SSH无密码登陆，这样会比较方便。

2.SSH无密登录

执行exit，回到原先的终端命令窗口

执行exit，退出刚才的 ssh localhost 

• cd ~/.ssh/     # 若没有该目录，请先执行一次ssh localhost

• ssh-keygen -t rsa    # 会有提示，都按回车就可以

• cat id_rsa.pub >> authorized_keys    # 加入授权

• chmod 600 ./authorized_keys     # 修改文件权限

四、现在开始安装hadoop单机版

1.我这里用的是hadoop-2.6.5，下载地址：

https://pan.baidu.com/s/1KfeEMVJxhQk73837OO8Czw
提取码：uwt8 

2.把他解压到 /usr/local/ 目录下（我这里是通过winscp上传到 /usr/local/ 目录了，所以我直接解压）

tar -zxvf hadoop-2.6.5

3.sudo mv ./hadoop-2.6.5/ ./hadoop    # 将文件夹名改为hadoop

4.sudo chown -R hadoop:hadoop ./hadoop     # 修改文件权限

5.Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息：

cd /usr/local/hadoop    #进入到hadoop目录下

./bin/hadoop version

6.若已经成功安装hadoop，接下来进行单机版配置（非分布式）。 Hadoop 默认模式为非分布式模式，不需要进行其他任何配置即可运行。 运行以下指令：

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduceexamples-2.6.0.jar

可以看到所有例子，包括 wordcount、terasort、join、grep 等。

7.我们选择运行一个 grep 例子（查找），将 input 文件夹中的所有文件 作为输入，筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数， 最后输出结果到 output 文件夹中。运行如下指令：

• cd /usr/local/hadoop

• mkdir ./input

• cp ./etc/hadoop/*.xml ./input      # 将配置文件作为输入文件

•./bin/hadoop jar ./share/hadoop/mapreduce/hadoopmapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'

• cat ./output/*      # 查看运行结果

到这里，hadoop单机版就算搭建成功了！