centos7安装hadoop伪分布式

最新推荐文章于 2024-04-27 15:28:34 发布

原创

最新推荐文章于 2024-04-27 15:28:34 发布 · 769 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #ssh #centos

本文详细介绍了如何在CentOS7上为Hadoop创建用户、设置权限、安装Java环境、配置SSH免密登录，以及下载安装Hadoop并进行单机和伪分布式运行。在伪分布式模式下，配置了Hadoop环境变量，修改了core-site.xml和hdfs-site.xml配置文件，实现了HDFS的使用。过程中还解决了NativeCodeLoader警告、SSH登录权限、JPS命令执行、NameNode启动等问题，确保Hadoop能够正常运行。

一，准备工作

1，创建hadoop用户

useradd -m hadoop -s /bin/bash #创建用户
passwd hadoop	#设置密码

为 hadoop 用户增加管理员权限，方便部署，避免一些对新手来说比较棘手的权限问题，执行下面代码添加权限

visudo

找到 root ALL=(ALL) ALL 这行（应该在第98行，可以先按一下键盘上的 ESC 键，然后输入 :100 (按一下冒号，接着输入98，再按回车键)，可以直接跳到第100行），然后在这行下面增加一行内容：hadoop ALL=(ALL) ALL （当中的间隔为tab）

添加上一行内容后，先按一下键盘上的 ESC 键，然后输入 :wq (输入冒号还有wq，这是vi/vim编辑器的保存方法)，再按回车键保存退出就可以了。
输入su hadoop就可以直接切换到hadoop用户了。

设置ssh免密登录

cd ~/.ssh/    # 若没有该目录，请先执行一次ssh localhost再执行exit
ssh-keygen  -t  rsa  -P  ''       # 会有提示，都按回车就可以
chmod 700 ~/.ssh
touch ~/.ssh/authorized_keys
cat id_rsa.pub >> authorized_keys  # 加入授权

输入ssh localhost 若不用密码则设置成功

2，安装Java环境

因为centos自带的java环境是jre的，而我们需要的是jdk环境，所以先卸载自带的java,重新安装

删除原java

rpm -qa |grep java #查看是否安装java
sudo yum remove *openjdk* #删除
之后再次输入命令 查看卸载情况：java -version

删除后：

使用yum安装jdk

sudo yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel
java -version #查看jdk版本

配置jdk环境,使用yum命令安装jdk默认安装再/usr/lib/jvm目录记住下图中画线的路径。

#打开文件
vim ~/.bashrc
#在文件最后面添加如下单独一行（指向 JDK 的安装位置），并保存：
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
#若想所有用户都能使用java环境，执行sudo vi /etc/proflie
#重复上一步骤保存后执行：source /etc/proflie
source ~/.bashrc    # 使变量设置生效
echo $JAVA_HOME     # 检验变量值