Centos7普通用户安装Hadoop

已于 2022-05-07 16:25:51 修改
阅读量4.9k 收藏 24
点赞数 3
文章标签： hadoop centos
于 2022-04-29 19:45:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52879657/article/details/124495653
版权

Centos7普通用户安装Hadoop

前置步骤

1.安装VMware虚拟机软件
官网地址：https://www.vmware.com/cn/products/workstation-pro/workstation-pro-evaluation.html

2.准备一台安装有Centos7的虚拟机
官网地址 https://www.centos.org/
如果官网的下载地址速度有点慢，可以试试国内的镜像。
以下是国内用的挺多的镜像地址：
http://mirrors.aliyun.com/centos/
http://mirrors.huaweicloud.com/centos/
https://mirrors.tuna.tsinghua.edu.cn/centos/

3.启动Centos7,并以root用户登录系统
如果下了基础的iso文件镜像，需要在网络配置完成后自行下载缺失的命令程序

root用户下需要进行的操作

#代表在超级用户root下操作，$代表在普通用户下操作

1、建立新的hadoop用户 ：

#useradd   hadoop

修改hadoop用户的密码：

#passwd    hadoop

2、修改sudoers文件，使普通用户也拥有近似于root用户的权限：

#vim   /etc/sudoers

在大约100行左右的地方添加如图的一行（101的行）
在这里插入图片描述
3、配置静态IP、更改机器名、更改IP和机器映射关系
先在虚拟机软件下的“编辑”菜单下选择“虚拟网络配置器”，查看VMnet8网段的子网IP
在这里插入图片描述

可以看到我的子网IP地址是192.168.94.0，也可以修改该子网IP地址
我这边便不进行修改了，因为每台虚拟机的IP地址是唯一的，所以要分配下每台虚拟机的IP地址(初学 先只配置3台)
192.168.94.210 test1
192.168.94.211 test2
192.168.94.212 test3
配置静态IP(三台虚拟机都需要修改)

#vim  /etc/sysconfig/network-scripts/ifcfg-ens33

在这里插入图片描述修改红色框内的内容

更改主机名

#vim      /etc/hostname

在这里插入图片描述

修改hosts文件

#vim       /etc/hosts

前面两行不要删除，添加新的内容进去
在这里插入图片描述

4.修改完成后，重启虚拟机

#reboot

特别说明：重启以后，用SecureCRT连接虚拟机，并且以hadoop用户登录，完成以下操作。$代表hadoop普通用户。
SecureCRT登录的时候就一定要输入hadoop用户名，并保存用户名和相应的密码。

hadoop用户的操作

  1. 关闭防火墙
＄sudo  systemctl  stop   firewalld.service
＄sudo  systemctl  disable  firewalld.service 
＄sudo  mkdir   /opt/softwares
＄sudo  mkdir   /opt/modules
  1. 往资源目录(/opt/softwares)上传需要的软件（jdk,hadoop等）
    如果没有文件夹，可以先mkdir新建文件夹
＄cd   /opt/softwares
＄sudo  rz

如果提示没有rz命令，需要安装rz的软件

＄ sudo  yum  install lrzsz

该命令需要Centos7中有网络

  1. 卸载OpenJDK、安装新版JDK、配置JDK

    卸载openjdk

＄sudo  rpm  -e  --nodeps  java-1.7.0-openjdk-1.7.0.191-2.6.15.5.el7.x86_64
＄sudo  rpm  -e  --nodeps  java-1.7.0-openjdk-headless-1.7.0.191-2.6.15.5.el7.x86_64
＄sudo  rpm  -e  --nodeps  java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64
＄sudo  rpm  -e  --nodeps  java-1.8.0-openjdk-headless-1.8.0.181-7.b13.el7.x86_64

centos内的openJDK不一定是这个，需要以下命令查看Java版本，通过这个卸载openjdk版本

＄rpm -qa | grep java
＄rpm -e --nodeps 需要删除的OpenJDK名称

解压Java，安装java（下载了哪个版本就修改为那个版本）

＄sudo  tar  -zxvf  /opt/softwares/jdk-8u25-linux-x64.tar.gz  -C  /opt/modules/

配置profile文件

＄sudo vim /etc/profile

在这里插入图片描述
刷新profile文件（如果profile文件出错，导致你的所有命令会不可使用，需要小心）

＄source  /etc/profile

可以用这个命令查看JDK是否安装好。

＄java  -version

在这里插入图片描述

  1. 关掉虚拟机，以该虚拟机克隆出（完整克隆）另外两台test1、test2,并且修改相应的机器名和I

修机器名、IP参照上面的第5点。
机器名文件：sudo vim /etc/hostname
IP文件：sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33

配置三台机器之间的免密登录(hadoop用户)

注意：在test1上的hadoop用户下操作：

＄ssh  test1
＄ssh-keygen  -t  rsa  （连续三次回车）
＄ssh-copy-id  test2    （如果需要输入密码就输入hadoop用户的密码）
＄ssh-copy-id  test3     （如果需要输入密码就输入hadoop用户的密码）
＄ssh-copy-id  test1     （如果需要输入密码就输入hadoop用户的密码）

以上命令做好后。test1就可以免密登录test2,test3了，同理配置test2,test3。

注意：在test2上的hadoop用户下操作：

＄ssh  test2
＄ssh-keygen  -t  rsa  （连续三次回车）
＄ssh-copy-id  test1    （如果需要输入密码就输入hadoop用户的密码）
＄ssh-copy-id  test3     （如果需要输入密码就输入hadoop用户的密码）
＄ssh-copy-id  test2     （如果需要输入密码就输入hadoop用户的密码）

注意：在test3上的hadoop用户下操作：

＄ssh  test3
＄ssh-keygen  -t  rsa  （连续三次回车）
＄ssh-copy-id  test1    （如果需要输入密码就输入hadoop用户的密码）
＄ssh-copy-id  test2     （如果需要输入密码就输入hadoop用户的密码）
＄ssh-copy-id  test3     （如果需要输入密码就输入hadoop用户的密码）

Hadoop配置(test1的hadoop用户)

  1. 解压hadoop文件，如果前面没有上传就参照第7点步骤上传文件
＄sudo  tar -zxvf   /opt/softwares/hadoop-2.7.1.tar.gz  -C  /opt/modules/

注意：如果你的hadoop版不一致，上条命令的文件名改成你自己的文件名即可。

  1. 修改环境变量（增加hadoop-home变量），并让环境变量生效。
＄sudo vim /etc/profile

在这里插入图片描述

＄source  /etc/profile
  1. 将hadoop-env.sh mapred-env.sh yarn-env.sh 加入JAVA_HOME变量
＄sudo echo "JAVA_HOME=/opt/modules/jdk1.8.0_25"  >>  /opt/modules/hadoop-2.7.1/etc/hadoop/hadoop-env.sh
＄sudo echo "JAVA_HOME=/opt/modules/jdk1.8.0_25"  >>  /opt/modules/hadoop-2.7.1/etc/hadoop/mapred-env.sh
＄sudo echo "JAVA_HOME=/opt/modules/jdk1.8.0_25"  >>  /opt/modules/hadoop-2.7.1/etc/hadoop/yarn-env.sh

注意：大家一定注意JDK和hadoop的版本路径和你的是否一致，不一致就改成你们自己的版本。

  1. hadoop关联的配置文件修改
    ①core-site.xml文件修改
＄cd  /opt/modules/hadoop-2.7.1/etc/hadoop
＄sudo  vim  core-site.xml     (在该文件内添加以下内容,自己的主机名)

<configuration>
   <property>
        <name>fs.defaultFS</name>
        <value>hdfs://test1:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/opt/modules/hadoop-2.7.1/tmp</value>
    </property>
</configuration>

②hdfs-site.xml文件修改

＄cd  /opt/modules/hadoop-2.7.1/etc/hadoop
＄sudo  vim  hdfs-site.xml     (在该文件内添加以下内容)

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/modules/hadoop-2.7.1/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/modules/hadoop-2.7.1/tmp/dfs/data</value>
    </property>
</configuration>

③mapred-site.xml文件修改

＄cd  /opt/modules/hadoop-2.7.1/etc/hadoop
＄sudo  mv  mapred-site.xml.template  mapred-site.xml
＄sudo  vim  mapred-site.xml     (在该文件内添加以下内容)

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

④yarn-site.xml文件修改

＄cd  /opt/modules/hadoop-2.7.1/etc/hadoop
＄sudo  vim  yarn-site.xml     (在该文件内添加以下内容,自己的主机名)

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>test1</value>
    </property>
</configuration>

⑤slaves文件修改

＄cd  /opt/modules/hadoop-2.7.1/etc/hadoop
＄sudo  vim  slaves     (在该文件内添加以下内容，改为自己的主机名)

test1
test2
test3

将test1上的hadoop文件夹拷贝到另外test2、test3上

＄sudo scp  -r  /opt/modules/hadoop-2.7.1/   hadoop@test2:/opt/modules/
＄sudo scp  -r  /opt/modules/hadoop-2.7.1/   hadoop@test3:/opt/modules/

将test1上的profile文件拷贝到另外test2、test3上,并到相应的机器上执行source
在test1上执行下面两行语句：

＄sudo scp    /etc/profile   root@test2:/etc
＄sudo scp    /etc/profile   root@test3:/etc

在test2、test3上刷新profile文件：

＄source  /etc/profile

初始化Hadoop
注意：为了确保格式化成功，在运行下面命令以前，可以在三台机器上分别先运行以下命令修改归属：

＄sudo  chown  -R  hadoop:hadoop  /opt/modules

12.在test1上格式化集群，如果看见如下图“successfully formatted”样，即表示集群安装成功

＄hadoop   namenode   -format

在这里插入图片描述
启动集群后，在test1、test2、test3上分别输入jps应该有如下图所示进程。

＄start-all.sh

test1
在这里插入图片描述
test2、test3
在这里插入图片描述

宿主机上以Web方式查看集群（需要在自己本地电脑hosts文件增加IP和名字映射）
http://test1:50070 或 http://192.168.94.210:50070
http://test1:8088 或 http:/192.168.94.210:8088

常见问题

1. SecondaryNameNode需要在主机（test2）上

在hdfs-site文件添加指定主机

<configuration>
 <!--secondary namenode所在主机的IP和端口-->
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>test02:50090</value>
        </property>
</configuration>

2. hadoop初始化失败

争对这个问题，需要在刚刚运行的代码中寻找错误信息，一般都是Hadoop文件的配置失败，或者是Java的变量未安置在Hadoop文件中，亦或者是profile文件中的Hadoop环境变量未成功。

3. Hadoop初始化时，或者Hadoop初始化后启动时发现权限不够

则需要删掉三台虚拟机的Hadoop文件，从解压Hadoop文件的步骤开始做。
因为无法改变超级用户root的权限，就在Hadoop文件解压时和发送时解除root的管理，使其可以为普通用户使用。

解压时，使用以下命令

＄tar -zxvf   /opt/softwares/hadoop-2.7.1.tar.gz  -C  /opt/modules/

将test1上的hadoop文件夹拷贝到另外test2、test3上，使用以下命令

＄scp  -r  /opt/modules/hadoop-2.7.1/   hadoop@test2:/opt/modules/
＄scp  -r  /opt/modules/hadoop-2.7.1/   hadoop@test3:/opt/modules/

那么在初始化Hadoop时，就不需要修改归属（chown）

4. 在查看网页端yarn时，发现节点不健康

该问题容易导致在以后的文件操作中发生错误，尽量保证节点的正常。
在这里插入图片描述

解决办法一：
在配置文件时，节点的地址未识别到，导致节点的不正常

core-site.xml文件修改hadoop的tmp数据地址

<configuration>
   <property>
        <name>fs.defaultFS</name>
        <value>hdfs://test1:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/modules/hadoop-2.7.1/tmp</value>
    </property>
</configuration>

hdfs-site.xml文件修改name和data节点的地址位置

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/opt/modules/hadoop-2.7.1/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/opt/modules/hadoop-2.7.1/tmp/dfs/data</value>
    </property>
</configuration>

解决办法二：
之所以会有 local-dirs are bad，log-dirs are bad 报错，是因为在我们集群的 yarn-site.xml 里参数 yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage 的默认值是 90%，到达到这个值会触发上述报错。

1.数据过多，删除部分没用的数据

2.在yarn-site.xml文件添加代码，扩大阈值，数值只要大于90，不健康状态解除就行

<property>
  <name>yarn.nodemanager.disk-health-checker.min-healthy-disks</name>
  <value>0.0</value>
</property>
<property>
<name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>
  <value>100.0</value>
</property>

5. 启动Hadoop，却发现丢失datanode或者namenode

初始化Hadoop只执行了一次
一般都是Hadoop配置文件hdfs-site.xml出现了问题，导致地址不正确，使其无法启动。

初始化Hadoop执行了多次（两个方法选其一）
可能是datanode和namenode 的ID不匹配，导致其无法启动。
1、查看（cat）hdfs-site.xml，找到 dfs.namenode.name.dir 和 dfs.datanode.data.dir 的value中显示的地址，进入该地址发现有data和name文件夹，寻 VERSION 这个文件，将其中 clusterID 都改为 name的clusterID

注意：三台虚拟机都是需要改clusterID,但因为test2、test3虚拟机 jps 中没有namenode，于是在修改文件时，是没有name文件夹的，只需要更改data文件夹下 VERSION 内容的 clusterID 为 test1虚拟机的clusterID

在这里插入图片描述
2、故障原因:经过多次格式化，造成各个节点的tmp目录中还保留得有以前集群的ID。
解决办法：手动删除各个节点的tmp目录。
①删除前，先要停止集群
②再到各个节点运行：

rm   -rf       /opt/modules/hadoop-2.7.2/tmp/

③再重新在主节点test1格式化：

hadoop  namenode  -format
介北烟花
关注
  • 3
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
CentOS7 Hadoop 2.7.X 安装部署.docx
04-29
CentOS7 Hadoop 2.7.X 安装部署
启动hfds文件系统，普通用户查看不到jps中的服务进程，但是root用户可以。
sinat_38885949的博客
09-19 1264
#启动hfds文件系统，普通用户查看不到jps中的服务进程，但是root用户可以。 在将所有的配置信息写好之后(core-site.xml\hdfs-site.xml等等)，对 NameNode 进行格式化后，开始启动集群。如下 在主节点可以看到NameNode已经启动，在root用户和普通用户下均可以看到。 # root @ hadoop01 in ~ [13:41:24] $ jps ...
CentOS7安装Hadoop集群完整步骤
weixin_55076626的博客
05-26 9968
1. 安装3台centos7服务器 1.1.配置名字hadoop01\hadoop02\hadoop03 hostnamectl set-hostname hadoop01 hostnamectl set-hostname hadoop02 hostnamectl set-hostname hadoop03 1.2.修改hosts文件 vi /etc/hosts 文件末尾添加以下内容： hadoop01的ip地址 hadoop01 hadoop02的ip地址 hadoop02 ha
CentOs7下安装Hadoop详细步骤
weixin_58941637的博客
12-07 5198
一、安装虚拟机 版本（CentOS7） 二、修改主机名（当前虚拟机的主机名） 1.查看当前的主机名 hostname 2.修改主机名 vi /etc/hostname （1）一定要在vi的命令模式下（在编辑模式下按esc键） :wq #保存退出 :wq! #强制保存退出 :q #退出 :q! #强制退出 （2）编辑模式下：i当前光标所在的位置。 3.启动命令： reboot -h now 补充：第二种修改主机名的方式 Hostnamectl set-hostname <自己编写的主机名&g
大数据平台搭建——hadoop集群（基于CentOS-7）的搭建
m0_73509128的博客
08-13 4376
本次hadoop集群搭建的虚拟机采用的软件为VMware Workstation Pro，用的镜像文件为CentOS-7，此篇文章是为自己准备大数据比赛中的大数据平台搭建部分所写，故只针对搭建hadoop集群搭建的部分进行概述，前绪工作包括虚拟机的搭建读者可以阅读下面的文章自行进行安装。将主机上的hadoop文件传输到副机上去，这里可以先新建两个虚拟机并且和前面一样配置好相关信息，再在终端中输入：scp -r 源hadoop文件路径 机器用户名：目标路径位置后，即可传输，比较麻烦，
超详细版本|Linux Centos7从零搭建Hadoop集群及运行MapReduce分布式集群案例(全网最详细教程！)
未来社会二十年发展的核心技术趋势由ABCD四个字母组成，分别是AI（人工智能）、BlockChain（区块链）、Cloud（云）、和Data（大数据）每一次进步都有新的认知和感触
11-20 6320
花了快2小时的超详细版本的Linux从零搭建Hadoop集群(CentOS7+hadoop 3.2.0+JDK1.8+Mapreduce完全分布式集群案例+详细源码图文讲解)终于整理完成了！里面有详细的代码讲解及图文操作，能够更好的帮助大家搭建，希望此教程对各位有所帮助，这些都已经试过水了，各位环境配置和操作没问题的话，基本都能部署完成，我这里部署了一个从机node1节点，可以根据自己需要增加3台或者更多node节点，节点配置信息修改的操作都是一样的。祝各位部署一切顺利！
CentOS7-hadoop安装配置.pdf
02-03
CentOS7-hadoop安装配置
centos7限制普通用户访问单一目录.docx
09-09
要求给开发同事开设一个查看日志的账号，并限制其只能访问该目录下的单一文件
Centos7下安装hadoop-2.8.3详细步骤
03-19
CentOS下安装hadoop-2.8.3详细步骤，包括如何调用原生CountWord并输出
大数据hadoop，centos7的安装
05-30
安装成功后，启动hdfs 格式化文件系统（仅第一次执行即可，不要重复执行）：hdfs/hadoop namenode -format 启动hdfs: sbin/start-dfs.sh 验证是否启动成功： jps DataNode SecondaryNameNode NameNode ...
Linux系统（Centos7）实现hadoop安装
热门推荐
weixin_45831715的博客
12-07 1万+
Linux系统（Centos7）实现hadoop安装
centos7hadoop安装配置
xwt1130_的博客
02-02 410
通过vim /etc/hosts配置其他计算机的ip以及主机名的映射,可以直接ping设置好的主机名。解压缩,将hadoop和jdk解压到soft目录,如果觉得解压完的文件名太长可以用mv修改。将54行修改为,其中jdk180是你解压出来的目录,上面我将其修改为了jdk180。vi编辑配置文件(可以在vm中的编辑中的虚拟网络编辑器查看DHCP和NAT设置)生成秘钥(注意是大写的P),运行后再次回车,生成秘钥。修改完后重启网络,ping百度,能ping通就行。查看是否刷新成功,能出现即成功。
05-Hadoop集群部署(普通用户)
clear-ninghongkang的博客
08-13 823
​ format操作只在hadoop集群初次启动时执行一次​ format多次会造成我们数据的丢失，还可能会造成Hadoop集群主从角色之间相互不识别（解决方法：将所以节点的hadoop.tmp.dir目录删除，删除所有机器的data和logs目录删除，后重新格式化）
centos7中进行hadoop搭建全过程
m0_54501766的博客
08-13 410
1.安装模版虚拟机,(以下地址均为实例,具体情况具体应用)IP地址192.168.10.100,主机名称hadoop100,内存4G,硬盘50G2.配置要求1)确认虚拟机联网,ping www.baidu.com试试,ping的同即可2)安装epel-release。
centos7安装hadoop
最新发布
qq_57074721的博客
01-21 1716
点击完成，来到信息安装摘要界面，点击软件选择。默认是最小安装，为了方便我们学习，需要点进去选择一些配置。点击编辑虚拟机设置，点击CD\DVD，选择IOS镜像文件，这个镜像文件就是centos7的镜像文件。在安装的过程中，设置root用户的密码，可根据自己的需求添加普通用户。根据自己的电脑配置，选择处理机的数量以及每个核的数量。选择标准分区，添加挂载点/boot 分配1G空间。点击主机名，设置一个方便识别的主机名，点击完成。来到欢迎界面，左边滑倒最底下，选择中文。添加挂载点，分配剩下的空间，点击完成。
Centos7安装Hadoop教程
宇宙的黑洞
07-11 1万+
一：安装SSH 1，执行下面的命令安装ssh yum install openssh-clients yum install openssh-server 2，执行如下命令测试一下 SSH 是否可用（SSH首次登陆提示 yes/no 信息，输入 yes 即可，然后按照提示输入 root 用户的密码，这样就登录到本机了），如下图所示。 3，执行以下命令 exit ...
创建普通用户登录并使用Hadoop集群遇到的若干问题
u012237396的专栏
08-31 8695
创建普通用户登录并使用Hadoop集群遇到的若干问题在Hadoop与Spark集群（包括Hive、Hbase）搭建好以后，需要创建一批普通用户供其他人使用，在创建普通用户与普通用户登录后运行某个模块（如Hive），以及在Hadoop集群上执行命令时遇到若干问题，在这里予以说明，便于自己记忆，也希望对遇到同样问题的朋友有所帮助。说明：在安装好Centos系统后，用root创建一般用户hadoop，在h
搭建hadoop集群常见坑一：secondarynamenode只在root账户能启动在一般账户不能启动的解决方法。
qq_39954916的博客
04-24 1982
一、事情的起因： 本来是按照手册顺利的安装了全分布式集群，并且能够正常启动集群，集群又、有三台集群，hadoop102 是master，其他2台是node，secondarynamenode配置在hadoop104上， 一次手痒不小心在master下的root账户下启动了集群，然后就发现在hadoop104的一般账户下不能启动secondarynamenode了，但是在hadoop104的ro...
解决root用户对HDFS文件系统没有权限的问题
cql252283126的博客
10-20 3073
HDFS文件系统的目录基本都属于 supergroup 超级用户组，所以就把用户添加到该用户组，即可解决很多权限问题。 在Linux执行如下命令增加 supergroup 用户组 groupadd supergroup 如将用户root增加到supergroup用户组中 usermod -a -G supergroup root 同步系统的权限信息到HDFS文件系统 sudo -u hdfs hdfs dfsadmin -refreshUserToGroupsMappings 查看属于supe
centos7安装hadoop3.3.6
09-06
1. 首先，你需要下载编译好的Hadoop 3.3.6的压缩包[hadoop-3.3.0-Centos7-64-with-snappy.tar.gz]。 2. 解压该压缩包，你可以使用以下命令：tar zxvf hadoop-3.3.0-Centos7-64-with-snappy.tar.gz。 3. 解压后，你...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值