最详细的hadoop伪分布式集群搭建及问题解决

最新推荐文章于 2024-05-23 20:15:07 发布
最新推荐文章于 2024-05-23 20:15:07 发布
阅读量3k 收藏 18
点赞数 3
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46311020/article/details/113180767
版权

事前了解

伪分布式：

这种模式也是在一台单机上运行，但用不同的Java进程模仿分布式运行中的各类结点(NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode)，请注意分布式运行中的这几个结点的区别：从分布式存储的角度来说，集群中的结点由一个NameNode和若干个DataNode组成,另有一个SecondaryNameNode作为NameNode的备份。从分布式应用的角度来说，集群中的结点由一个JobTracker和若干个TaskTracker组成，JobTracker负责任务的调度，TaskTracker负责并行执行任务。TaskTracker必须运行在DataNode上，这样便于数据的本地计算。JobTracker和NameNode则无须在同一台机器上。

一个机器上，即当namenode，又当datanode,或者说即是jobtracker,又是tasktracker。没有所谓的在多台机器上进行真正的分布式计算，故称为"伪分布式"。

完全分布式：

真正的分布式，由3个及以上的实体机或者虚拟机组件的机群。

注意：下面内容我弄的是一台虚拟机安装Hadoop（可以看作伪分布式），之后假如我用伪分布式这一台虚拟机再克隆两台虚拟机并做一些改正与配置（这个可以看作完全分布式）

1.下载虚拟机

本人是 VMware Workstation Pro16 版本的

1.直接百度下载虚拟机（VMware Workstation Pro），比如：

在这里插入图片描述

2.安装前先百度版本密钥，这个在安装结束时需要用到，安装直接跟着步骤走，具体可以百度安装步骤，比如：

在这里插入图片描述

2.创建虚拟机

== 这段内容我不做太多作述，百度有很多例子==

1.进入虚拟机后点击：文件----》新建虚拟机----》典型----》安装程序光盘映像文件(iso)(M)----

在这里插入图片描述

注意：（安装程序光盘映像文件(iso)(M)）这里需要导入iso镜像，所以需要先去网上下载iso镜像

Minimal ISO
Mini版本，只有必要的软件，自带的软件最少(没有图形化界面)
CentOS-7-x86_64-Minimal-1810.iso 918M
DVD ISO
标准版本安装（服务器安装推荐使用，包含一些基本的软件和图形化界面）
CentOS-7-x86_64-DVD-1708.iso 4个多G
Everything ISO
对完整版安装盘的软件进行补充，集成所有软件（图形化界面版）
很大，没下过，好像有十几个G，似乎在官方的安装指南看到的。

网上下载地址： https://www.centos.org/download/

----》下一步----（设置虚拟机名称及位置）----》下一步—》下一步—》完成----》（耐心等待系统加载后需要进行相应设置）----》（设置中文）----》（设置磁盘位置，开启网络）—》（设置root密码，不需要设置用户）----》等待安装…

3.配置静态网络及关闭防火墙

3.1.配置静态网络

1.登录虚拟机： 用户：root 密码：自己设置的密码
2.输入： ping www.baidu.com 查看网络是否开启（ctrl+c停止运行），如果如以下情况则是开启

[

注意： 如果网络没有开启，就输入以下命令开启网络

[root@192 ~]# service network restart			//开启网络

3.进入网络配置文件中配置静态网络及关闭防火强

  • 这里需要是root用户如果不是就输入 su 会要你输入密码后进入root用户

    [root@192 ~]#su					//切换root用户

我这里是root用户，名字上有root

在这里插入图片描述

cd /etc—>cd sysconf ig—>cd network-scripts/—>ll—>(用编辑器打开）vi ifcfg-ens33—》进入

在这里插入图片描述

进入以下页面按A键进入编辑模式需要将BOOTPROTO="dhcp"的值改成static，ONBOOT的值改成yes(开机自动打开)，之后设置其它属性

注意：下面文中进入虚拟网络编辑器的更改设置后，在设置期间先不要关闭

  • P地址：IPADDR=""

点击菜单栏上的：编辑—》虚拟网络编辑器—》（选中vmnet8 , 下面的子网IP中 192.168.175不变，后面数字自己随便设置，我自己设置为 192.168.175.10

在这里插入图片描述

  • 子网掩码：NETMASK="“

子网掩码默认不变

  • 默认网关：GATEWAY=""，

点击 更改设置-—》选中vmnet8---->(将 使用本地DHCP 的选项勾去掉—》NAT设置

在这里插入图片描述

  • DNS:

    • DNS1=" "

      查看本机DNS，进入控制台输入 ipconfig /all

    在这里插入图片描述

    也可以使用谷歌公用dns

在这里插入图片描述

  • DNS2=" "

    可以使用百度DNS

在这里插入图片描述

最终成样：

在这里插入图片描述

最后点击确定保存设置：

在这里插入图片描述

最后按Esc键退出编辑模式，再输入：wq保存再退出（不保存退出输入:q(前提你没更改过设置)；:q！强制退出）

再输入命令service network restart------>ping www.baidu.com,查看网络是否连接成功

3.1.关闭防火墙

命令：systemctl stop firewalld------>systemctl disable firewalld------>systemctl status firewalld
在这里插入图片描述

重启：reboot

查看防火墙状态：systemctl status firewalld

3.2.可能遇到的问题

  • 比如iso下载错误需要卸载和删除

    参考网站：http://www.xitongcheng.com/jiaocheng/win10_article_57913.html

  • win10下的VMware还原网络设置，无法创建VMware网络适配器解决办法

    参考网站：https://blog.csdn.net/qq_36651243/article/details/88709363

4.设置主机名及编辑hosts文件

设置主机名：

设置主机名命令：hostnamectl set-hostname 名字

在这里插入图片描述

重新启动虚拟机查看设置成功没命令：reboot

在这里插入图片描述

配置hosts文件：

查看设置的ip：ifconfig 或者：hostname -i

进入hosts文件命令：vi /etc/hosts

进入后按A键进入编辑模式，设置完后按 ESC 再按 ：输入 wq 回车保存并退出

配置：虚拟机自己设置IP 自己设置的主机名

5.使用Xshell操作虚拟机

  • 由于使用 VMware Workstation Pro 这款软件操作虚拟机有一些弊端，比如：不能粘贴复制，所以我们就使用xshell这款软件来连接 VMware Workstation Pro 上创建的虚拟机从而可以在xshell上操作虚拟机（即之后我没说再哪里操作即默认再xshell上操作）

5.1.事前准备

  • 下载jdk安装包:

    • 华为提供的下载服务：https://repo.huaweicloud.com/java/jdk/（推荐使用）
    • 清华大学提供的下载服务：https://mirrors.tuna.tsinghua.edu.cn/AdoptOpenJDK/

  • 下载hadoopLinux安装包：

    • 官方地址：https://archive.apache.org/dist/hadoop/common/
    • 北京信息学院镜像下载：http://mirror.bit.edu.cn/apache/hadoop/common/

在这里插入图片描述

  • 下载xhell软件：

    本人用的是xshell7 版本的

这个可以直接百度 xshell 下载

本人下载地址：http://www.j9p.com/down/531725.html

安装教程可参考百度：https://blog.csdn.net/weixin_40928253/article/details/80621724

5.2.xshell连接虚拟机

1.进入xshell后点击：文件—》新建，会出现以下页面

在这里插入图片描述

然后输入名称和ip地址进行连接：

在这里插入图片描述

之后会弹出要你输入用户名密码：是你自己虚拟机登录的一样

5.2.1可能遇见的问题

  • 连接时出现以下报错

    在这里插入图片描述

解决：

下文有关于centos7开启ssh服务的，如果下面不明白可以看这位博主：https://blog.csdn.net/baibaigao/article/details/80956417

首先虚拟机输入命令：cd /etc/sysconfig/ 再输入 ls 查看目录中有没有 iptables （注意：不是iptables-***）文件，没有的话，进行如下操作：

​ 1.跳回最开始目录，即别在其它目录中

​ 2.如果前面没关闭防火的则需要关闭防火墙

​ systemctl stop firewalld
​ systemctl mask firewalld

​ 3.安装iptables-services：

​ yum install iptables-services

​ 4.设置开机启动：

​ systemctl enable iptables

​ 5.保存设置：

​ service iptables save

​ 6.然后再次输入命令：cd /etc/sysconfig/—>ls ,可以看见有 iptables 文件了

在这里插入图片描述

​ 7.然后在输入以下命令进入iptables 文件

​ vi iptables

在这里插入图片描述

​ 8.按 A 键进入编辑模式向里面添加以下命令：

​ -A INPUT -p tcp -m state --state NEW -m tcp --dport 22 -j ACCEPT

注意：我上面的图中显示有这个命令。

如果里面有这个命令，则不需要添加了，直接按 Esc 再再底部输入 ：wq 回车保存并退出。然后再次去连接xshell ,如果还是那个错，就输入：

​ 重启防火墙：service iptables restart

然后再去连接xshell 如果还不行就：

​ 9.先关闭防火墙：/etc/init.d/iptables stop

​ 10.查看防火墙状态：systemctl status firewalld

在这里插入图片描述

​ 11.开启ssh-server服务器（需要root用户）

​ service sshd start

​ 然后再去尝试连接，还是报错

​ 12.查看22端口是否开启

​ 命令： ss -lnt（l 是L小写）

​ 结果发现是开启的

在这里插入图片描述

​ 如果没有就输入：

​ 开启ssh-server服务：service sshd start

​ 再次查看：ss –lnt ，就有了

13.然后连接发现还是不行就查看了一些博主

​ 1.https://blog.csdn.net/baidu_18696283/article/details/89061923

​ 2.https://blog.csdn.net/u013067756/article/details/76086835

​ 发现依然不行，我估计是虚拟机软件本身问题，于是就多次还原默认设置后

在这里插入图片描述

先把虚拟机设置的静态ip改下，然后再参考这位博主

https://blog.csdn.net/trackle400/article/details/52755571

终于把问题解决了（感谢这位博主！！！）

在这里插入图片描述

6.文件传输

  • 将上面的事前准备中下载的jdk与hadoop包传入到 cd /opt/package 目录中

    • 当然package目录是不可能有的，这是自己随便起的名字，所以我们要再 cd /opt 目录下新建package目录：

      1.cd /    					// 进入目录入口
2.ls       					//产看目录
3.cd /opt   				//进入 opt 目录中
4.opt下新建目录：sudo mkdir package   	//这是再其它目录下创建新目录

    在这里插入图片描述

    其它可能使用到的命令：

    1. mkdir /package     //直接在cd下创建package目录
2.rm -fr package		//删除package目录，这个只能删你的当前目录下的下一级目录，加入你要删除opt目录下的package目录则需要在opt目录上输入这个命令
3. 先 cd / 再 ls            //查看目录，下一级直接 cd /目录名
4.cd ..                 //返回上一级目录
    • 输入 rz 传输文件，如果显示未找到命令则输入 yum install lrzsz -y 安装工具，.检查是否安装成功：rpm -qa |grep lrzsz

    在这里插入图片描述

    我这显示安装成功，所以不需要检查：

在这里插入图片描述

​ 开始传输文件：

1.先进入package 目录中：

cd /opt/package

在这里插入图片描述

2.传输文件，输入命令后回车会弹出本机文件夹，你可以去选则要上传的文件，传输过程需要时间：

rz

在这里插入图片描述

传输完成后输入命令会发现package中有了两个文件，这就是刚才传输的文件：

ls

在这里插入图片描述

7.解压jdk

1.在opt目录下再新建个module（自己随便起名） 目录，用于存放解压后的文件：

1.//先进入opt 目录
2.[root@mycomputer opt]# sudo mkdir module
3.[root@mycomputer opt]# ls    //查看

2… 解压 JDK 到/opt/module 目录下：

1.[root@mycomputer opt]# cd package
2.[root@mycomputer package]# ls      //查看文件
hadoop-2.7.7.tar.gz  jdk-8u171-linux-x64.tar.gz
3.[root@mycomputer package]# tar -zxvf jdk-8u171-linux-x64.tar.gz -C /opt/module/   			 //解压

3.成功后进入 module 目录下查看：

1.[root@mycomputer package]# cd ..
2.[root@mycomputer opt]# ls
3.[root@mycomputer opt]# cd module
4.[root@mycomputer module]# ls

在这里插入图片描述

4.为了方便后面配置环境变量，将文件改名为 jdk8 ，使用mv命令可以实现改名效果:

1.[root@mycomputer module]# mv jdk1.8.0_171/ jdk8（所改名）
2.ls

在这里插入图片描述

8.配置JDK环境变量

1.先安装vim编辑器：

1.//先退到开始目录
2.[root@mycomputer /]# yum install vim -y

在这里插入图片描述

2.进入jdk8目录：

1.[root@mycomputer /]# cd /opt/module/jdk8

3.查看获取 JDK 路径：

[root@mycomputer jdk8]# pwd

在这里插入图片描述

4.用vim打开 etc/profile 文件添加jdk路径：

1.[root@mycomputer jdk8]# cd 		//到最开始目录
2.[root@mycomputer module]# sudo vim /etc/profile

在 profile 文件末尾添加 JDK 路径：

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk8    
export PATH=$PATH:$JAVA_HOME/bin

在这里插入图片描述

按A 推出编辑模式，再按Esc后输入 ：wq 保存退出

5.让修改后的文件生效：

1.[root@mycomputer ~]# cd /opt/module
2.[root@mycomputer module]# ls3.
3.[root@mycomputer module]# cd jdk8
4.[root@mycomputer jdk8]#  source /etc/profile

6.测试 JDK 是否安装成功：

[root@mycomputer jdk8]# java -version

在这里插入图片描述

[root@mycomputer jdk8]# javac

在这里插入图片描述

9.安装Hadoop

1.进入到 Hadoop 安装包路径下：

[root@mycomputer ~]# cd /opt/package
[root@mycomputer package]# ls

2.解压Hadoop安装文件到/opt/module 目录下面：

[root@mycomputer package]# tar -zxvf hadoop-2.7.7.tar.gz -C /opt/module/

3.查看是否解压成功：

[root@mycomputer package]# ls /opt/module/

在这里插入图片描述

4.为Hadoop改名为 Hadoop2，为了以后配置是简便些：

1.[root@mycomputer package]# cd
2.[root@mycomputer ~]# cd /opt/module
3.[root@mycomputer module]# ls
4.[root@mycomputer module]# mv hadoop-2.7.7/ hadoop2
5.[root@mycomputer module]# ls

在这里插入图片描述

10.将 Hadoop 添加到环境变量

1.获取Hadoop 安装路径：

1.[root@mycomputer module]# cd hadoop2    //进入Hadoop目录中
2.[root@mycomputer hadoop2]# pwd

在这里插入图片描述

2.用vim打开 etc/profile 文件添加jdk路径：

 [root@mycomputer hadoop2]# sudo vi /etc/profile

在 profile 文件末尾添加 JDK 路径：

##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

在这里插入图片描述

按A 推出编辑模式，再按 Esc 后输入 ：wq 保存退出

3.让修改后的文件立即生效：

[root@mycomputer hadoop2]#  source /etc/profile

4.测试是否安装成功：

[root@mycomputer hadoop2]#  hadoop version

在这里插入图片描述

11.设置ssh免密登录

1.ssh-keygen -b 1024 -t rsa 一路回车啥都别管 X 3：

1.[root@mycomputer hadoop2]# cd
2.[root@mycomputer ~]# ssh-keygen -b 1024 -t rsa 
3.[root@mycomputer ~]# ls -all
4.[root@mycomputer ~]# cd .ssh
5.[root@mycomputer .ssh]# ls
6.[root@mycomputer .ssh]# ssh-copy-id mycomputer   //设置免密登录

在这里插入图片描述

2.查看是否成功：

1.[root@mycomputer .ssh]# cd
2.[root@mycomputer ~]# ssh mycomputer

在这里插入图片描述

3.其它方法：

1.[root@mycomputer ~]# ssh-keygen -b 1024 -t rsa    //一路回车
2.cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys

12.修改Hadoop配置文件

伪分布式运行模式

  • 由于接下来要配置许多东西所以一些基本命令我写在下面，后面不会再说了
    • 配置文件时， 按 A 键进入编辑模式
    • 文件配好后， 按 Esc 键，然后再再最下面输入 ：wq 保存并退出

1. 查看Hadoop 目录结构

1.[root@mycomputer ~]# cd /opt/module
2.[root@mycomputer module]# ls
3.[root@mycomputer module]# cd hadoop2
4.[root@mycomputer hadoop2]# ll

在这里插入图片描述

其中重要目录：

（1）bin 目录：存放对 Hadoop 相关服务（HDFS,YARN）进行操作的脚本

（2）etc 目录：Hadoop 的配置文件目录，存放 Hadoop 的配置文件

（3）lib 目录：存放 Hadoop 的本地库（对数据进行压缩解压缩功能）

（4）sbin 目录：存放启动或停止 Hadoop 相关服务的脚本

（5）share 目录：存放 Hadoop 的依赖 jar 包、文档、和官方案例

2.配置：hadoop-env.sh

1.进入hadoop-env.sh文件中

1.[root@mycomputer hadoop2]# cd
2.[root@mycomputer ~]# vim /opt/module/hadoop2/etc/hadoop/hadoop-env.sh

2.修改 JAVA_HOME 路径，路径为自己先前安装的路径：

可以查看上面文档：配置JDK环境变量 ，里面有如何去查看获取 JDK 路径方法

在这里插入图片描述

3.配置：core-site.xml(核心组件)

1.进入core-site.xml文件：

[root@mycomputer ~]# vim /opt/module/hadoop2/etc/hadoop/core-site.xml

2.需要在和之间加入的代码：

<!-- 指定 HDFS 中 NameNode 的地址 -->
<!-- 默认节点(写自己主机的ip)端口,端口默认为9000 -->
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://192.168.30.10:9000</value>
</property>
<!-- 指定 Hadoop 运行时产生文件的存储目录 -->
<!-- hdfs的临时文件的目录***这个要记好，后面初始化错误可能会用到***  -->
<property>
   <name>hadoop.tmp.dir</name>
   <value>/opt/module/hadoop2/tmp</value>
</property>

在这里插入图片描述

4.配置：hdfs-site.xml（文件系统）

1.进入 hdfs-site.xml 文件

[root@mycomputer ~]# vim /opt/module/hadoop2/etc/hadoop/hdfs-site.xml

2.需要在和之间加入的代码（我只加了前一个，建议都加）:

<!-- 设置数据块应该被复制的份数(和集群机器数量相等,目前只有一个填1,以后有几台就填几台) -->
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<!--指定NameNode运行产生的文件存储目录-->
<property>
  <name>dfs.namenode.name.dir</name>
  <value>/opt/module/hadoop2/tmp/dfs/name</value>
</property>
<!--指定DataNode运行产生的文件存储目录-->
<property>
  <name>dfs.datanode.data.dir</name>
  <value>/opt/module/hadoop2/tmp/dfs/data</value>
</property>

在这里插入图片描述

5.配置mapred-site.xml.template（计算框架文件）

1.首先将 mapred-site.xml.template 文件改名为 mapred-site.xml，执行以下命令将会改名：

1.[root@mycomputer ~]# cd /opt/module/hadoop2/etc/hadoop
2.[root@mycomputer hadoop]# ls 
3.[root@mycomputer hadoop]# mv mapred-site.xml.template mapred-site.xml
4.[root@mycomputer hadoop]# ls

在这里插入图片描述

2.进入mapred-site.xml文件：

[root@mycomputer hadoop]# vim mapred-site.xml

3.需要在和之间加入的代码:

<!-- mapreduce的工作模式:yarn -->
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>

在这里插入图片描述

6.配置 yarn-site.xml 文件

1.进入 yarn-site.xml 文件：

[root@mycomputer hadoop]# vim yarn-site.xml

2.需要在和之间加入的代码：

<!-- reducer获取数据方式 -->
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
<!--客户端通过该地址向RM提交应用程序，杀死应用程序等。-->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>mycomputer</value>
</property>
<!--ApplicationMaster通过该地址向RM申请资源、释放资源等。-->
<property>
	<name>yarn.resourcemanager.scheduler.hostname</name>
	<value>mycomputer</value>
</property>
<!--NodeManager通过该地址向RM汇报心跳，领取任务等。-->
<property>
	<name>yarn.resourcemanager.resource-tracker.hostname</name>
	<value>mycomputer</value>
</property>
<!--管理员通过该地址向RM发送管理命令等。-->
<property>
	<name>yarn.resourcemanager.admin.hostname</name>
	<value>mycomputer</value>
</property>
<!--用户可通过该地址在浏览器中查看集群各类信息-->
<property>
	<name>yarn.resourcemanager.webapp.hostname</name>
	<value>mycomputer</value>
</property>
<!-- 日志聚集功能使用 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 日志保留时间设置7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

在这里插入图片描述

7.配置master的slaves文件

1.进入 slaves 文件：

[root@mycomputer hadoop]# vim slaves

配置如下图：

在这里插入图片描述

13.启动与关闭集群

1.格式化 NameNode（第一次启动时格式化，以后就不要总格式化）：

1.[root@mycomputer hadoop]# cd
2.[root@mycomputer ~]# hdfs namenode -format

注意： 这里如果安装的时候多次初始化，会导致错误，解决方法是删除/opt/hadoop目录下的tmp文件（就是上面配置文件core-site.xml中需要注意的地方）

13.1方式一

13.1.1.启动hadoop

[root@mycomputer ~]# start-all.sh				//启动

可能遇到的问题：

如果报：localhost: Host key verification failed. 错时按以操作解决：

1.[root@mycomputer ~]# stop-all.sh				//关闭
2.[root@mycomputer ~]# ssh-keygen -R 192.168.30.10    //-R 后面是自己的主机名

在这里插入图片描述

再启动Hadoop如果报：The authenticity of host ‘mycomputer (192.168.30.10)’ can’t be established. 异常。按以下命令解决：

[root@mycomputer ~]# ssh  -o StrictHostKeyChecking=no  192.168.30.10
hadoop2/logs/hadoop-root-namenode-mycomputer.log

再次启动如果还出现：root@mycomputer’s password: mycomputer: Permission denied, please try again. 错误的解决办法：

1.[root@mycomputer ~]# passwd root  					//修改root密码
2.[root@mycomputer ~]# sudo vi /etc/ssh/sshd_config		//.辑配置文件，允许以 root 用户通过 ssh 登录
　2.1找到：PermitRootLogin prohibit-password禁用
　2.2添加：PermitRootLogin yes
3.[root@mycomputer ~]# systemctl restart sshd   		//启动ssh
4.[root@mycomputer ~]# cd /etc/ssh/						//进入ssh目录
5.root@mycomputer ssh]# vim sshd_config 				//进入查看，（里面 port 22 的 # 号是否去掉，如果没就去掉）
6.[root@mycomputer ssh]#  ps -e | grep sshd 			//检查一下ssh服务是否开启
7.[root@mycomputer ssh]#  ss -lnt						//查看22端口是否开启

之后启动，中间可能会有其它错，别管它，即使没加载也一路回车，如果发现还报：mycomputer: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password). 异常，以下解决办法：

//原因：由于更换root密码，导致当前账号可能没有配置免密登录，所以要创建公钥和私钥
1[root@mycomputer ~]# ssh-keygen -t rsa
2.[root@mycomputer ~]# cd .ssh
3.[root@mycomputer .ssh]# ls
4.[root@mycomputer .ssh]# touch authorized_keys		//创建authorized_keys文件
5.[root@mycomputer .ssh]# chmod 600 authorized_keys	//修改权限为600
6.[root@mycomputer .ssh]# ls
7.[root@mycomputer .ssh]# cat id_rsa.pub >> authorized_keys		//将公钥追加到authorized_keys文件中去
8.[root@mycomputer .ssh]# cd						//返回到mycomputer
9.[root@mycomputer ~]# ssh mycomputer				//试试看能否成功免密登录
（//[root@mycomputer ~]# ssh mycomputer
//Last failed login: Sat Jan 23 17:20:24 CST 2021 from localhost on ssh:notty
//There were 26 failed login attempts since the last successful login.
//Last login: Sat Jan 23 14:23:33 2021 from 192.168.30.4
//[root@mycomputer ~]#）
 10.[root@mycomputer ~]# start-all.sh					//启动hadoop

在这里插入图片描述

输入：jps

在这里插入图片描述

不过里面没有 DataNode，解决办法如下：

参考博客：https://blog.csdn.net/islotus/article/details/78357857

//在dfs/name目录下找到一个current/VERSION文件，记录clusterID并复制。然后dfs/data目录下找到一个current/VERSION文件，将其中clustreID的值替换成刚刚复制的clusterID的值即可；（注意：dfs目录在core-site.xml文件中自己设置的用于 Hadoop 运行时产生文件的存储目录，我的叫 tem）
//先关闭Hadoop
1.[root@mycomputer ~]# cd /opt/module/hadoop2/tem/df/sname/current/
2.[root@mycomputer current]# vi VERSION  //进入后复制的clusterID的值
3.[root@mycomputer current]# cd ..
4.[root@mycomputer name]# cd ..
5.[root@mycomputer dfs]# ls
6.[root@mycomputer dfs]# cd data
7.[root@mycomputer data]# cd current
8.[root@mycomputer current]# vi VERSION    //将其中clustreID的值替换成刚刚复制的clusterID的值
//再次启动Hadoop

在这里插入图片描述

13.1.2关闭hadoopp

[root@mycomputer ~]# stop-all.sh				//关闭

13.2.方式二

1.Hadoop的启动：

  • 进入Hadoop安装目录
[root@mycomputer ~]# cd /opt/module/hadoop2
  • 然后启动 NameNode
[root@mycomputer hadoop2]# sbin/hadoop-daemon.sh start namenode
  • 然后启动 DataNode
[root@mycomputer hadoop2]# sbin/hadoop-daemon.sh start datanode
  • 查看是否启动成功
[root@mycomputer hadoop2]# jps

在这里插入图片描述

2.关闭hadoop：

[root@mycomputer ~]# stop-all.sh

13.3.利用案例检查Hadoop是否能工作

步骤如下：

1.[root@mycomputer ~]# cd /opt/module/hadoop2/share/hadoop/mapreduce
	//进入Hadoop目录下的mapreduce 目录
2.[root@mycomputer mapreduce]# hadoop jar hadoop-mapreduce-examples-2.7.7.jar pi 10 10			//测试运行圆周率（pi代表圆周率）

在这里插入图片描述

13.4.用浏览器web 端查看 HDFS 文件系统

特别注意：HaDoop3.0之前web访问端口是50070 hadoop3.0之后web访问端口为9870

http://mycomputer:50070/

注意：如果不能查看，看如下帖子处理:

http://www.cnblogs.com/zlslch/p/6604189.html

在这里插入图片描述

改为：
在这里插入图片描述

以上博客如果还是不行就安装 Firefux 浏览器，再从浏览器进入：

步骤：

1.[root@mycomputer ~]# stop-all.sh		//先关闭Hadoop
2.[root@mycomputer ~]# cd /opt/module/hadoop2 /etc/hadoop
3.[root@mycomputer hadoop]# yum -y install firefox	 //安装firefux 浏览器

在这里插入图片描述

5.[root@mycomputer hadoop]# firefox		//打开firefox (会提示打不开，因为没配置环境)
6.[root@mycomputer hadoop]# cd
//（如果你重新启动连接须虚拟机会发现会报：The remote SSH server rejected X11 forwarding request.）
7.[root@mycomputer ~]# vim /etc/ssh/sshd_config       //修改文件

文件修改为如图：（注意还有 UseLogin no 的# 号也要去掉，下图中我截图显示）

在这里插入图片描述

8.[root@mycomputer ~]# yum install xorg-x11-xauth -y	//安装xorg-x11-xauth的rpm包

在这里插入图片描述

9.[root@mycomputer ~]# yum install xclock -y	//安装xclock

在这里插入图片描述

10.[root@mycomputer ~]# systemctl restart sshd		//重启ssh服务
11.[root@mycomputer ~]# xclock

这时会提示你要下载 Xmanager ，所以接下来需要电脑上下载Xmanager（我下载的是Xmanager7）：

下载地址：https://www.xshellcn.com/

在这里插入图片描述

安装完成后可以别管它，直接到Xshell上重新连接虚拟机,然后执行以下操作：

1.[root@mycomputer ~]# xclock
2.[root@mycomputer ~]# start-all.sh
3.[root@mycomputer ~]# jps
4.[root@mycomputer ~]# firefox		//打开Firefux 浏览器

接下来会弹出浏览器，可能是乱码，自己可以再上面输入：主机名：50070 或者 主机IP：50070

加载页面如下：

在这里插入图片描述

笙！
关注
  • 3
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Linux下jdk的配置
qq_32279165的博客
12-09 401
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录我的环境一、JDK下载二、上传到Linux中三、解压文件四、环境变量的配置总结 我的环境 VMware® Workstation 15 Pro CentOS 6 64 位 一、JDK下载 jdk-8u271-linux-x64.tar.gz，地址：jdk下载选择相对应的操作系统以及需要的版本 二、上传到Linux中 使用Xftp 6，将下载好的jdk文件 jdk-8u271-linux-x64.tar.gz传输到/opt目录下 三
Hadoop伪分布式集群搭建
qq_37112905的博客
03-20 764
Hadoop版本及虚拟机 在这里我使用的Hadoop版本是2.9.2，jdk版本是1.8 Hadoop2.9.2 http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz jdk1.8 https://www.oracle.com/technetwork/java/javase/downloads...
jdk-8u271-linux-x64.tar.gz
01-04
linux64的jdk-8u271，原版。官网上面下载速度很慢，而且还需要登录，很不方便，有需要的小伙伴可以从这里下载
大数据技术原理（二）：搭建hadoop伪分布式集群这一篇就够了
最新发布
m0_60732994的博客
05-23 1544
一、实验目的 1.理解Hadoop伪分布式的安装过程 实验内容涉及Hadoop平台的搭建和配置，旨在提高对大数据处理框架的理解和实践能力。通过完成本实验，将能够独立完成Hadoop伪分布式环境的安装和配置。 2.学会JDK安装和编译hadoop源码包 同时，通过手动编译hadoop源码包，还将能够更深入地了解Hadoop的内部原理和工作机制，通过解决问题并不断思考，具备根据需求进行扩展和定制的能力。 3.学会Hadoop伪分布式安装和参数配置 修改Hadoop的配置文件，包括core-site.xml、
搭建伪分布式hadoop可能遇到的问题
weixin_48450741的博客
06-15 773
HADOOP搭建中遇到的问题ubuntu网络链接激活失败，或者网络链接图标不显示的问题：权限不够，如何解决：为什么在linux 中，执行sudo apt-get update命令后显示部分索引文件下载失败复制文件时，显示略过解压错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster为什么安装Hadoop需要安装jdk？hadoop配置文件hadoop中各个节点的作用namenode：datanodejournalNodenodemanage
hadoop启动_hadoop：伪分布模式启动步骤分解！
weixin_39793708的博客
11-22 291
1、格式化HDFS在运行伪分布式前，需先对NameNode进行格式化，在命令行中输入hdfs namenode -format # 格式化hdfs若出现successfully formatted字样，则说明格式化成功2、启动hadoop然后启动hadoop集群start-all.sh # 一次性启动所有服务或使用以下命令单独启动各项服务start-dfs.sh #启动...
Linux系统Hadoop伪分布式模式配置
stepondust 的课堂
02-07 5041
一、修改配置文件 需要配置相关文件，才能够让Hadoop在伪分布式模式下顺利运行，Hadoop的配置文件位于/usr/local/hadoop/etc/hadoop/中，进行伪分布式模式配置时，需要修改2个配置文件，即core-site.xml和hdfs-site.xml。 可以使用vim编辑器打开core-site.xml文件，它的初始内容如下： <configuration> &l...
hadoop伪分布式集群搭建
雷恩Layne
03-21 1337
本文步骤较多，请细心查看。 基础设施 基础设施环境如下： jdk 1.7+（提前设置好环境变量） ssh自己和自己之间进行免密登陆，如在layne1上执行ssh layne1 时间同步 设置本机ip 设置主机名 可参考Linux切换运行级别、关闭防火墙、禁用selinux、关闭sshd、时间同步、修改时区、拍摄快照、克隆操作、修改语言环境。 另外，不得不提Linux系统远程执行和远程登陆的区别： 远程执行：不需要用户交互，而是用户直接给出一个命令，直接在远程执行，不会加载 /etc/profile.
Hadoop伪分布式集群环境搭建
10-13
Hadoop伪分布式集群环境搭建，有常见错误及解决方案。
linux虚拟机搭建hadoop伪分布式集群
04-26
在搭建Hadoop伪分布式集群的过程中，首先需要在Linux环境下配置VMware的NAT网络，确保虚拟机能够稳定地运行和通信。NAT网络允许虚拟机通过宿主机与外部网络进行通信，同时保持IP地址的固定性。具体操作包括取消DHCP...
hadoop cdh版本伪分布式集群搭建图文教程
08-18
### hadoop cdh版本伪分布式集群搭建图文教程详解 #### 一、引言 随着大数据技术的发展，Hadoop已成为处理大规模数据集的核心工具之一。CDH（Cloudera Distribution Including Apache Hadoop）作为Hadoop的一个发行...
Hadoop伪分布式安装教程——踩坑经验以及顺利安装的方法
weixin_52135595的博客
08-29 3817
在上上篇安装Hadoop的教程里，到了伪分布式这一步，总是卡在启动这一步，数据节点不知道为什么就是权限不够开不了，要么就是进程占用，在杀死进程之后，整个Hadoop出现瘫痪。查遍全网的资料，都说要用chown给他777超级权限，但是我试了两天，发现这个方法似乎不太可行（个人看法），但是在之前linux中配置opencv时也遇到过类似问题，最后是使用root换源来解决的。所以我想用root用户来启动hdfs，查阅资料后发现可行，所以重装系统，开始实践。在实践之后，最后顺利启动节点。话不多说，上教程。.....
Linux下安装JDK
mitrichev86的专栏
10-27 1039
Linux下安装JDK
Linux安装JDK
weixin_45520549的博客
03-10 1163
1、下载jdk安装包 jdk-8u271-linux-x64.tar.gz 2、上传jdk包到usr/local：rz命令 3、解压：tar -zxvf jdk-8u271-linux-x64.tar.gz 4、配置环境变量，编辑vim /etc/profile，在文件末尾追加如下五行内容 输入字母 i 进入编辑模式 export JAVA_HOME=/usr/local/jdk1.8.0_271 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH
# Hadoop安装(伪分布式)常见问题解决及Hadoop常用命令
weixin_41822745的博客
11-09 2274
Hadoop安装常见问题 一、权限不足问题 对于hadoop安装文件的权限不足会出现以下的错误 错误：Cannot create directory /usr/local/hadoop/hadoop-2.8.3/tmp/dfs/name/current 解决方法:sudo chmod -R a+w /usr/local/hadoop/hadoop-2.8.3 给与这个安装文件夹充足的权限，允许在这...
Hadoop环境搭建及常见问题解决（保姆级教程）
热门推荐
tangyi2008的专栏
12-13 1万+
学习大数据的路上，肯定少不了Hadoop的陪伴。 在学习Hadoop之初，一件"痛苦"的事情莫过于装环境，看着别人万事亨通，而自己跌跌撞撞，个中心酸，有几人懂... 本教程为保姆式教程，力图帮您排忧解难。 主要内容如下：【资源准备】 => 【环境准备】 => 【JDK的安装】 => 【Hadoop的安装】 => 【伪分布式的配置】 => 【启动与测试】 => 【常见错误及解决办法】
Hadoop3.2.1版本的环境搭建(伪分布式模式)
caodongfang126的博客
04-08 1545
Hadoop的安装包括3中模式： （1）单机模式：只在一台机器上运行，存储采用本地文件系统，没有采用分布式文件系统HDFS。 （2）伪分布式模式：存储采用分布式文件系统HDFS，但是HDFS的节点和数据节点都在同一节点。 （2）分布式模式：存储采用分布式文件系统HDFS，而且HDFS的节点和数据节点位于不同机器上。 1 创建Hadoop用户 1.1 创建新用户 用户名为hadoopus...
搭建hadoop伪分布式集群环境过程中遇见的问题总结
xuexi_39的博客
10-11 3931
1、网络配置问题： 在centos7中配置网络环境后，本机（win10系统）与虚拟机centos7网络不通（本机可以ping通虚拟机，但是虚拟机ping不通本机）； 解决方式： 方式1：查看本机win10系统的防火墙是否关闭，若没有，直接关闭win10系统的防火墙即可； 方式2：修改本机配置：windows防火墙-高级设置-入站规则-虚拟机监控（回显请求-ICMPv4-Ln），把这项启用即...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值