现成Hadoop安装和配置,图文手把手交你

为了可以更加快速的可以使用Hadoop,便写了这篇文章,想尝试自己配置一下的可以参考从零开始配置Hadoop,图文手把手教你,定位错误

资源

1.两台已经配置好的hadoop
2.xshell+Vmware

链接:https://pan.baidu.com/s/1oX35G8CVCOzVqmtjdwrfzQ?pwd=3biz 
提取码:3biz 
--来自百度网盘超级会员V4的分享

两台虚拟机用户名和密码均为
root
123456

1.更改网络配置

1.打开虚拟机

打开我们下载好的两台虚拟机
在这里插入图片描述
选择我已复制
在这里插入图片描述
输入用户名和密码后,我们已经成功进入
在这里插入图片描述

2.寻找空闲地址

现在我们回到windows先去寻找两个空闲网络,win+R 输入smd接着在windows命令行窗口输入

ipconfig

在这里插入图片描述
我们随便找两个靠后的,一个分配给namenode一个给datanode

192.168.13.135
192.168.13.136
并去ping一下,如果出现无法访问该主机,说明改IP地址空缺,我们可以使用

在这里插入图片描述

3.分配空闲地址

Namenode

配置ifcfg-eno16777736,坚持一下,马上就可以复制了

cd /etc/sysconfig/network-scripts
ls

在这里插入图片描述
编辑网络配置文件

vi ifcfg-eno16777736

在这里插入图片描述
里面有东西的哈,如果没有请检查是不是打错了

修改IP和网关
ip就是我们刚刚找的空地址

Namenode:192.168.13.135
Datanode:192.168.13.136(下一台这样改)

网关:两台机器的网关都是一样的
在这里插入图片描述
右边是修改完成后
在这里插入图片描述

刷新网络配置

service network restart

在这里插入图片描述
很明显,没有配置好之前是无法访问,配置好之后就可以回复了
在这里插入图片描述

Datanode

参考上面
配置ifcfg-eno16777736
编辑网络配置文件
修改IP和网关
这次的ip是

Namenode:192.168.13.135
Datanode:192.168.13.136(这个)

网关:两台机器的网关都是一样的
刷新网络配置
在这里插入图片描述
在这里插入图片描述

4.Xshell连接(软件已提供,方便可以复制)

在这里插入图片描述
添加第一台
在这里插入图片描述
在这里插入图片描述
输入账号root和密码123456就可以连接成功
在这里插入图片描述

添加第二台,步骤参考上面(账号root和密码123456)
在这里插入图片描述

2.更改两台主机host配置

vi /etc/hosts
Namenode:192.168.13.135
Datanode:192.168.13.136

在这里插入图片描述

3.检验互相ping和ping外网(两台主机都要测试)

ping Namenode
ping Datanode
ping www.baidu.com

在这里插入图片描述

4.Hadoop启动!

接下来的操作均在主节点进行
格式化集群

hdfs namenode -format

在这里插入图片描述
启动集群

start-all.sh

在这里插入图片描述

jps查看状态

jps

在这里插入图片描述

查看集群报告

hdfs dfsadmin -report

在这里插入图片描述

5.如果遇到报全为0的错误

1.删除两台主机“/data/hadoop”里面的内容
rm -rf /data/hadoop
2.重新格式化
hadoop namenode -format
4.启动hadoop
start-all.sh
  • 7
    点赞
  • 37
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 12
    评论
Hadoop是一个开源的分布式存储和计算框架,用于处理大规模数据集。要安装配置Hadoop,首先需要下载Hadoop的最新版本,并解压到本地计算机的指定目录中。在安装过程中,需要确保Java环境已经安装配置好,因为Hadoop是基于Java开发的。接下来,需要对Hadoop配置文件进行一些调整,主要包括hadoop-env.sh、core-site.xml、hdfs-site.xml和mapred-site.xml等文件。这些配置文件中包括了Hadoop的一些关键参数,如Hadoop的数据存储路径、集群节点信息、MapReduce任务的配置等。在配置完这些文件后,还需要设置Hadoop的环境变量,以便系统能够正确识别Hadoop的命令和相关组件。 安装配置Hadoop后,需要进行一些实验来验证Hadoop的功能和性能。可以通过简单的WordCount实验来验证Hadoop的基本功能,即统计文本文件中单词出现的频次。还可以通过搭建多节点的Hadoop集群来测试Hadoop分布式计算能力,通过调整Hadoop的各种参数来观察其对任务执行时间和资源利用率的影响。此外,还可以通过运行一些大规模数据处理的任务来测试Hadoop的性能,比如使用Hadoop来处理一些真实的大规模数据集,观察Hadoop的处理速度和稳定性。总的来说,安装配置Hadoop并进行实验是一个相对复杂的过程,但通过这些实验可以更加深入地了解Hadoop的特性和优势,为日后的大数据处理工作打下坚实的基础。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 12
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

叫我小唐就好了

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值