大数据学习第四天笔记

前言

本文写于2024年5月30日
其中使用的技术以及软件可能会在未来某个时刻失效，本文主要用于个人学习，请后来者在批判实践的基础上审视本文。
同时，本文这里就不进行错误复现与解决办法，网上有很多答疑的帖子

环境：
VMware® Workstation 16 Pro
MobaXterm_Portable_v12.4
CenterOS7 64

准备

一个配置完成的虚拟机hadoop集群
启动hdfs与yarn

在标记为NameNode的虚拟机中，启动jobHistoryServer

通过浏览器访问Hadoop的网页服务，可以通过网页查看Hadoop集群的各项信息与文件

– 访问web服务

1. 访问NameNode的web服务
   http://（替换为NameNode节点的虚拟机的hostname）:9870
   比如：我的NameNode在hostname为bigdata4的虚拟机上，那么我这里应该是：
   http://bigdata4:9870
2. 访问yarn的web服务
   http://（替换为ResourceManager节点的虚拟机的hostname）:80883. .
   比如：我的ResourceManage在hostname为bigdata6的虚拟机上，那么我这里应该是：
   http://bigdata6:8088
3. 访问任务历史服务的web服务
   http://（替换为运行jobHistoryServer的虚拟机的hostname）:19888/jobhistory
   比如：我的jobHistoryServer运行在hostname为bigdata4的虚拟机上，那么我这里应该是：
   http://bigdata4:19888/jobhistory

---

注意：在windows系统中并不认识你的bigdata4，bigdata5，bigdata6，因为那是你在虚拟机中自己配置的hostname，所以在访问前先在windows中配置你的hosts文件

---

在Windows的hosts中加入虚拟机的hosts配置即可

192.168.10.73 bigdata4
192.168.10.74 bigdata5
192.168.10.75 bigdata6

访问网页服务，正常


如若浏览器长时间连接没有反应，请检查虚拟机的防火墙是否被开启。NameNode，ResourceManager所在的节点虚拟机防火墙会阻断外部访问，关闭或禁用即可

在Hadoop上执行linux命令

Hadoop作为扎根linux分布式的集群系统，为了降低用户操作的学习成本，基本上套用了linux的命令格式
只需加上前缀

hadoop fs -(linux命令)

即可像操作linux文件系统一样操作hadoop的文件系统
以下展示一些命令示例