Hadoop集群测试

于 2022-11-09 10:50:48 发布
阅读量2.6k 收藏 9
点赞数 1
文章标签： vim hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_73693938/article/details/127684686
版权

学习目标：

  1. 掌握通过UI界面查看Hadoop集群运行状态
  2. 熟悉Hadoop集群初体验的操作——词频统计

一、导入新课

  • 上次课对Hadoop集群配置、格式化文件系统以及启动和关闭Hadoop集群进行了详细的讲解，本次课将针对通过UI界面查看Hadoop集群运行状态和Hadoop集群初体验进行详细讲解。

 二、新课讲解

 

（一）通过UI界面查看Hadoop运行状态

  • Hadoop集群正常启动后，它默认开放了两个端口9870和8088，分别用于监控HDFS集群和YARN集群。通过UI界面可以方便地进行集群的管理和查看，只需要在本地操作系统的浏览器输入集群服务的IP和对应的端口号即可访问。

 1、hadoop2和hadoop3端口区别表

 

 2、查看HDFS集群状态

 不能通过主机名master加端口9870的方式，原因在于没有在hosts文件里IP与主机名的映射，现在只能通过IP地址加端口号的方式访问：http://192.168.2.214:9870

 修改宿主机的C:\Windows\System32\drivers\etc\hosts文件，增加hadoop集群主机名与IP地址的映射

 此时，访问http://master:9870，从图中可以看出HDFS集群状态显示正常

 单击导航条上的【Datanodes】，查看数据节点信息

 点开【Utilities】下拉菜单，选择【Browse the file system】

 此时HDFS上什么东东都木有

在HDFS上创建一个目录BigData，执行命令：hdfs dfs -mkdir /BigData

在Hadoop WebUI界面查看刚才创建的目录

 

3、查看YARN集群状态

  • 访问http://master:8088/cluster，从图中可以看出YARN集群状态显示正常。

单击[About]链接

（二）Hadoop集群初体验 —— 词频统计

1、启动Hadoop集群

  • 在master虚拟机上执行命令：start-all.sh

 

2、在虚拟机上准备文件

  • 在master虚拟机上创建test.txt文件

3、文件上传到HDFS指定目录

  • 上传test.txt文件到HDFS的/BigData目录

利用HDFS命令查看文件是否上传成功

利用Hadoop WebUI查看文件是否上传成功

4、运行词频统计程序的jar包

  • 查看Hadoop自带示例的jar包

执行命令：hadoop jar ./hadoop-mapreduce-examples-3.3.4.jar wordcount /BigData/test.txt /wc_result

 查看输出目录/wc_result，执行命令：hdfs dfs -ls /wc_result

 查看词频统计结果，执行命令：hdfs dfs -cat /wc_result/*

5、在HDFS集群UI界面查看结果文件

  • 在HDFS集群UI界面，查看/wc_result目录

单击结果文件part-r-00000

单击【Download】，下载结果文件到本地

利用Notepad++打开结果文件

6、在YARN集群UI界面查看程序运行状态

  • 访问http://master:8088，看到FINISHED和SUCCEEDED

单击应用标识application_1664901602347_0001，查看应用的运行详情

目录

学习目标：

一、导入新课

（一）通过UI界面查看Hadoop运行状态

3、查看YARN集群状态

（二）Hadoop集群初体验 —— 词频统计

1、启动Hadoop集群

2、在虚拟机上准备文件

3、文件上传到HDFS指定目录

4、运行词频统计程序的jar包

5、在HDFS集群UI界面查看结果文件

6、在YARN集群UI界面查看程序运行状态

m0_73693938
关注
Hadoop（1）——Hadoop集群构建（11）——UI界面查看运行状态
weixin_54348877的博客
10-02 5182
Hadoop集群正常启动后，默认开发两个端口50070和8088，分别用于监控HDFS集群和YARN集群 操作 ： 在本地操作系统浏览器输入集群服务IP和对应端口号 一、window主机下配置IP映射 1. 在C盘下找到 Windows --> System32 --> drivers --> etc -->hosts 2. 添加上虚拟机的IP地址和主机名 二、关闭虚拟机防火墙 每台虚拟机都输入：service iptables stop 每台...
查看Hadoop集群的基本信息
qq_59947103的博客
10-05 7021
1.1查看Hadoop集群的存储系统信息（浏览器查看） http://vincen:50070 configured Capaeity:已配置的文件系统存储总量 DFS Remaining:可使用的DFS存储总量 Non DFS Used:被非DFS得应用所占用的存储总量 DFS Used:已使用的DFS存储总量 Live Node:在线的数据节点（DataNode） 各存储容量之间的关系： Configured Capacity=Non DFS Used+DFS Used+...
hadoop集群信息
01-11
搭建高可用的Hadoop集群，基于NFS共享磁盘的namenode配置，使用zookeeper进行主节点推举
查看集群基本情况（重要）！！ 查看hadoop集群有多少节点（hdfs fsck /）
热门推荐
u011495642的博客
10-25 2万+
liugen@ubuntu:~$ hdfs fsck /    Connecting to namenode via http://localhost:9870/fsck?ugi=liugen&path=%2F FSCK started by liugen (auth:SIMPLE) from /127.0.0.1 for path / at Wed Oct 24 20:39:11 P...
Hadoop基础操作--查询集群的存储系统信息
m0_58945994的博客
10-21 2872
通过HDFS监控服务可以查询到大量相关信息，HDFS的监控服务是通过节点（NameNode）的端口50070来进行访问。 例：在浏览器地址栏输入“http://master:50070/”来展现当前HDFS文件系统的基本统计信息，下面是我自己的HDFS文件系统的基本统计信息 可以看到Summary下 ①Configured Capacity：表示已配置的文件系统存储总量为51.51GB。 ②DFS Remaining：表示可使用...
hadoop集群状态监控之Ganglia
IT_NEU_Lee的博客
09-01 402
ganglia安装    如下链接内容可供参考   （亲测可用）：https://blog.csdn.net/wuzhongfei88/article/details/45317651                                                                https://blog.csdn.net/knowledgeaaa/article/...
Hadoop集群测试报告.pdf
01-18
### Hadoop集群测试报告知识点详解 #### 一、集群设置 **1. 服务器配置** - **CPU**: 每台服务器配置了24个核心，这意味着每台服务器具有较高的并行处理能力，适合进行大规模的数据处理任务。 - **内存**: 128GB...
web 工程调用hadoop集群
05-12
web工程调用hadoop集群的实例，包括一个wordcount例子。 输入输入和输出路径点击提交即可提交任务到hadoop集群，同时含有map和reduce过程的监控。 注意点：要把hadoop相关包放入WEB_INF/lib下面；
使用shell脚本查看HADOOP集群节点状态
weixin_44328257的博客
06-14 2408
都知道hadoop查看节点状态使用的是jps命令，但是在shell脚本中，直接使用会提示：’bash: jps: 未找到命令‘，原因很简单：因为jps命令是位于jdk的bin目录下（hadoop基于java），执行shell脚本的时候,并不会读取/etc/profile文件，因此才会找不到。解决的办法有两种。在脚本里直接添加： /opt/jdk1.8.0_291/bin/jps 第二种： 执行shell脚本的时候,并不会读取/etc/profile文件，但是会读取/home/.bashrc这个文件,需
查看hadoop集群节点守护进程命令_Hadoop 启动/停止集群和节点的命令
weixin_39712705的博客
02-12 1464
一、集群1.启动/停止Hadoop集群：start-all.shstop-all.sh1) 启动NameNode, DataNode2) 启动JournalNode, JournalNode在hdfs-site.xml中指定edits log存储的位置，主备NameNode共享数据，方便同步3) 启动DFSZKFailoverController, HA会启用ZooKeeper Failo...
查看整个Hadoop集群的进程
叶小刀
05-15 9119
hadoop集群工作状态查询时，需要ssh在每台机器上进行jps。可以使用了脚本查看集群各机器工作状态，比之前来回切换方便很多。以下是针对我个人搭建hadoop集群，具体业务需要具体分析。查看hadoop集群工作脚本#!/bin/bash  #我们将脚本存入在node82，因为它有到node81,node80,node79的免登录    clear  for ip in node82 node81...
linux 查看hadoop命令大全,linux下hadoop集群常用命令
weixin_39603397的博客
05-13 990
1.上传文件1)hadoop fs -put words.txt /path/to/input/2)hdfs dfs -put words.txt /path/wc/input/2.获取hdfs中的文件hadoop fs -get /path/wc/input/words.txt3.合并下载多个文件hadoop fs -getmerge /path/wc/input/words.txt /path...
Hadoop集群测试报告
08-20
Hadoop集群测试报告
第十三讲.通过WebUI分析Hadoop集群启动流程
美妙人生IT
08-13 245
视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS 【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS 【视频笔记】 分析webUI：50070的描述 --------------------------------- 1.Startup Progress页【集群开启的过程】 Elapsed Time: 1 sec, Percent Complete: 100% Phase Completion Elapsed Ti...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值