windows浏览器下监控hadoop集群

最新推荐文章于 2024-04-30 15:03:06 发布
VIP文章 最新推荐文章于 2024-04-30 15:03:06 发布
阅读量320 收藏 1
点赞数 1
文章标签： hadoop linux 大数据 hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44797209/article/details/105427750
版权

Linux下启动hadoop集群
1：sbin/start-dfs.sh 启动hdfs相关服务
2: sbin/ start-yarn.sh 启动yarn相关服务
3: sbin/mr-jobhistory-daemon.sh start historyserver启动日志相关服务
Window下打开并修改C:\Windows\System32\drivers\etc\host
在这里插入图片描述
启动浏览器并输入“http：//node-1：50070”回车
Hdfs集群监控显示如下
在这里插入图片描述

“http：//node-1：8088”yarn集群监控

在这里插入图片描述
日志监控“http：//node-1：19888”
在这里插入图片描述

我比往常更喜欢听歌了
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
HaDoop文件系统HDFS的浏览器查看
一叶_障目
11-22 5万+
简介：HaDoop安装之后，我们需要查看其虚拟的文件系统目录及内容，这时就需要用到浏览器，可以使用虚拟机的内置浏览器，即火狐浏览器，也可以使用本地机器的浏览器。
vmware虚拟机下hadoop集群安装过程
07-23
资源名称：vmware虚拟机下hadoop集群安装过程内容简介：       Hadoop俗称分布式计算，最早作为一个开源项目，最初只是来源于谷歌的两份白皮书。然而正如十年前的Linux一样，虽然Hadoop最初十分简单，但随着近些年来大数据的兴起，其也获得了一个充分体现价值的舞台。这也正是业内普遍将Hadoop看做是下一个Linux的原因。        本文介绍基于多台vmware虚拟机来安装 资源太大，传百度网盘了，链接在附件中，有需要的同学自取。
在Linux将MapReduce程序提交给YARN执行
周星星
11-20 455
什么是YARN，有什么作用 YARN（分布式运算资源调度系统） 我们知道我们的分布式文件存储系统HDFS，是将文件进行切块（默认128M）、备份（3份）分布式的存储在集群的各个机器上的； 海量的数据需要运算 ，那如果我们写的java程序，只运行在一个机器上进行处理这些数据块的话，明显是不可取的，所以我们得让程序分布式 并行的在各个机器上（mapreduce）运算； 而这些程序运行具体使用哪一台的运算资源（CPU、内存、IO、网络等），使用多少，很显然，人为分配这些资源，是很难做到公平和合理的。
以容器部署Ganglia并监控Hadoop集群
01-27
网上有很多Ganglia部署的教程，每一个我都觉得繁琐，我的目的只是用来监控Hadoop测试集群，能即刻使用才是王道，于是我想到通过Rancher部署Ganglia应用服务，以容器的方式一键部署，省去了中间繁琐的安装过程。 1、对于CantOS安装Docker最好是CentOS7，这样可以保证内核至少是3.10（通过uname -r命令查看），低于这个版本的内核无法安装Docker。
监控hadoop任务信息
12-18
hadoop:1.0.4,struct:2.3。 说明：hadoop云平台任务监控信息页面，仿效50030界面，提前获得10个未运行任务的id，然后显示这些id的信息；具体参考最新bolg。
HADOOP集群的相关服务监控
qq_59947103的博客
09-25 2221
1.Hadoop集群相关服务监控。 为了能够顺利在浏览器打开Hadoop集群相关服务的监控界面，需要修改本地hosts文件。本地的hosts文件可在C:\Windows\System32\drivers\etc下找到。hosts是一个没有扩展名的系统文件，其作用就是将一些常用的网址域名与其对应的IP地址建立一个关联“数据库”，当用户在浏览器中输人一个网址时，系统会首先自动从hosts文件中寻找对应的IP地址。一旦找到，系统会立即打开对应的网页。 2.需要修改本地hosts文件。本地的hosts文件可
hadoop查看mapreduce(yarn)运行状态
进行中
03-15 8532
启动hadoop之后，在web浏览器中加/logs/userlogs，就可以看到所有运行的任务，再找到自己想看的那个任务就行 注意这个端口是ResourceManager(yarn)默认的端口号，如果做了修改，这个端口也是要改的 http://192.168.124.140:8088/logs/userlogs 点击进去就能看到所有任务了 选择其中一个任务 其中 stde...
Hadoop的状态监视和管理工具（较详细版）
热门推荐
xiaoyutongxue6的博客
04-07 1万+
        1.审计日志        HDFS通过审计日志可以实现记录文件系统所有文件访问请求的功能，其审计日志功能通过log4j实现，但是在默认配置下这个功能是关闭的：log的记录等级在log4j.properties中被设置为WARN。        log4j.logger.org.apache.hadoop.fs.FSNamesystem.audit=WARN        在此处将...
开启Hadoop/Yarn的日志监控功能
流风雨情的博客
03-09 993
配置 yarn-site.xml <!-- Site specific YARN configuration properties --> <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapredu...
Hadoop集群测试
ZYF2190003497的博客
11-04 583
hadoop集群
Hadoop集群监控与Hive高可用.pdf
08-21
Hadoop集群监控与Hive高可用.pdf
windows服务器监控系统Asp.net源码 集群的性能监控,应用耗时监控管理，统一日志管理
02-21
.net 简单统一监控平台，用于集群的性能监控,应用耗时监控管理，统一日志管理等多维度的性能监控分析。 集群的性能监控:（需要服务器部署监控节点） 1. 目前仅支持windows服务器监控, 2. 支持windows自带的性能分析器所有配置项监控，及预警的定制。 3. 支持自定义的插件扩展服务器采集dll进行各类性能采集及预警的定制。 4. 支持性能采集快照。 5. 支持cpu,内存，磁盘读写，网络上传下载，iis请求这些基础的服务器性能图展示。 应用耗时监控管理:（需要应用在api和sql层嵌入sdk进行拦截） 1. 支持sql的耗时（均值，最大值，最小值，查询次数）性能分析及性能图展示。 2. 支持api接口的耗时（均值，最大值，最小值，查询次数）性能分析及性能图展示。 3. 支持api与api内部sql的对照参照分析。 4. 问题sql：未进行参数化sql的分析列表。 统一日志管理：（需要应用集成sdk） 1. 整个平台的错误日志集中管理及预警邮件发送。 2. 整个平台的普通日志集中管理。
Hadoop集群监控工具-Nagios3.4.3详细配置与安装
09-22
Nagios是一款支持邮件和短信预警的强大服务器监控工具，该文档详细介绍了Nagios基本原理，基本配置，适合新手查阅。
详解搭建ubuntu版hadoop集群
09-15
本篇文章主要介绍了详解搭建ubuntu版hadoop集群，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
【Hadoop】-Hive客户端：HiveServer2 & Beeline 与DataGrip & DBeaver[14]
weixin_63106307的博客
04-24 1575
DataGrip是由JetBrains公司推出的数据库管理软件，DataGrip支持几乎所有主流的关系数据库产品，如DB2、Derby、MySQL、Oracle、SQL Server等，也支持几乎所有主流的大数据生态圈SQL软件，并且提供了简单易用的界面，开发者上手几乎不会遇到任何困难。3、连接成功，在里面我们可以看到我们前面章节所创建的表，这样子就可以在里面操作我们的sql语句的。5、连接成功，在里面我们可以看到我们前面章节所创建的表，这样子就可以在里面操作我们的sql语句的。
Centos7+Hadoop3.3.4+KDC1.15+Ranger2.4.0集成
最新发布
snipercai的博客
04-30 583
Centos7+Hadoop3.3.4+KDC1.15+Ranger2.4.0集成
前期Hadoop学习总结
2301_77836489的博客
04-23 1534
前期Hadoop学习总结
Linux｜Awk 变量、数字表达式和赋值运算符
冷冻工厂
04-25 582
同样，数字 22 被赋予了变量 port_no，还可以把一个变量的值赋给另一个变量，就像最后一个例子中，将变量 computer_name 的值赋给了变量 server。例如，假设有一个名为 names.txt 的文件，该文件列出了一个应用程序的用户的名单，包括他们的名、姓和性别。要理解在 Awk 中数值表达式的运用，来看下面的例子，这个例子中用到了一个名为 domains.txt 的文件，这个文件列出了 Tecmint 所持有的所有域名。接下来，将探讨 Awk 的最后一个特性——赋值运算符。
Linux：浏览器访问网站的基本流程（优先级从先到后）
fox_kang的博客
04-28 645
浏览器访问网站的基本流程（优先级从先到后） 首先查找浏览器是否存在该网站的访问缓存 其次查找本机的域名解析服务器 windows：C:\Windows\System32\drivers\etc\hosts Linux：/etc/hosts 使用外部的域名解析服务器解析（例如：114.114.114.114） 第一步：浏览器使用域名访问www.bilibili.com.网站 第二步：首先去访问根域名解析服务器查询，根服务器返回.com域名解析服务器地址==（这里的根域名解析服务器不会直接给出域名对应的
Hadoop集群 节点
09-26
Hadoop集群包含两类节点：Master节点和Slave节点。Master节点运行了Namenode、Secondary Namenode或Jobtracker的节点，还包括浏览器和其他Hadoop工具。Master节点可以有多个。Slave节点运行Tasktracker和Datanode的机器。 在HDFS体系中，Namenode是HDFS的守护程序，负责对整个分布式文件系统进行总控制。用户首先会访问Namenode，找到文件分布到了哪些数据节点。而Datanode负责将HDFS数据块读写到本地文件系统。Secondary Namenode是监控HDFS状态的辅助后台程序。 而在MapReduce中，JobTracker是作业跟踪器，运行在主节点（Namenode）上。它负责处理作业的后台程序，决定有哪些文件参与作业的处理，并将作业切割为小任务，并将这些任务分配到需要处理数据的子节点上。每个集群只有一个JobTracker。而TaskTracker是任务跟踪器，它管理各自节点上的任务，每个节点只有一个TaskTracker。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值