Hadoop 笔记（五）配置历史服务器

最新推荐文章于 2024-03-17 14:35:51 发布
最新推荐文章于 2024-03-17 14:35:51 发布
阅读量2k 收藏
点赞数
分类专栏： Hadoop 文章标签： hadoop 大数据 yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Yu_L2/article/details/124093479
版权

之前的文章讲过 Hadoop 安装 和配置，并且运行 wordcount 程序。

本问主要配置历史服务器和日志服务器，用于查看程序运行的历史信息和日志信息。

配置历史服务器

历史服务器可以查看任务运行的历史。

  1. 配置 mapred-site.xml

在 etc/hadoop/mapred-site.xml 文件中添加下面这两个属性。

<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name
最低0.47元/天 解锁文章
笨蛋程序员
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop配置历史服务器
weixin_47260194的博客
03-03 325
hadoop历史服务器配置
hadoop配置文件之mapred-site.xml
m0_37759590的博客
02-15 458
hadoop配置文件之mapred-site.xml
hadoop(二：hadoop3.3.0搭建，HDFS shell 命令，MapReduce程序）
m0_73905064的博客
07-12 1962
上传1.txt文件(里面是一些单词)到HDFS1.txt。
Hadoop之mapred-site.xml配置文件
清风自来
05-06 6564
下面介绍一下mapred-site.xml配置文件的配置过程： 增加mapreduce配置（使用yarn框架、jobhistory使用地址以及web地址） <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value&...
Hadoop完全分布式集群搭建教程（三）
柒柒柒柒
11-19 1682
快速搭建Hadoop完全分布式搭建
Hadoop学习笔记
01-20
4. **启动历史服务器**：`sbin/mr-jobhistory-daemon.sh start historyserver`命令用于启动MapReduce作业的历史记录服务，可以查看已完成作业的信息。 **Hadoop集群的启动和操作**： - **格式化Namenode**：首次...
Hodoop3.3.1 集群配置 笔记
01-28
本笔记将详细阐述如何配置 Hadoop 3.3.1 集群，以便高效地管理和运行大数据任务。 **一、系统需求与环境准备** 1. **硬件要求**：为了搭建 Hadoop 集群，需要至少两台或更多的服务器或虚拟机，每台机器应具有足够的...
hadoop-day01-day03笔记
04-12
7. **修改配置文件**：调整Hadoop配置文件，以适应集群的实际需求。 以上内容涵盖了大数据的基本概念、应用场景、Hadoop的核心组件及其工作原理，以及如何搭建HDFS集群的基础步骤。这些知识对于理解大数据处理流程...
2021尚硅谷技术之Zookeeper笔记
09-17
在2021年的尚硅谷技术分享中，这些笔记涵盖了ZooKeeper的核心概念、安装配置、数据模型、会话与 watches、集群搭建以及常见应用场景。 **1. ZooKeeper核心概念** ZooKeeper的核心概念包括ZNode、ACL（访问控制列表...
Linux学习笔记资料
02-27
这里涉及HTTP协议的详解，Apache和Nginx这两种广泛应用的WEB服务器的配置与优化，以及MySQL数据库的管理，包括主从复制、性能优化和故障排查。Zabbix分布式监控系统的学习可以帮助你实时监控服务器状态，及时发现并...
Hadoop3.x完全分布式运行模式配置
数据攻城狮的博客
05-15 359
Hadoop3.x完全分布式运行模式配置
Hadoop生态圈（三十二）- MapReduce属性优化
程序园@大Null
02-10 872
MapReduce基准测试，MapReduce Uber模式，MapReduce JVM重用，MapReduce重试机制，MapReduce推测执行，MapReduce开启小文件合并优化，MapReduce减少Shuffle的Spill和Merge，MapReduce开启Reduce端缓存，MapReduce MR Bench，MapReduce Load Gen
配置Hadoop集群+WordCount案例
qq_36074043的博客
12-15 585
配置Hadoop集群 配置环境变量 /etc/profile export HADOOP_HOME=/bigData/hadoop-2.8.0 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 8.配置hadoop-env.sh文件 1>  vim  hadoop-env.sh 2>  在文件中加入
hadoop-mapreduce-yarn-配置-yarn高可用配置(HA)(学习)
最新发布
m0_65385133的博客
03-17 630
mapreduce(分布式计算)yarn(分布式调度)
mapred-site.xml 配置详解
muyingmiao的专栏
08-20 5282
<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <!-- 配置 MapReduce Applications --> <property> <...
hadoop-mapred-site.xml配置文件详解
xu2414506319的博客
10-17 3974
hadoop-mapred-site.xml配置文件详解 mapred-site.xml配置文件简介 MapReduce配置相关 mapred-site.xml配置 name value description mapreduce.jobtracker.jobhistory.location If job tracker is static the history files are stored in this single well known place. If No val
hadoop配置文件mapred-site.xml
w182368851的博客
12-17 1万+
Licensed under the Apache License, Version 2.0 (the "License");   you may not use this file except in compliance with the License.   You may obtain a copy of the License at     http://www.apache.
hadoop搭建四个配置文件(core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml )的简单介绍
热门推荐
Howie Lee的博客
08-10 2万+
一 、core-site.xml<configuration> <!--指定namenode的地址--> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <!--用来指定使用hadoop时
Hadoop配置文件表（如需要请下载附件）
asheng1116的专栏
09-10 453
  HDFS         参数 描述 默认 配置文件 例子值 fs.default.name namenode RPC交互端口 8020 core-site.xml hdfs://master:8020/ dfs.http.address  NameNode web管理端口 50070 hdfs- site.xml 0....
hadoop历史服务器配置
08-24
为了配置Hadoop历史服务器，你可以按照以下步骤进行操作: 1. 打开mapred-site.xml文件进行配置。 2. 在mapred-site.xml文件中，找到相关的配置项，可以使用文本编辑器打开该文件，比如使用vim命令：vim $HADOOP_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值