MapReduce jobHistory及HDFS的垃圾桶机制

最新推荐文章于 2022-08-15 17:55:38 发布
最新推荐文章于 2022-08-15 17:55:38 发布
阅读量272 收藏
点赞数
文章标签： hadoop hdfs mapreduce linux 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45478041/article/details/125524912
版权
本文介绍了MapReduce的jobHistory功能，包括如何配置和启动JobHistory Server，以及如何访问作业历史记录。此外，还详细阐述了HDFS的垃圾桶机制，包括其工作原理、配置方法以及如何恢复误删文件。
摘要由CSDN通过智能技术生成

四、MapReduce jobHistory
jobhistory简介
● JobHistory用来记录已经finished的mapreduce运行日志，
● 日志信息存放于HDFS目录中，默认情况下没有开启此功能，需要在mapred-site.xml中配置并手动启动。

配置Jobhistory
1．修改mapred-site.xml
在hadoop软件的/etc/hadoop下
配置MR JobHistory Server管理的日志的存放位置
配置查看历史服务器已经运行完的Mapreduce作业记录的web地址，查看需要启动该服务
2．分发配置到其他两台机器
3．启动jobHistoryServer服务进程
单独启动关闭historyserver 服务（只需要配置指定的机器上启动即可）
mr-jobhistory-daemon.sh start historyserver
mr-jobhistory-daemon.sh stop historyserver
4．页面访问jobhistoryserver
http://node-1:19888/jobhistory 端口号要记住!!!

在这里插入图片描述

在这里插入图片描述

五、HDFS的垃圾桶机制
1．垃圾桶机制解析
每一个文件系统都会有垃圾桶机制，便于将删除的数据回收到垃圾桶里面去，避免某些误操作删除

最低0.47元/天 解锁文章
北极猿
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Hadoop学习笔记（三）——HDFS垃圾桶机制
AidenBrett7的博客
11-18 1610
Hadoop——HDFS垃圾桶机制HDFS的垃圾桶机制1. 基本介绍2. 配置操作3. shell操作4. java操作 HDFS的垃圾桶机制 1. 基本介绍 每一个文件系统都会有垃圾桶机制，将删除的数据回收到垃圾桶里面去，避免某些误操作删除一些重要文件。回收到垃圾桶里里面的资料数据，都可以进行恢复。 HDFS同样拥有垃圾桶机制，但默认为禁用状态，若要开启垃圾桶机制，需要手动配置。 如果启用垃圾桶...
MapReduce的jobHistory介绍
大数据梦想家
11-03 2334
        我们可以通过Hadoop jar的命令来实现我们的程序jar包的运行，关于运行的日志，我们一般都需要通过启动一个服务来进行查看，就是我们的JobHistoryServer，我们可以启动一个进程，专门用于查看我们的任务提交的日志。JobHistoryServer会记录已运行完的MapReduce信息到...
HDFS的垃圾回收机制
萌兔兔MMQ！！
08-15 1552
要格外注意的是，在 步骤2 时，有可能在操作过程中提示File Not Exists，这时不要惊慌，文件并没有丢失，其实是进行了 步骤3，文件移动到了另一个目录而已。回收站checkpoint机制：进入回收站的文件首先进入Current目录，然后定期移动到一个时间戳目录，定期的间隔为60分钟。开启垃圾回收站 把删除的文件首先放置在回收站中 等待配置的时间结束 进行真正的数据删除。被删除的文件会进入回收站，默认保留1440分钟后完全删除。本质是把删除文件 首先移动一个指定的文件夹下面。垃圾回收机制演示效果。.
Hadoop2.8.5集群查看历史任务服务JobHistoryServer
天涯芳草
04-24 2961
Hadoop自带了一个历史服务器，可以通过历史服务器查看已经运行完的Mapreduce作业记录，比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下，Hadoop历史服务器是没有启动的，我们可以通过下面的命令来启动Hadoop历史服务器。 基于ResourceManager (YARN)调度及管理的并行任务提交...
查看YARN上应用的日志之JobHistory
邵奈一的博客
03-25 6273
教程目录0x00 教程内容0x01 JobHistory介绍1. 作用0x02 背景演示1. 执行MapReduce作业2. YARN界面查看3. 查看YARN作业的日志0x03 实验步骤1. 配置JobHistory2. 启动JobHistory3. 校验JobHistory0xFF 总结 0x00 教程内容 JobHistory介绍 背景演示 实验步骤 0x01 JobHistory介绍 ...
基于MapReduce的贝叶斯垃圾邮件过滤机制.pdf
03-20
【基于MapReduce的贝叶斯垃圾邮件过滤机制】 在当前的互联网环境中，垃圾邮件的问题日益严重，它们不仅消耗用户的时间，占用宝贵的网络带宽，还可能携带潜在的病毒和恶意软件，对网络安全构成威胁。贝叶斯算法作为...
hadoop处理框架，hdfs，mapreduce，yarn
最新发布
08-29
Hadoop 处理框架、HDFS、MapReduce、YARN Hadoop 处理框架是大数据处理和分析的重要工具，主要由 HDFS、MapReduce 和 YARN 三个组件组成。HDFS 是一个分布式文件系统，提供高吞吐量的数据访问；MapReduce 是一个...
Hadoop Core(MapReduce + YARN + HDFS)_
08-27
Hadoop Core是大数据处理领域中的核心组件，主要包括MapReduce、YARN和HDFS三大部分。这些技术构建了一个可扩展、高容错性的分布式计算框架，为海量数据的存储和处理提供了强大支持。 **MapReduce**是Hadoop的核心...
hadoop学习笔记（hdfs，mapreduce，yarn）
05-18
压缩文件中包含了Hadoop生态系统、体系架构及特点，三大基本组件HDFS，MapReduce，YARN的学习笔记，文件为Markdown格式，进行了详细功能介绍说明，可以帮助大家学习hadoop的三大组件或者作为一份详细资料备份，帮助...
hdfs+MapReduce
01-21
教程包括：HDFS分布式文件系统的基本shell命令使用，还有配置MapReduce分布式计算系统的类库环境配置以及运行MapReduce程序
hadoop2 hdfs 垃圾箱简介
后知后觉的it路
01-10 1430
    hdfs为每一个用户创建一个回收站：目录： /user/用户名/.Trash/  每一个被用户通过shell删除的文件/目录在系统回收站中都有一个周期，周期过后hdfs会自动将这些数据彻底删除周期内 可以被用户恢复。   回收站样子如下： /user/用户名/.Trash/Current/文件 eg: /user/root/.Trash/Current/mydir...
配置MapReduce的历史服务器查看MR运行日志
Mekeater的博客
07-05 1863
配置MapReduce的历史服务器查看MR运行日志 前言 前面介绍的MapReduce实例，我们会发现无法查看Map函数和Reduce函数的具体执行过程。本文介绍如何配置历史服务器来查看MR的运行日志。 一、如果我们仅仅在map和reduce的函数中加入以下代码去查看执行过程，会发现日志文件中并没有输出我们所希望的数据 map函数 package com.sun.wordcount; //map阶段 (部分计算) // hadoop包装了基本类型 // int->intWritable Long-
HDFS回收站机制
weixin_40447107的博客
05-30 379
回收站机制： HDFS会为每一个用户创建一个回收站目录：/user/${user.name}/.Trash。用户删除文件时，文件并不是彻底地消失了，而是mv到了/user/${user.name}/.Trash这个文件下。注意：如果用户的回收站中已经存在了用户当前删除的文件/目录，则HDFS会将这个当前被删除的文件/目录重命名，命名规则很简单就是在这个被删除的文件/目录名后面紧跟一个编号(从1开始直到没有重名为止) 定期删除机制： 在HDFS内部的具体实现就是在NameNode中开启了一个后台线程Empti
MR History Server与Spark History Server
天青色等烟雨 而我在等你
03-15 1280
MR History Server与Spark History ServerMR History与Spark History Server不是一个东西Hadoop提供的History Server是MR的，不是Yarn的参考：http://blog.csdn.net/cymvp/article/details/52090348由于MR是Hadoop的默认计算框架，所以YARN的history se...
hadoop清理回收站
热门推荐
分布式应用与服务器架构专栏
02-21 1万+
Hadoop回收站trash，默认是关闭的。  修改conf/core-site.xml,增加  property>   name>fs.trash.intervalname>   value>3value>   description>Number of minutes between trash checkpoints.   If zero, the tras
hadoop配置启动historyserver
tszxlzc的专栏
07-08 1万+
yarn-site.xml增加如下配置<!--配置历史服务器--> <property> <name>mapreduce.jobhistory.address</name> <value>192.168.1.105:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</na
hadoop MapReduce自带的历史服务器
努力就是魅力
02-11 467
MapReduce自带的历史服务器1.修改mapred.site.xml文件，指定两个参数 &lt;property&gt;        &lt;name&gt;mapreduce.jobhistory.address&lt;/name&gt;        &lt;value&gt;bigdata-senior.ibeifeng.com:10020&lt;/value&gt;    &lt;/...
【HDFS】hdfs如何打开回收站机制trash，恢复删除的文件
三也_攻城狮
03-05 7771
在hdfs中，默认的文件删除保留的时间是0，也就是没有保留删除的文件，删除即丢失 那么如果你想启用hdfs的回收站机制，在删除文件后，希望多久之后，文件才消失，因为这个过程中万一你想来恢复文件呢 fs.trash.interval 1440 将以上配置添加到core-site.xml中即可，1440表示删除的文件保存1440
通过 Job History Server 的 web console 查阅在 Yarn 上 MapReduce job 的 job conf xml 文件
samhacker的专栏
12-22 7714
很多时候，Yarn 的用户希望知道自己运行过的某个 MapReduce job 的运行参数，此时可以从MapReduce History Server的 web console上查阅该 job的conf xml 文件内容。当然用户也可以先登录Yarn 的 web console的地址，然后再从上面跳转到 Job History Server 的 web console进行查阅。本文将以一个简单的图文例子来具体演示该功能。
Hadoop技术详解：YARN、MapReduce与HDFS
"Apache Hadoop技术参考手册详细介绍了Hadoop生态系统中的关键组件，包括YARN、MapReduce和HDFS，以及Hadoop 3.0的新特性。文档旨在帮助读者理解Hadoop的基本原理，环境搭建过程，以及相关的编程方法。" Apache ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

北极猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值