![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
闵开慧
java、hadoop、spark技术共享交流
展开
-
Error: Could not find or load main class org.apache.hadoop.mapred.YarnChild
执行hadoop classpath 在hadoop配置文件 yarn-site中添加以下配置 <property> <name>yarn.application.classpath</name> <value>/home/hadoop/hadoop-3.3.1/etc/hadoop:/home/hadoop/hadoop-3.3.1/share/hadoop/common/lib/:/home/hadoop/hadoop-3.3.1/sh...原创 2021-07-30 14:54:49 · 1088 阅读 · 0 评论 -
如何恢复hadoop中被删除的文件
hadoop的hdfs中被删除文件的恢复原理和回收站原理是一样的,就是在删除hdfs文件时,被删除的文件被移动到了hdfs的.Trash文件夹中,恢复时只需将该文件夹中文件拿出即可。具体操作如下:1 设置.Trash文件夹 如果需要恢复hdfs中文件,就需要设置.Trash,hadoop的.Trash默认是关闭的。具体设置如下: fs.trash转载 2014-11-03 17:57:33 · 1005 阅读 · 0 评论 -
hadoop返回json格式所有监控值
datanode监控json格式数据:将http://namenode_ip:50070/dfshealth.jsp的地址替换成http://namenode_ip:50070/jmxresourcemanager监控json格式数据:将http://resourcemanager_ip:8088/dfshealth.jsp的地址替换成http://resourcemanager_ip:808转载 2014-11-03 18:02:54 · 780 阅读 · 0 评论 -
java获取cpu、内存、硬盘信息
1 下载安装sigar-1.6.4.zip 使用java自带的包获取系统数据,容易找不到包,尤其是内存信息不够准确,所以选择使用sigar获取系统信息。 下载地址:http://sourceforge.net/projects/sigar/files/latest/download?source=files 解压压缩包,将lib下sigar.jar导入ecl转载 2014-11-03 18:03:47 · 2455 阅读 · 1 评论 -
hadoop压缩与解压
1 压缩一般来说,计算机处理的数据都存在一些冗余度,同时数据中间,尤其是相邻数据间存在着相关性,所以可以通过一些有别于原始编码的特殊编码方式来保存数据, 使数据占用的存储空间比较小,这个过程一般叫压缩。和压缩对应的概念是解压缩,就是将被压缩的数据从特殊编码方式还原为原始数据的过程。压缩广泛应用于海量数据处理中,对数据文件进行压缩,可以有效减少存储文件所需的空间,并加快数据在网络上或原创 2014-11-03 18:00:02 · 892 阅读 · 0 评论 -
VC6中打开文件时显示Microsoft (R)Developer Studio 已停止工作
针对于windows用户装了office visio 后vc++6.0会不能够打开工程项目的解决方案。我用原博主的方法成功安装上去了的。感谢。不少使用过Microsoft Visual c++ 6.0的同学可能会遇到这样一个烦人的问题,无论是工具栏上的打开按钮还是通过文件->打开都不能打开文件,也不能在项目中添加文件,症状表现为无响应或者更严重的是出现提示:在 0x5003ea...转载 2018-09-07 11:36:59 · 3915 阅读 · 0 评论