Hadoop
文章平均质量分 60
lishengping_max
专注大数据领域
展开
-
CDH Disk Balancer 磁盘数据均衡
前提:CDH5.10由于数据量过多,磁盘大小太小,导致磁盘使用率高达90%以上,于是新增磁盘,可问题来了,如何将这两块磁盘上的数据进行均衡呢?hadoop在2.X中已经有相应的方法了(具体哪个版本忘了),本次基于CDH来做1.设置dfs.disk.balancer.enabled 为true2.hdfs diskbalancer -plan cdh03(需要均衡的机器) 会生成一个*.plan.json的文件3.hdfs diskbalancer -execute /system/diskba转载 2021-08-26 16:41:43 · 486 阅读 · 0 评论 -
HDFS卷(磁盘)选择策略
在我们目前使用的Hadoop 2.x版本当中,HDFS在写入时有两种选择卷(磁盘)的策略,一是基于轮询的策略(RoundRobinVolumeChoosingPolicy),二是基于可用空间的策略(AvailableSpaceVolumeChoosingPolicy)。基于轮询的策略“轮询”是一个在操作系统理论中常见的概念,比如进程调度算法中的轮询算法。其思想就是从对象1遍历到对象n,然后再从1开始。HDFS中轮询策略的源码如下,非常好理解。public class RoundRobinVolume转载 2021-08-26 15:38:24 · 237 阅读 · 0 评论 -
hadoop jar执行报错java.io.FileNotFoundException: /tmp/hadoop-unjarxxx(No space left on device)终极解决方案
原因MapReduce提交过程中,会把jar解压到/tmp目录下生成临时文件夹hadoop-unjarxxx,任务执行完成后,会主动删除这个临时目录hadoop-unjarxxx, 但是我们偶尔会遇到一些情况,导致hadoop任务异常结束,没有清理掉这个任务的临时目录,临时文件就会越来越多了。可能导致/tmp磁盘空间不足或者inode索引不足导致报错,因此使用下面命令查找错误,查看使用率df -h 查看磁盘df -i 查看inode解决思路就是降低jar包大小并定时清除/tmp/hadoop原创 2020-06-01 15:00:42 · 2882 阅读 · 0 评论 -
查看yarn日志报错Error getting logs at ***:8041
集群版本:CDH 5.15.2原因:Yarn日志聚合目录没权限解决:1.通过CM查看YARN配置:yarn.nodemanager.remote-app-log-dir默认为/tmp/logs,本来不会有问题,但是我安装之后改成/data/tmp/logs了,导致权限不够apache版本配置在yarn-site.xml中2.修改权限, /tmp/logs改为自己配置目录即可su h...原创 2020-01-17 16:56:53 · 1008 阅读 · 0 评论 -
Hadoop运维问题记录
一、主机名不能含有_,否则导致后续加载配置一系列错误,如配置为null原创 2017-04-27 20:41:08 · 961 阅读 · 0 评论 -
Hadoop日志类型总结
一、集群守护进程日志1.集群启动打印的日志,默认在$HADOOP_HOME/logs下,用于集群启动调试 2.web入口namenode、datanode等,在HDFS WEB界面resourcemanager、nodemanger等,在YARN WEB界面二、mapreduce应用日志1.mapreduce任务产生的日志,默认在$HADOOP_HOME/logs/userlogs下,包含m原创 2017-05-13 19:44:47 · 539 阅读 · 0 评论 -
Hadoop日志聚合和jobhistoryserver配置
一、前言安装了hadoop-2.4.1集群,登陆YARN WEB界面发现下图mapreduce应用UI入口都无法使用,现记录下处理方案 二、处理方案1.yarn-site.xml配置yarn.resourcemanager.webapp.address,如果没配置ApplicationMaster入口无法使用 <property> <name>yarn.resourcemanag原创 2017-05-13 20:41:31 · 7040 阅读 · 3 评论 -
初学者有关Hadoop版本选择的考虑
转自:https://blog.csdn.net/xiangxizhishi/article/details/75711242 一、前言: 刚开始学习Hadoop时就曾经一直抱怨Hadoop的安装部署为什么这么麻烦,对于一个新手需要捯饬一天才能把分布式环境安装配置好。而对于一个自学Hadoop而周围又没人交流的菜鸟来说,对版本的选择还是比较重要,Hadoop除了Apache这个版本,还...转载 2018-04-27 11:13:18 · 363 阅读 · 0 评论 -
CDH Can't scan a pre-transactional edit log,Timed out waiting 120000ms ,JournalNode数据文件破坏集群恢复方法
简介:CDH5.11集群,由于停电或者磁盘满了造成节点全部挂掉,重启后HDFS报错,同时由于HDFS报错,引起其他基于HDFS的应用如HBASE等也报错,恢复方法如下。报错介绍:我这里的错误,摘录部分日志如下:在namenode中的报错如下2017-07-03 13:53:10,377 FATAL org.apache.hadoop.hdfs.server.namenode.FSEdit...转载 2018-11-23 16:20:16 · 457 阅读 · 0 评论