Hadoop
从0到1哦
喜欢大数据行业,热爱技术,时刻追随着大数据的发展
展开
-
yarn物理内存虚拟内存问题
问题描述: xxx is running beyond physical memory limits. Current usage: 5.8 GB of 5 GB physical memory used; 5.7 GB of 10.5 GB virtual memory used. Killing container5G为yarn.scheduler.minimum-allocation-mb的值或者它的整数倍,当yarn.scheduler.minimum-allocation-mb大于ma原创 2020-08-25 15:09:34 · 4597 阅读 · 2 评论 -
HIVE的十项企业级调优
话不多说直接上货。1.Fetch抓取set hive.fetch.task.conversion=more(默认)Fetch 抓取是指,Hive 中对某些情况的查询可以不必使用 MapReduce 计算。该属性设置为 more 以后,在全局查找、字段查找、limit 查找等都不走 MapReduce。 设置为none后所有类型的查找语句都要走MapReduce;2.本地模式set hi...原创 2018-11-27 19:49:09 · 149 阅读 · 0 评论 -
Flume与Kafka的整合
首先先保证你的Flume和Kafka的环境是好的哦,而且Kafka和zookeeper集群是开启状态,下面我分为三个部分来演示:一、Flume的监控配置flume-kafka.conf文件 这里配置的source是监控文件agent.sources = s1 ...原创 2018-11-30 18:13:15 · 357 阅读 · 0 评论 -
maven导入项目出现的几个问题及HRegionServer Aborted异常处理
啥也不说了,以后编译出现问题就找这几个地方吧还有一个问题:hbase在命令行使用的时候突然全部挂掉,查看日志:java.lang.RuntimeException: HRegionServer Aborted重新启动,马上又挂掉,想起刚刚添加了一个Coprocessor,原来默认当加载错误的协处理器之后,会导致regionserver挂掉修改配置文件添加hbase.coproc...原创 2018-12-08 21:36:34 · 892 阅读 · 0 评论 -
java.io.IOException: Cannot obtain block length for LocatedBlock{BP
问题描述:出现这个错误 java.io.IOException: Cannot obtain block length for LocatedBlock{BP-1331原因:文件异常关闭,导致读写任务失败使用命令查看文件块的状态:hdfs fsck /data/115/apkinfo/0-11-20180410170000.log使用命令恢复:hdfs debug recoverL...原创 2019-05-21 15:31:36 · 1037 阅读 · 0 评论