![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HADOOP
sssuperMario
这个作者很懒,什么都没留下…
展开
-
HADOOP集群各组件性能调优[SPARK,HBASE,HIVE,HDFS...]
HADOOP集群各组件性能调优配置原则如何发挥集群最佳性能原则1:CPU核数分配原则原则2:内存分配原则3:虚拟CPU个数分配原则4:提高磁盘IO吞吐率影响性能的因素因素1:文件服务器磁盘I/O因素2:文件服务器网络带宽因素3:集群节点硬件配置因素4:SFTP参数配置因素5:集群参数配置因素6:Linux文件预读值因素7:Jsch版本选择HBase提升 BulkLoad 效率操作场景前提条件操作步骤提升索引 BulkLoad 效率操作场景预置条件操作步骤提升数据实时入库的效率操作场景前提条件操作步骤HDFS原创 2020-07-15 10:26:26 · 848 阅读 · 0 评论 -
Spark 2.x 调优之Adaptive Execution
在spark的优化过程中,shuffle的分区数量和数据倾斜问题一直是一个令人比较头疼的问题,自Spark 2.3.1版本后,自动设置shuffle Partition最新代码正式加入,但动态调整执行计划与处理数据倾斜并未同期并入该版本.关于原理很多文章已经分析的差不多了,这里并不做提及,主要是记录相关参数及说明1.自动设置 Shuffle Partitionspark.sql.adaptive.enabled=true启用 Adaptive Execution 从而启用自动设置 Shuffle原创 2020-07-14 14:26:36 · 367 阅读 · 0 评论 -
Hbase2.x RIT修复
Hbase2.x RIT修复RITOPENINGCLOSINGhbase2.0.x由于不稳定性因素太多,还是有太多的坑,特别是没有了hbck工具的修复功能,出现问题,解决起来还是非常不方便的。躺了好评多坑,积累一下经验,持续更新。RITrit不用多解释了,hbase运维过程中相当令人头疼的,但是问题总是有解决的方法的。可以根据rit当前的状态相应的处理OPENINGopening状态顾名思义,hbase要打开某个region的时候,因为某些原因,一直打不开,导致一直在OPENING状态卡住不动了,原创 2020-06-19 14:10:20 · 1028 阅读 · 0 评论 -
华为C80 yarn提交mapreduce异常:OutOfMemoryError:GC overhead limitexceeded kill -9 %p
yarn提交mapreduce异常:OutOfMemoryError:GC overhead limitexceeded kill -9 %p记一次生产环境的运算异常生产环境一直运行稳定的离线计算任务,从未出现过异常,忽然发现最近在本地提交到hadoop集群时发生异常,每当提交到yarn申请资源时,程序立刻被杀死。本地提交到集群开始运行程序,kerberos认证此时已通过,可以看到时从程...原创 2019-11-13 20:01:34 · 625 阅读 · 0 评论 -
Yarn初始化异常:Not able to initialize user directories.exitCode:-1000
最近碰到这么一个异常:Application application_1528180019666_0366 failed 2 times due to AM Containerfor appattempt_1528180019666_0366 exited with exitCode: -1000For more detailed output, check application tra...原创 2019-01-30 14:58:34 · 2856 阅读 · 2 评论 -
YARN异常YarnException:Failed while publishing entity的解决方案
版本:HDP3.0mapreduce提交任务计算时,job已经结束,但是容器仍不能关闭持续等待五分钟INFO[Thread-100] org.apache.hadoop.yarn.event.AsyncDispatcher:Waiting for AsyncDispatcher to drain.Thread state is :WAITING五分钟后抛出异常:org.apache.h...原创 2019-02-25 17:43:40 · 3099 阅读 · 2 评论