![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 63
hdfs、mapreduce、yarn
`临在丶`
这个作者很懒,什么都没留下…
展开
-
A-3:ZAB(zookeeper原子广播协议)
ZAB协议是专门为Zookeeper设计的一种支持崩溃恢复的原子广播协议,因为当ZAB协议中的Leader角色崩溃时,。原创 2023-09-02 10:06:05 · 114 阅读 · 0 评论 -
JVM重用
使jvm实例在同一个job中重新使用n次原创 2023-08-11 14:44:49 · 164 阅读 · 0 评论 -
十大经典排序算法
比较类排序:通过比较来决定元素间的相对次序,由于其时间复杂度不能突破O(nlogn),因此也称为非线性时间比较类排序。非比较类排序:不通过比较来决定元素间的相对次序,它可以突破基于比较排序的时间下界,以线性时间运行,因此也称为线性时间非比较类排序。原创 2023-08-08 19:24:00 · 31 阅读 · 0 评论 -
JVM重用
这时JVM的启动过程可能会造成相当大的开销,尤其是执行的job包含有成百上千task任务的情况。如果某个“不平衡的”job中有某几个reduce task执行的时间要比其他Reduce task消耗的时间多的多的话,那么保留的插槽就会一直空闲着却无法被其他的job使用,直到所有的task都结束了才会释放。JVM重用是Hadoop调优参数的内容,其对Hive的性能具有非常大的影响,特别是对于很难避免小文件的场景或task特别多的场景,这类场景大多数执行时间都很短。原创 2023-08-07 10:36:41 · 76 阅读 · 0 评论