- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 排序算法之堆排序
1.堆 堆是具有以下性质的完全二叉树：每个节点都大于或等于其左右孩子节点的值，称之为大顶堆；反之每个节点都小于或等于其左右孩子的值，称之为小顶堆。 对于堆的实现，我们可以用数组来表示元素的位置关系，如果一个具有12个节点的堆(小顶堆)如下图所示： 那我们使用数组arr[0..11]的形式表示如下： ...
2018-10-30 18:47:43
191
原创 hadoop作业运行机制
1.前沿 hadoop环境是cdh5.13 ，使用yarn作为资源管理器 2. 步骤详情 2.1 作业提交 当调用job.submit()/job.waitForCompletion() 时，向资源管理器请求一个应用ID,作为MapReduce作业ID 根据程序配置的输入路径，计算作业的分片大小（该分片大小决定了map个数，map个数以及reduce个数 计算方式 见另一...
2018-10-08 17:07:54
425
原创 mapreduce 作业中 map/reduce 个数的计算
1. 问题描述 当在hadoop集群提交mapreduce作业时，map 和 reduce 的个数是如何计算的？ 2. map个数的计算 2.1 map个数的计算和分片大小（splitSize）是有关系的,所以我们先看看splitSize的计算公式： long splitSize = Math.max(minSize, Math.min(maxSize, blo...
2018-10-08 16:59:40
5682
jpa（hibernate 持久层）所需要的jar包
2015-10-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人