- 博客(6)
- 收藏
- 关注
RSS订阅原创 hadoop之二次排序
package com.hit.ee; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.
2017-09-30 08:51:38
226
原创 mapreduce编程模型之WritableComparator
WritableComparator是一个类 这个类是用于mapreduce编程模型中的比较 排序 mapreduce中有两次排序 一次是 在环形缓冲区域之中进行分区 排序 还有一次是数据在reduce端获取文件之后进行分组 现在我讲的是后面那个 //Define the comparator that controls which keys are grouped together
2017-09-29 12:02:31
1066
原创 mapreduce编程模型之partitioner
Partitioner是一个mapreduce的顶级抽象类 用于决定map输出的kv键值对 如何按照job.setnumberruce(n)中设置的n个数进行分区 每个kv落在哪个分区之中 以及如何保证相同的key落在同一个分区中 只有相同的key落在同一个分区中 才能保证 这个相同的key可以被同一个reducer处理 上代码 public static class MyPartition
2017-09-29 11:53:29
294
原创 jvm参数的配置
1.首先获取活跃占用空间的老年代大小 和活跃占用空间的永久代大小.怎么获取呢? (1)首先不用设置参数 然后jvm经过几次jvm之后 通过jvisualVm中的visual GC插件就能看到 或者是通过 gc的日志也能看到活跃占用空间的老年代和永久代的大小 2.然后就直接做设置 java堆 -Xms和-Xmx 3-4倍活跃老年代空间占用量 永久代 -xx:permsize 1.2~1
2017-09-19 10:47:37
331
原创 java如何定位锁
首先使用jconsole连接上应用 点击死锁 然后会出现两个线程 也就是这两个线程出现了死锁 然后再使用jstack进行分析具体是哪一行代码出现死锁 jstack -l 18404 这个就写的比较明白了 线程1 卡在 DeadLock 43行代码 而 线程 2卡在DeadLock 56行代码 最后附上我测试使用的jav
2017-09-19 10:41:50
440
转载 hotspot vm调优 资料
简书 中的垃圾回收器比较 http://www.jianshu.com/p/50d5c88b272d oracle中关于参数的配置 http://www.oracle.com/technetwork/articles/java/vmoptions-jsp-140102.html
2017-09-08 17:06:12
215
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人