mapreduce学习
galaxy__fish
这个作者很懒,什么都没留下…
展开
-
yarn平台的内存分配和设置
写这个博客主要是本人在hive中使用mapreduce报出以下错误Diagnostic Messages for this Task: Container[pid=1701,containerID=container_1502327755307_0001_01_000005] is running beyond virtual memory limits. Current usage: 1原创 2017-08-10 10:46:57 · 1737 阅读 · 0 评论 -
mapreduce自定义排序
我们进入mapreduce中的对象中可以看到类中有一个compareTo的方法,用于比较作为key值的前后两个对象 自定义排序即自己定义新的对象,重写compareTo方法 例如:`private static class MyNewKey implements WritableComparable { long firstNum; long secondNu原创 2017-11-06 09:35:42 · 1326 阅读 · 0 评论