![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
big_confidence
我就想往大数据上面发展
展开
-
Hadoop初学者所走的路
初学者往往会走很多的弯路,有很多的地方就算是看大o原创 2014-06-15 21:33:47 · 515 阅读 · 0 评论 -
关于mapreduce中类重用机制
今天写了一个writable,其代码如下:原创 2014-11-18 21:02:29 · 475 阅读 · 0 评论 -
Hadoop之MR的调优性能
在工作过程中遇到这样一个问题:就是在map的时候xuyao原创 2014-10-31 14:51:44 · 1709 阅读 · 0 评论 -
设置hadoop的client端的jvm参数
以此来纪念自己的解决方法: 今天遇到一个问题,:怎么设定hadoop提交程序时client的jvm大小(即hadoop jar 这个提交程序jvm的大小)。 网上兜了一大圈,都是说什么设定map或Reduce任务的jvm的大小。可这个不是我所想要的,最后改变了收索关键词后(hadoop client jvm)发现了一片文章讲述了这样一个场景,跟着其指示做了一下,发现真的可以。 下面就是设原创 2014-10-21 17:29:08 · 6521 阅读 · 0 评论 -
hadoop的DistributedCache
DistributedCache类主要用来设定文件,jar等。其的思想就是将指定的文件(必须在hdfs文件系统上面)在每一个task运行的地方都复制一份数据,所以在map或reduce函数中读取DistributedCache设定的文件就可以在每一个task运行上的机器本地读取,而不用再走网络了。 下面是一个例子: 1.jobRun里面 JobConf jobConf = new JobC原创 2015-01-14 19:54:01 · 521 阅读 · 0 评论