![](https://img-blog.csdnimg.cn/20190918135101160.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
MapReduce
MapReduce
csdncjh
这个作者很懒,什么都没留下…
展开
-
电信数据挖掘中ID过少问题解决总结
症状:项目更新以后,各省的id数总是出校异常波动,特别是山东的 解决: 首先考虑是不是数据源的问题,如果数据清洗不规范,某个字段缺失,可能造成此问题,分析各个接口一段时间数据量的波动,如果波动曲线差不多,就可能是数据源的问题。 经过分析一段时候回来的数据以后,发现各个接口数据的波动并不是相似的,说明不是数据源的问题。 接着再考虑是不是kv接口网络的问题,即数据挖出来了,但是没有发送回来,分原创 2016-06-03 10:53:30 · 598 阅读 · 0 评论 -
mr项目优化总结
mr运行参数调优: MapReduce任务参数调优 Hadoop优化 第一篇 : HDFS/MapReduce MapReduce相关参数 MapReduce官方文档 以上三篇可以作为内部调优的参考,但是个人感觉,参数调优适用于平台内部调优,如果对mr没有深层次的了解,盲目调节,反而适得其反 代码中参数调节方式: configuration.setDouble(Job原创 2016-08-25 10:58:14 · 2955 阅读 · 0 评论 -
mr的Demo
---------------------------------------------------job public class Count1Task extends Configuration implements Tool{ private Configuration conf=new Configuration(); @Override public void setConf(原创 2016-09-06 08:50:21 · 487 阅读 · 0 评论