hadoop
文章平均质量分 61
wangzejie1
这个作者很懒,什么都没留下…
展开
-
hadoop 2.2.0安装
hadoop 2.2.0相比于hadoop 0.20.X的安装很不一样。1、准备三台机器 test01(master),test02(slaves), test03(slaves),并把test01的公钥放到test02/test03的~/.ssh/authorized_keys以打通master和集群的通信。2、下载hadoop-2.2.0.tar.gz3、在hadoop 2.2....2013-11-16 12:40:00 · 110 阅读 · 0 评论 -
Hadoop远程调试
由于mapreduce为child进程,所以不能直接通过bin/hadoop文件中开启远程调试端口,具体操作如下:1、 选定一台调试机器,修改mapred-site.xml文件,添加如下配置:<property> <name>mapred.child.java.opts</name> <value>-agentlib:...原创 2014-03-24 15:25:33 · 147 阅读 · 0 评论 -
Hadoop 新版api中的JobControl实现
依赖关系组合式MapReduce 答案是采取JobControl,直接上代码。JobControl依赖关系组合式MpaReduce。旧版实现:org.apache.hadoop.mapred包下Configuration job1conf = new Configuration();Job job1 = new Job(job1conf,"Job1");.........原创 2014-03-24 17:56:54 · 222 阅读 · 0 评论 -
MapReduce在相似度计算中的应用及优化
需求:计算用户的相似度,有用户列表U和特征列表F以及用户和特征的关系<U,F>。 根据<U1,Fn> ∩ <U2, Fm>的交集数来判断U1和U2的相似度。解决方法:一、用户维度的Join最暴力低效的方法,因为用户量一般很大,所以join效率极低。一般不考虑。二、特征维度将用户对特征的矩阵转成特征对用户的矩阵。1、转成特征对用户的矩阵...原创 2014-03-26 17:05:57 · 532 阅读 · 0 评论