![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Java/Hadoop
icebergs
这个作者很懒,什么都没留下…
展开
-
使用hadoop分离NetflixPrize训练集和预测集
使用过NetflixPrize数据集的同学一定知道,NetflixPrize的Probe数据是包含在历史数据中的。做训练当然要将预测数据集分离出来~ 一直在使用Hadoop平台,所以写了一个hadoop程序将Probe提取出来: 1)写了一个自定义的Writable,在MapReduce的排序中比较有用,使用Text的排序感觉很不爽。 2)使用到了两个比较实用的方法: ...2011-05-19 20:47:26 · 187 阅读 · 0 评论 -
Hadoop集群的快速部署
我的集群部署在局域网内部,与外网隔离开来。这个主要处于安全性考虑,在公网使用一段时间linux,你用 sudo cat /var/log/secure 查看安全日志会发现,每天都有一大堆居心不良的人在试探你的sshd服务。当然这个可以通过配置 sshd 来避免,不过还是谨慎为妙。 闲话少说,步入正题。我的网络结构是这样的:我的机器通过多IP配置与集群在一个网段,也可以在另一...2011-02-25 13:41:01 · 135 阅读 · 0 评论 -
Eclipse CDT中EOF信号输入的解决方法
使用Eclipse-cdt做开发的同学可能会遇到这样的,需要输入EOF作为结束标志结束输入,但是不知道怎么结束输入。在网上搜了一堆解决方法,都是说windows下使用 Ctrl+Z 做EOF信号,unix和linux下用 Ctrl+D 做EOF信号。自己在Eclipse-cdt中试一下,发现这招行不通。 例如调试和运行以下代码,使用 Ctrl+D 也是无法终止输入的。 #i...2011-07-08 22:35:36 · 183 阅读 · 0 评论