Hadoop/MapReduce
文章平均质量分 81
cxfeng
这个作者很懒,什么都没留下…
展开
-
Linux下使用Eclipse编写MapReduce程序的配置
最近一直都在看《Hadoop权威指南(中文版)》,虽然的确是在翻译的方面有很多不如意之处,但是对于我这个英语不是很好的人来说,看中文版的书还是能够大大节约我的时间的。我的本科毕业设计就是关于HDFS和MapReduce的,所以我最近非常想马上编写出自己的MapReduce程序。从网上看到了一个关于题目所说的非常好的配置方法,自己动手试了试,发现果然非常好用,所以将这个文章转载如下:源地址:http://blog.163.com/jiayouweijiewj@126/blog/static/171232177转载 2011-03-16 20:04:00 · 997 阅读 · 0 评论 -
使用MapReduce程序对KDD Cup 99数据集进行信息检索(二)
不知道怎么回事,刚才写好的文章可能字数太多?还是图片太多?导致我文章的后半部分没有了。所以接着写第二篇吧。 从web页面中查看程序执行结果如图6.8所示。 可以从图6.8中看到,现在显示的是HDFS中路径为:File:/user/hadoop/ KDDCUP_OUTPUT/ part-00000的文件。文件内容在图6.8的下方,文件中每一条的记录正是WordSearch程序在5原创 2011-06-10 10:51:00 · 1398 阅读 · 0 评论 -
使用MapReduce程序对KDD Cup 99数据集进行信息检索(一)
本文实现的小程序是我在学校里的一个毕业设计中实现的,程序不大,自己做完了之后感觉对于本科毕业设计来说是不是有点太简单了....明显代码量不是很多啊.....汗。一下内容摘自毕业设计论文。 在本文实现的程序中,由于没有企业级的web日志或者搜索引擎中的海量URL访问日志,所以使用的是科研项目中用到的数据集。本文选择的是入侵检测中,用于训练入侵检测分类器的网络日志数据集——KDD Cup原创 2011-06-10 10:40:00 · 2228 阅读 · 1 评论