![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 77
骆驼银子
不惜一切代价学习hadoop
展开
-
ubuntu hadoop eclipse ssh 配置
搭建hadoop的开发环境费了不小力气,中间走了很难弯路,到最后还是看了官方文档把环境搞好了http://hadoop.apache.org/common/docs/stable/single_node_setup.html,由于我下载的是hadoop-0.20.203.0版本,貌似$HADOOP_HOME/contrib/eclipse-plugin/hadoop-eclipse-plugin-原创 2012-03-07 00:58:42 · 1064 阅读 · 0 评论 -
What Why How Hadoop
What其实每学习一门新东西的时候,我们都在问自己,这东西是什么,为什么要学习,它能被用来做什么。不知道你有没有注意到:网上一些国外著名大学的网络课程,往往第一个视频里,无论是专家还是教授都在讲为啥要学习这东西,而且不厌其烦的讲很长时间,这或许就是中国的教育方式和国外的不同,老外可能更关心why,而我们更关心how to do。废话不多少了……Hadoop的官方文档很直白的告诉了我们w原创 2012-03-12 20:24:16 · 770 阅读 · 0 评论 -
Hadoop Demo 1 ——WordCount 统计文章中单词的个数
其实统计文章中单词的个数问题是我们曾经学习任何一门语言都可能遇到的例子,这个例子在实际业务场景中可能扩展为:分析网站发表的文章是否包含过激言论(言论中包含敏感词组或单词,国家领导人名字等)有人说要统计一片文章单词的出现次数,非常简单嘛,用一个Map就搞定了,可是这里我们提到hadoop,就告诉你,我们要处理的数据量可不是MB,GB级别的了下面是这个例子的具体实现,都有注释。由于我使用了Ec原创 2012-03-14 22:54:20 · 5669 阅读 · 2 评论