hadoop
文章平均质量分 78
前进的菜鸟
这个作者很懒,什么都没留下…
展开
-
Hadoop实例:二度人脉与好友推荐
在新浪微博、人人网等社交网站上,为了使用户在网络上认识更多的朋友,社交网站往往提供类似“你可能感兴趣的人”、“间接关注推荐”等好友推荐的功能。一直很好奇这个功能是怎么实现的。其实,社交网站上的各个用户以及用户之间的相互关注可以抽象为一个图。以下图为例:顶点A、B、C到I分别是社交网站的用户,两顶点之间的边表示两顶点代表的用户之间相互关注。那么如何根据用户之间相互关注所构成的图,来向每个原创 2013-11-05 16:55:52 · 2749 阅读 · 0 评论 -
Hadoop FS Shell命令
FS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path 。对 HDFS文件系统,scheme是hdfs ,对本地文件系统,scheme是file 。其中scheme和 authority参数都是可选的,如果未加指定,就会使用配置中指定原创 2013-09-06 21:02:14 · 1126 阅读 · 0 评论 -
Hadoop Streaming命令
1 Streaming命令使用下面的命令运行Streaming MapReduce程序:$HADOOP_HOME/bin/hadoop streaming args其中args是streaming参数,下面是参数列表:-input 输入数据路径-output转载 2013-11-22 10:48:38 · 1961 阅读 · 0 评论