- 博客(2)
- 资源 (3)
- 收藏
- 关注
原创 找出重复出现最多的字段,并输出
cat file | sort |uniq -c |sort -r sort对文件内容排序; uniq -c 去掉重复的行,同时记下重复出现的次数; sort -r 根据重复行的次数进行排序(逆向排序)
2012-02-15 14:09:25 419
转载 Hadoop Streaming —— grep
streaming支持shell 命令的使用。但是,需要注意的是,对于多个命令,不能使用形如cat; grep 之类的多命令,而需要使用脚本,后面将具体介绍。 下面示例用grep检索巨量数据: 1. 待检索的数据放入hdfs $ hadoop fs -put localfile /user/hadoop/hadoopfile 使用方法:hado
2012-02-15 10:39:27 590
Design Patterns
2010-03-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人