使用awk + sort做数据统计

之前用Java作日志分析,算PV的时候,要把URL提取出来,然后用hash来累计。

后来日志多了,单机扛不住,就改上hadoop,算法基本不变。

但今天发现,其实用awk命令就可以简单做到。而且性能相当快。再加上sort,连排序都一起做了。超级爽。

 

阅读更多
文章标签: hadoop 算法 java url
个人分类: 随便写写
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭