- 博客(2)
- 资源 (4)
- 收藏
- 关注
原创 mapreduce数据统计实战总结
问题: 日志文件是从若干台线上服务器用工具自动同步到HDFS, 每天几百G, 要统计某个字段的出现次数.先后尝试过以下方法:1.最初是用php写的mapreduce脚本. 少量测试文件ok, 但真正那hdfs中日志跑起来, 内存占用超高, ini_set("memory_limit", "800M");时hadoop任务仍然以超内存限制失败. 但用memory_ge
2012-08-07 17:53:59 2879
原创 mapreduce程序-awk脚本
mapper.awk#!/bin/awk -fBEGIN{ RS = "\n"; FS = " "; OFS = " "; }{ split($2, array_pname, ","); for(pname in array_pname) { array_counter[array_pname[pname]]++; }}END{ for( pnam
2012-08-07 16:34:00 2537
html+js实现加减乘除运算
2014-04-13
360电脑技师网速优化-破解版-免激活码
2012-04-14
IT,快消,投行,咨询等行业的简历模版
2010-04-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人