ccms分析系统
文章平均质量分 57
jmydream
这个作者很懒,什么都没留下…
展开
-
ccms error
select * from t_fx_latitude_daily where stat_timedate_sub('20120830',90) limit 10; 34374 Rows loaded to t_latitude_marketing_period_uid MapReduce Jobs Launched: Job 0: Map: 100 Reduc原创 2012-09-05 15:04:36 · 617 阅读 · 0 评论 -
ccms 工作记录
一共有job数为:86 周期可以重复计算 bug1: where month(send_time)=month('{STAT_DATE}')-1 当month为1时,会得出结果为0. 所以要改为: where month(send_time)=case (month('{STAT_DATE}')-1 ) when 0 then 12 上周逻辑 周期原创 2013-01-30 17:00:44 · 486 阅读 · 0 评论 -
ccms未解决错误
Starting Job = job_201301281440_18226, Tracking URL = http://master:50030/jobdetails.jsp?jobid=job_201301281440_18226 Kill Command = /home/hadoop/hadoop-1.0.3/libexec/../bin/hadoop job -Dmapred.job.原创 2013-02-03 08:55:40 · 1068 阅读 · 0 评论 -
ccms bug记录1
20130202 周期表结果中有重复记录:查到是t_latitude_period_exuid的重复记录: 重新跑: insert overwrite table t_latitude_period_exuid partition(stat_time='{STAT_DATE}',latitude_type) select * from( select user_name原创 2013-02-03 11:31:26 · 376 阅读 · 0 评论 -
ccms新版本按上线记录
本来以为是件很简单的事情,可是搞了好久才搞定。对hive细节了解不够,上线布置流程了解不够。 问题: load相当于mv,所以源数据只能供一个统计脚本使用。新版本的数据源要通过select的方式获取。 参数格式,时间居然是用20100202的方式给的,hive是不能处理这种时间格式,修改参数。 初始化所有历史数据时,动态分区会丢失。所以只初始化90天数据,原创 2013-02-05 10:00:59 · 541 阅读 · 0 评论