把大数据讲成故事:第1步是抽取过去数据,第2步是找出规律,第3步是找出证据,第4步是让机器使用规律;
我进入项目组后,前期做Kettle数据抽取,就是第1步;后期负责大数据的可视化展示,也就是上述第2,3步;用各种Echart作页面展示;
Echart介绍过好多,我以后专门写一篇关于Echart数据分析的文章,讲我做Echart数据分析的经验与坑;
现在只说Kettle数据抽取,Kettle的核心用法在于新建转换(临时抽取表)和新建作业(start时定时抽取表);临时抽取表,Navicat自带功能也可以支持,Navicat定时抽取就不行了;
kettle异常1:ORA-01722: 无效数字
原因:来源表中的varchar字段,插入出目标表number类型的字段里
方法1:加个字段选择组件,将数据类型强转;
方法2:在sql里用函数将数据类型强转;
kettle异常2:ORA-01481:无效的数字格式模型
原因:字段本就是String,误看作了时间格式,却使用了to_char(xxxx,'yyyy-mm-dd')函数。
方法:去to_char
kettle异常3:ORA-01830:日期格式图片在转换整个输入字符串之前结束
to_date(t.start_time,'yyyy-mm-dd')
原因: