因为有些函数比较复杂,每次碰到都需要重新打开网页进行查询。另外,一些业务过程处理思路可以复用,本文用于记录这些函数如何使用和思路
一、直抽数据处理后用作数据展示,或者ODS层抽完数据后在DWD层进行数据清洗和处理
(一)用到的函数
1、TRIM函数【清除字段里的空格】
特殊情况,如果该字段录入数据是空格的话,会变成NULL
2、SUBSTR配合INSTR【截取字段中特定的值】
INSTR默认从左到右,从第一个字符串开始查,若查不到则返回0
SELECT
SUBSTR(TYPE,INSTR(TYPE,'目标'),2)
FROM
DUAL
二、抽取数据后的数据迭代更新
(一)先删后写入(例如删除当月数据再重新写入当月数据)
TRUNCATE语句无法用WHERE,所以来讲DELETE语句的隐患和参考处理
隐患1、可能会执行时间会越来越长,甚至可能跑崩
原因 | 分析/解决方法 |
DELETE语句会产生缓存和日志记录,降低数据库的运行效率 | 如果清除缓存有效的话,制定系统计划,定时清除数据库缓存 |
删除大批量的数据会崩 | 在数据库性能一致的前提下,还会受到数据行数以及字段数量(列数)综合影响。(100w+行搭配100+个字段,SELECT*,执行了几分钟后,navicat崩了) |
三、数据展示层
(一)用到的函数
(二)经验
1、ORDER BY,排序VARCHAR类型的字段时
如果需要排序数字需要用TO_NUMBER函数或者CAST函数转类型才能生效
四、教训的句子
1、注意写代码的格式,要便于维护;
2、重要的是从无到有做一个报表需要知道获取什么数据,然后是怎么获取这份数据,最后是把这份数据做成什么样
3、项目初期必须协商好蓝图,冻结需求
4、测试要规定时间,定好测试内容,以防加班
5、整理文件和资料时要有“模板”,不是所有人都看得懂自己觉得简单易懂的形式,目标是简洁明了
6、当对接改动时文字记录留档,并说明下次再改动要有代价或提出需求置换,先想替代的解决方案,因为60>0