- 博客(14)
- 收藏
- 关注
RSS订阅原创 ETL的健壮性
这时，我想起了之前面试遇到的一个问题：如何保证存储过程的健壮性？今天写了一个任务，本着快速完成的目的，必然很多地方需要优化。于是，把代码扔给了GPT，答案令我比较满意。
2023-10-25 15:53:57
65
原创 odps 和 hive兼容 set 语句
关闭严格模式：set odps.sql.udf.strict.mode=false;开启hive兼容：set odps.sql.hive.compatible=true。
2023-10-09 09:20:10
267
原创 DataWorks离线同步SLS数据到MaxCompute
同步字段为空，后将__time__替换为C_LogTime后成功。1、大体步骤阿里云官方文档已经很详细了。
2023-10-08 10:45:54
138
1
原创 通过python对excel进行汇总和行转列
在做数据预处理时，会接触到很多线下数据，将多个excel汇总及转换的操作，通过python能轻松解决。
2022-11-23 10:05:43
1173
原创 mysql查询强制走索引
SELECT a.emp_user_id, SUM( a.distribute_amount_detail ) distribute_amount, COUNT(*) distribute_numFROM fe_dwd.dwd_en_distribute_detail_fx a force index(idx_distribute_time)WHERE a.distribute_time >= @ymd #取昨天所在月 AND a.distribu...
2020-11-26 11:01:29
496
原创 mysql 查询当前版本
查看mysql版本的六种方法1. [root@localhost ~]# mysql -V2. [root@localhost ~]# mysql --help | grep Distrib在mysql下有四种3. 登陆时会显示4. mysql> status;5. mysql> select version();6. mysql> show variables like "%version%";windows下cmd操作的全部贴图（cmd没有grep命令，
2020-11-10 11:50:33
569
转载 预处理sql
一、SQL 语句的执行处理1、即时 SQL 一条 SQL 在 DB 接收到最终执行完毕返回，大致的过程如下： 1. 词法和语义解析； 2. 优化 SQL 语句，制定执行计划； 3. 执行并返回结果； 如上，一条 SQL 直接是走流程处理，一次编译，单次运行，此类普通语句被称作 Immediate Statements （即时 SQL）。2、预处理 SQL 但是，绝大多数情况下，某需求某一条 SQL 语句可能会被反复调用执行，或者每次执行的时候只有个别的值不同（比如 select
2020-10-27 10:21:30
706
2
原创 网易有数的直连
有数的直连访问数据库机制：1、报表打开多次走的是缓存，只有点击报表界面的刷新数据，才会重新请求数据库。2、不停切换筛选器，如果筛选器选的值是一样的，sql 只会发一次，以后会走缓存。如果每次筛选器的值不一样会重新请求数据库。3、多个账号开报表，只要不点刷新数据，走的都是缓存。...
2019-09-22 23:53:52
506
转载 python input() 与raw_input()
raw_input() 与 input() __ Python这两个均是 python 的内建函数，通过读取控制台的输入与用户实现交互。但他们的功能不尽相同。举两个小例子。 1 >>> raw_input_A = raw_input("raw_input: ") 2 raw_input: abc 3 >>> input_A = input("Input: ") 4 In
2017-12-17 19:30:11
424
转载 欢迎使用CSDN-markdown编辑器
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2017-12-14 08:34:59
107
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人