- 博客(14)
- 收藏
- 关注
原创 ETL的健壮性
这时,我想起了之前面试遇到的一个问题:如何保证存储过程的健壮性?今天写了一个任务,本着快速完成的目的,必然很多地方需要优化。于是,把代码扔给了GPT,答案令我比较满意。
2023-10-25 15:53:57
70
原创 odps 和 hive兼容 set 语句
关闭严格模式:set odps.sql.udf.strict.mode=false;开启hive兼容:set odps.sql.hive.compatible=true。
2023-10-09 09:20:10
286
原创 DataWorks离线同步SLS数据到MaxCompute
同步字段为空,后将__time__替换为C_LogTime后成功。1、大体步骤阿里云官方文档已经很详细了。
2023-10-08 10:45:54
156
1
原创 通过python对excel进行汇总和行转列
在做数据预处理时,会接触到很多线下数据,将多个excel汇总及转换的操作,通过python能轻松解决。
2022-11-23 10:05:43
1185
原创 mysql查询强制走索引
SELECT a.emp_user_id, SUM( a.distribute_amount_detail ) distribute_amount, COUNT(*) distribute_numFROM fe_dwd.dwd_en_distribute_detail_fx a force index(idx_distribute_time)WHERE a.distribute_time >= @ymd #取昨天所在月 AND a.distribu...
2020-11-26 11:01:29
503
原创 mysql 查询当前版本
查看mysql版本的六种方法1. [root@localhost ~]# mysql -V2. [root@localhost ~]# mysql --help | grep Distrib在mysql下有四种3. 登陆时会显示4. mysql> status;5. mysql> select version();6. mysql> show variables like "%version%";windows下cmd操作的全部贴图(cmd没有grep命令,
2020-11-10 11:50:33
574
转载 预处理sql
一、SQL 语句的执行处理1、即时 SQL 一条 SQL 在 DB 接收到最终执行完毕返回,大致的过程如下: 1. 词法和语义解析; 2. 优化 SQL 语句,制定执行计划; 3. 执行并返回结果; 如上,一条 SQL 直接是走流程处理,一次编译,单次运行,此类普通语句被称作 Immediate Statements (即时 SQL)。2、预处理 SQL 但是,绝大多数情况下,某需求某一条 SQL 语句可能会被反复调用执行,或者每次执行的时候只有个别的值不同(比如 select
2020-10-27 10:21:30
713
2
原创 网易有数的直连
有数的直连访问数据库机制:1、报表打开多次走的是缓存,只有点击报表界面的刷新数据,才会重新请求数据库。2、不停切换筛选器,如果筛选器选的值是一样的,sql 只会发一次,以后会走缓存。如果每次筛选器的值不一样会重新请求数据库。3、多个账号开报表,只要不点刷新数据,走的都是缓存。...
2019-09-22 23:53:52
511
转载 python input() 与raw_input()
raw_input() 与 input() __ Python这两个均是 python 的内建函数,通过读取控制台的输入与用户实现交互。但他们的功能不尽相同。举两个小例子。 1 >>> raw_input_A = raw_input("raw_input: ") 2 raw_input: abc 3 >>> input_A = input("Input: ") 4 In
2017-12-17 19:30:11
426
转载 欢迎使用CSDN-markdown编辑器
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦:Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2017-12-14 08:34:59
110
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人