ETL过程中常见问题

 

Postgres

1.查看活跃的进程
select *  from pg_stat_activity where state='active'

2.杀死进程

• select pg_cancel_backend(pid)
• select SELECT pg_terminate_backend(PID)

3.存储过程语句查看

• postgresql中存储过程语句查看 https://blog.csdn.net/ljasdf123/article/details/8845746

4.常用SQL语法

• 常见正则表达式

Presto

1.Json的处理

• 字符串 -> JSON :  json_parse(varchar)
• PRESTO对应文档：https://prestodb.github.io/docs/current/functions/json.html

2.事件戳转化

十位unixtime -> timestamp :from_unixtime(integer)

3.效率优化：

• 使用presto sql常见问题：https://segmentfault.com/a/1190000013615017

Shell

1.时间命令