SQL
陈伦(colby)
项目经理/数据架构师/资深数据从业者。
熟悉传统数据、互联网数据处理,精通数据仓库方法论、数据迁移、数据处理、数据可视化、数据建模、架构设计、方案设计,曾负责多个数仓项目0到1建设并落地,有PB级数据调优实战经验!
曾获得计算机四级数据库证书、PMP项目管理专业人士证书等。
展开
-
Hive批量生成DDL脚本
获取表名称,进入hivehive> show tables;将表名copy赋值给变量list然后在Linux命令行敲入:for i in $list ;dohive -S -e "show create table $i"done至于保存在哪儿,根据个人爱好而定。原创 2016-07-31 18:50:14 · 934 阅读 · 1 评论 -
MySQL 去除字段中的换行char(10)和回车符char(13)
问题描述:我们导出数据到excel的时候,会无缘无故换行,导致数据格式混乱,这样的问题一般都是我们的数据中有隐藏的换行符,回车符导致的,所以再导出前我们要将这样的字符替换掉注意引号都是英文引号环境: RHEL5+MySQLUPDATE SMS_PROVINCE SET PROVINCENAME = REPLACE(REPLACE(PROVINCENAME, CHAR(10),'')...原创 2019-08-29 10:36:11 · 5456 阅读 · 0 评论 -
Mysql实现数据库row_number()的写法
以下是固定的写法,实现其他逻辑按这个套路写就好,将字段替换成你想分组查询的字段即可rank跟row_number()一样,过滤分组排序后的数据SELECT id, name, create_time, rankFROM ( SELECT b.id, b.name, b.create_time , @rownum := @rownum + 1 , I...原创 2019-08-29 10:28:42 · 768 阅读 · 0 评论 -
MYSQL查询json指定key的值
key:代表你要查询的json的字段的key以下SQL会去掉查询结果的双引号select id,trim(both '"' from cast(JSON_EXTRACT(extended_para,'$.key') as char)) report_id from tables原创 2019-08-29 10:23:31 · 2043 阅读 · 0 评论 -
SQL实现MYSQL到HIVE建表语句的转换(异构数据源DDL转换)
准备一张维度表:dim_ddl_convert,建表语句如下:CREATE TABLE dim_ddl_convert ( source VARCHAR(100) NOT NULL, data_type1 VARCHAR(100) NOT NULL, target VARCHAR(100) NOT NULL, d...原创 2019-08-29 10:08:55 · 6315 阅读 · 7 评论 -
DB2中NULL,COUNT,NOT IN,NOT EXISTS的区别
TB1_1TB1_2下列执行结果分别为:SELECTCOUNT(COL_1)FROMTB1_1SELECTCOUNT(DISTINCTCOL_1)FROMTB1_1SELECT AVG(COL_1) FROM TB1_1SELECTCOL_1FROMTB1_1WHERECOL_1NOTIN(SELECTCOL_1...原创 2019-08-29 11:11:42 · 1141 阅读 · 0 评论 -
DB2 SQL实现小计 总计汇总
SELECT DECODE(ID,1,TO_CHAR(DATA_PRD,'YYYYMMDD'),2,TO_CHAR(DATA_PRD,'YYYYMMDD'),3,'总计') 调度日期,DECODE(ID,1,JOB_STS ,2,'小计' ,3,'-') 作业状态,COUNT(1) 作业数 FROM DWMM.JOB_LOG AS T1,(select 1 as ID FRO...原创 2019-08-28 17:10:42 · 1015 阅读 · 0 评论 -
Hive Beeline窗体函数使用
hive 窗口分析函数0: jdbc:hive2://localhost:10000> select * from t_access;+----------------+---------------------------------+-----------------------+--------------+--+| t_access.ip | t_a...原创 2019-08-28 17:05:22 · 224 阅读 · 0 评论 -
hive之Python UDF函数操作map数据 详解 全是干货
#1、Hive基本操作:查看dw.full_h_usr_base_user的详细信息,可以获取数据文件的存放路径desc formatted dw.full_h_usr_base_user;dfs -ls dfs -ls hdfs://BIGDATA:9000/user/hive/warehouse/dw.db/full_h_usr_base_user;删除外表原创 2017-09-30 10:23:50 · 2798 阅读 · 0 评论 -
Hive0.14Comment中文乱码解决
1.登录mysql变更hive的meta表use hive;alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;a转载 2016-11-07 09:44:47 · 584 阅读 · 0 评论 -
Hive-ORC文件存储格式
Hive-ORC文件存储格式转自:http://www.lai18.com/content/24596525.html?from=cancelORC文件格式是从Hive-0.11版本开始的。关于ORC文件格式的官方文档,以及基于官方文档的翻译内容这里就不赘述了,有兴趣的可以仔细研究了解一下。本文接下来根据论文《Major Technical Advancements in Apache H...转载 2019-09-04 19:14:59 · 382 阅读 · 0 评论