数据仓库
文章平均质量分 60
菜鸟001号
see more,think more,do more...
多看,多想,多做....
看,可以了解接触更多。
想,可以沉淀自己--防止老年痴呆。
做,实践是检验真理的唯一标准。凡事不要只是说说而已。
展开
-
关于 UNIX_TIMESTAMP函数的趣事
关于 UNIX_TIMESTAMP函数的趣事:select UNIX_TIMESTAMP("2038-01-19 11:14:08") ,UNIX_TIMESTAMP("1970-01-01 00:00:00")原创 2023-11-23 12:04:13 · 167 阅读 · 0 评论 -
python使用Stream Load方式写入doris
本文使用简单案例,使用python作为开发语言,实现StreamLoad方式写入doris表中,能够满足基本的写入需要原创 2022-07-18 16:56:30 · 4277 阅读 · 0 评论 -
hive中小数点处理函数
hivesql 中对于小数点的处理ceil 向上取整SELECT ceil('10.25')11SELECT ceil('10.75')11floor 向下取整SELECT floor('10.75')10SELECT floor('10.25')10round 四舍五入SELECT round('10.25')10SELECT round('10.75')11regexp_extract正则取数0表示把整个正则表达式对应的...原创 2021-03-16 09:46:52 · 7774 阅读 · 2 评论 -
hive udf函数不生效问题
集群环境:CDH5.16.2问题描述:使用hive cli 在hive中创建的了永久的udf函数(当前连接生效,新建连接进入hive cli依然生效),但是当使用hue或者beeline连接,查询方法以及使用时无法找到。UDF函数简介:一进一出。一般由java语言编写,也可以使用python语言编写。hive中常用来做复杂数据清洗。UDF函数创建方式:临时创建:CREATE TEMPORARY FUNCTION function_name As永久创建add jar h.原创 2020-12-15 15:44:06 · 2492 阅读 · 0 评论 -
hive中模糊匹配“like”中的bug——count(like)+count(not like) !=总数据
今日输出报表时使用了like函数,数据统计异常。情况如下,当不加任何条件时,计算数据约为400万+;当加上单一限制条件not like '',数据总量变为200万+;当加上单一限制条件like '',数据总量变为137。SELECT count(1) from dwd_bigdata.tablename where fq_dt ='xxxx' --总数为4百万SELECT count(1) from dwd_bigdata.tablename where fq_dt ='xxxx原创 2020-12-04 16:49:21 · 1246 阅读 · 0 评论 -
hive中内部表和外部表有什么区别?一般什么时候使用内部表什么时候使用外部表?
hive中内部表和外部表有什么区别?在使用hive搭建数据仓库的时候,可以建立两种表格。一种是内部表(managed table),一种是外部表(external table)。内部表建表是不加修饰词即可:create table database_name.table_name(column1 string,column2 string)外部表建表时需要加external:create table external database_name.table_name(col原创 2020-12-09 13:52:53 · 9442 阅读 · 5 评论