![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
文章平均质量分 76
鲁边
大数据生态践行者
展开
-
Hive常见时间日期函数的使用与问题整理
hive本身提供的时间函数已经很丰富了,基本上能满足我们所有的需求,一些特殊需求也可以通过增加一些数学逻辑实现出来。原创 2023-06-14 17:41:14 · 818 阅读 · 1 评论 -
hive向上取整、向下取整、保留小数位的函数
hive向上取整向下取整和保留小数位数的函数原创 2022-12-09 14:37:37 · 4470 阅读 · 1 评论 -
HiveSql调优系列之Hive严格模式,如何合理使用Hive严格模式
所谓Hive的严格模式,就是为了避免用户提交一些恶意SQL,消耗大量资源进而使得运行环境崩溃做出的一些安全性的限制。原创 2022-09-02 18:49:50 · 1217 阅读 · 2 评论 -
Hive存储格式之ORC File详解,什么是ORC File
ORC并不是一个单纯的列式存储格式,它也遵循了先水平分区,再垂直分区的理念,采用混合存储结构。除了Hive,目前也被Spark SQL,Flink,Presto,Impala等查询引擎支持。原创 2022-08-25 09:55:20 · 2434 阅读 · 2 评论 -
什么是谓词下推,看这一篇就够了
所谓谓词下推,**就是将尽可能多的判断更贴近数据源,以使查询时能跳过无关的数据**。用在SQL优化上来说,就是先过滤再做聚合等操作。原创 2022-08-16 07:45:00 · 2055 阅读 · 1 评论 -
Hive存储格式之RCFile详解,RCFile的过去现在和未来
我在整理Hive的存储格式和压缩格式,本来打算一篇发出来,结果其中一小节就有很多内容,于是打算写成Hive存储格式和压缩格式系列文章。原创 2022-08-14 20:13:44 · 892 阅读 · 2 评论 -
什么是hive的静态分区和动态分区,hive动态分区详解
关于hive的静态分区和动态分区怎么用,又有什么区别呢,hive动态分区详解原创 2022-08-07 17:55:42 · 2485 阅读 · 0 评论 -
关于hive分区,你知道多少呢?
在Hive Select查询中一般会扫描整个表内容,会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据,因此建表时引入了partition概念。原创 2022-08-01 22:26:57 · 1740 阅读 · 0 评论 -
sqoop定时导入(全量+增量)sqlserver数据到HDFS
sqoop定时导入(全量+增量)sqlserver数据到HDFS增量导入采用创建sqoop job的形式,定时加载job即可创建jobbin/sqoop job \--create s_ods_ol_user_app \-- import \--connect 'jdbc:sqlserver://10.31.24.236:1433;database=ODS_DB_V3' \--usern...原创 2018-05-14 18:48:44 · 3552 阅读 · 0 评论 -
sqoop从sqlserver导入数据操作指令及hive创建表过程
sqoop从sqlserver导入数据操作指令及hive创建表过程原创 2018-05-10 17:15:59 · 6606 阅读 · 0 评论