Hive常用函数总结（下）

最新推荐文章于 2024-01-16 11:32:13 发布
最新推荐文章于 2024-01-16 11:32:13 发布
阅读量728 收藏 1
点赞数
分类专栏： Hive 文章标签： 大数据 数仓 Hive 函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/forever_ck/article/details/85268773
版权

这篇继续我们介绍我们的函数，上篇链接：
https://blog.csdn.net/Forever_ck/article/details/85268145
闲话少叙，开整：

  1. current_date 获取当前日期
    在这里插入图片描述
  2. rtrim 去除字符串右边空格
    在这里插入图片描述
  3. split 将字符串按照指定字符切割，返回一个数组
    在这里插入图片描述
  4. upper 和 ucase 两个函数都可以将小写字母转为大写
    在这里插入图片描述
  5. repeat（字符串，n） 返回字符串重复n次的字符串
    在这里插入图片描述
  6. reverse 返回反转后的字符串
    <
最低0.47元/天 解锁文章
Forever_ck
关注
专栏目录
千万级数据查询中CK、ES、RediSearch方案的优化
q66562636的博客
06-01 3615
在开发中遇到一个业务诉求，需要在千万量级的底池数据中筛选出不超过 10W 的数据，并根据配置的权重规则进行排序、打散（如同一个类目下的商品数据不能连续出现 3 次）。下面对该业务诉求的实现，设计思路和方案优化进行介绍，对「千万量级数据中查询 10W 量级的数据」设计了如下方案整体方案设计为技术方案如下 对目标数据 result 进行排序，得到最终的「结果数据」。 CK分页查询 在「初版设计方案」章节的第 3 步提到了「从 CK 底池表取目标数据时，开启多线程，进行分页筛选」。此处对 CK 分页
Hive常用的函数总结
大数据梦想家
12-09 9517
常见hive函数，必须掌握！
Hive内/外表浅析及常用数据导入导出
qq_32812063的博客
01-23 769
内部表/外部表 未被external修饰的是内部表（managed table），被external修饰的为外部表（external table），默认创建内部表； 区别： 内部表数据由Hive自身管理，外部表数据由HDFS管理； 内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己指定，若未指...
大数据数仓之Hive入门《一》
Forever_ck的博客
11-29 643
一 、Hive 基本概念 1.1 什么是 Hive Hive：由 Facebook 开源用于解决海量结构化日志的数据统计。它是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。 本质就是：将HQL 转化成 MapReduce 程序 1）Hive 处理的数据存储在 HDFS 2）Hive 分析数据底层的实现是 MapReduce 3）执行程序运...
ck报错is not presented in input data.: While executing ORCBlockInputFormat: While executing HDFSSource
默主归沙的博客
10-15 1083
（我凌晨一点找bug就是因为这个原因，就是删表再建表，查询的明明是之后的表，但是ck就是找不到）3、如图这个字段我感觉不太规范 ：7dappointment_movie_dct。1、hive表里面没有数据，这样需要手动建表。2、hive的表和ck的表字段不一致。我已经遇见好多这样的问题了。数字最好不要放在第一个位置。
ClickHouse MergeTree表引擎和建表语句
haveanybody的博客
03-28 7473
clickhouse使用场景 ClickHouse是由俄罗斯Yandex公司开发的、面向列的数据库管理系统(DBMS)，主要面向OLAP场景，用于在线分析处理查询，可以使用SQL查询实时生成数据分析结果。列式存储的好处就是当我们对列进行聚合等操作时，效率会大大优于行式存储，而且由于每一列的类型都是相同的，所以对于数据存储更容易进行压缩，可以对不同类型的列选择更合适的压缩算法，节约资源。 clickhouse的设计也处处体现了俄罗斯的暴力美学，它不仅仅是一个数据库，还是一个数据库管理系统，后面我们在介绍基于S
Hive常用函数大全.pdf
04-14
### Hive常用函数详解 #### 一、关系运算 在Hive中，关系运算是非常基础且重要的部分，它包括但不限于等值比较、不等值比较、大小比较等。这些操作对于进行数据筛选、条件判断等都非常关键。 ##### 1. 等值比较 ...
hive 常用函数总结
小梁
07-13 855
1.选择的函数 case when ：if… else if …else if…else case 列名 when 列值1 then 返回值1 when 列值2 then 返回值2 when 列值2 then 返回值3 [esle 其他情况 ] end -- 1 select dept_id, sum(case sex when '男' then 1 else 0 end) male_count, sum(case sex when '女' then 1 else 0 end) f
Hive函数大全.pdf
09-09
本篇文章将详细介绍Hive中的一些主要函数，包括数学函数、类型转换函数、条件函数、字符函数、聚合函数以及表生成函数。 一、关系运算 关系运算是查询语言的基础，用于比较和筛选数据。在Hive中，主要有以下几种...
HIVE 常用函数总结
qq_44735442的博客
10-07 2550
HIVE 常用函数总结 hive 函数比较多，之前总是随用随查，今天把常用的函数总结一下，以后方便查阅。 本文主要涉及以下几个大面： 1、Hive函数介绍以及内置函数查看 内容较多，见《Hive官方文档》 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 1）查看系统自带的函数 hive> show functions; 2）显示自带的函数的用法 hive> desc function upper; 3）
clickhouse跟hive的不同
AiBigData的博客
11-16 7082
虽然clickhouse可以是多台机器,因为占用内存,每台机器存储不同的数据,所以需要有一个视图,将三台机器的数据进行汇总,原始表跟视图的创建语句如下 --创建 clickhouse , drop table dm.city_dim on cluster my_cluster; CREATE TABLE dm.city_dim on cluster my_cluster( city_id Int32 comment '城市ID', city_name String comment '城市名' ) E..
ck与hive的关联表
最新发布
shiyuansanba的博客
01-16 521
hive与ck的关联表
python实现hive中的表写入clinkhouse中
m0_49027804的博客
10-12 331
python实现hive中的表写入clinkhouse中。
一、Hive简明笔记
Norni的博客
10-06 551
目录1、Hive基本概念1.1 什么是Hive1.2 Hive的优缺点1.3 Hive架构原理2、Hive安装2.1 Hive安装部署2.2 Hive元数据配置到MySQL2.2.1 拷贝JDBC驱动2.2.2 配置 Metastore 到 MySQL2.3 使用元数据服务的方式访问Hive2.4 使用JDBC方式访问Hive2.5 hive 服务启动脚本2.6 Hive常见属性配置2.6.1 ...
【Hive】（三）Hive数据导入，导出，分区
weixin_42804692的博客
12-17 1381
文章目录一、导入数据load datainsertimportlocation三、导出数据分区1、静态分区2、动态分区 一、导入数据 load data 1、语法 load data (local) inpath '文件路径' into|overwrite table students; local:表示从本地加载数据，不加local则是从HDFS中加载数据 overwrite:覆盖表中的原有数...
Clickhouse踩坑记录
weixin_41589448的博客
03-25 3375
背景：我司因presto在大数据量下查询较慢，后综合技术特点及我们的数据特点决定采用Clickhouse替代。 实现方案：将Hive数据每天增量同步至Clickhouse。 备注：以下将Clickhouse简称ck 实现步骤： 在ck中创建Hive引擎的表 在ck中创建MergeTree引擎的表 每天将Hive引擎的表增量同步至MergeTree引擎的表 踩坑点 一开始在ck创建表后发现hive那边是存储的文本格式的，后来在hive修改为orc格式 ，ck这边没有重新建表，然后就报了上边的
Hive常用函数总结（上）
Forever_ck的博客
12-26 834
在我们开发数仓项目的过程中，我们常常需要写一些复杂的 hql 语句来完成我们的业务逻辑，今天我们就来聊聊那些Hive中自带的常用函数。 一、Hive中内置函数图解 二、常用函数总结：（常用的数学和日期函数） round（） 四舍五入取值 floor 向下取整 ceil 向上取整 sqrt 求平方根 abs 求绝对值 greatest 求一组数据中的最大值 ...
hive亿级数据导入ClickHouse并增量更新
qq_32656561的博客
11-30 4025
项目场景： hive亿级数据导入ClickHouse，并每日导入 （技术工具看上文） hive中表结构： 数据量7.6亿 DROP TABLE IF EXISTS dwd_ipqc_online; CREATE EXTERNAL TABLE dwd_ipqc_online ( MACH_ID string COMMENT '機台ID', MACH_IP string COMMENT '機台IP', CREATE_TIME string COMMENT '創
ClickHouse VS Hive
花木兰
08-07 5397
CK官网 HIVE官网 建表语句 CK CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster] ( name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1], name2 [type2] [DEFAULT|MATERIALIZED|ALIAS expr2], ... INDEX index_name1 expr1 TYPE type1(...) GRANULARITY
Hive常用函数分类及应用场景总结
在Hive中，有许多常用的函数可以帮助用户进行数据处理和分析。 首先，在Hive命令行接口中，可以通过"SHOW FUNCTIONS"命令查看当前会话可用的函数数量，通过"DESC FUNCTION"命令可以查看函数的描述信息，以及使用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值