备忘录

最新推荐文章于 2023-09-23 23:18:11 发布
最新推荐文章于 2023-09-23 23:18:11 发布
阅读量391 收藏
点赞数
分类专栏： 小知识 备忘录
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baidu_41555315/article/details/116543072
版权

一、HIVE

over中的partition by与group by

name	orderdate	cost
jack	2017-01-01	10
jack	2017-02-03	23
jack	2017-01-05	46
jack	2017-04-06	42
jack	2017-01-08	55
mart	2017-04-08	62
mart	2017-04-09	68
mart	2017-04-11	75
mart	2017-04-13	94
=======================gruop by=======================
select
    name,
    count(*)
from
    overdemo
where
    date_format(orderdate,'yyyy-MM')='2017-04'
group by
    name;
--------结果---------
name	_c1
jack	1
mart	4
=======================partition by========================
select
    name,
    count(*) over(partition by name)
from
    overdemo
where
    date_format(orderdate,'yyyy-MM')='2017-04';
--------结果---------
name	count_window_0
jack	1
mart	4
mart	4
mart	4
mart	4
  • 差别：partition by 将所有符合过滤条件的列分组选中，故group by 可看成partition by 的去重版
  • 执行顺序：group by -> over()，故group by分组去重，再partition by结合聚合函数(count/sum)分区计算
=====同时有group by name和over(partition by name)=====
select
    name,
    count(*) over(partition by name)
from
    overdemo
where
    date_format(orderdate,'yyyy-MM')='2017-04'
group by 
    name;
---------结果--------
name	count_window_0
jack	1
mart	1
=====同时有group by name和over()=====over()无参数时结合聚合函数对全量数据进行运算
select
    name,
    count(*) over()
from
    overdemo
where
    date_format(orderdate,'yyyy-MM')='2017-04'
group by
    name;
----------结果-------
name	count_window_0
mart	2
jack	2
  • 当over()无参时，结合聚合函数 count()，对得到的数据进行计数，得到的结果=2，并且会在mart和Jack后显示2（因为没有进行partition by name，mart和Jack是在同一个分区的）
  • ②当over(partition by name)之后，group by得到的数据会再次进行分区，分为mart和jack，两个分区中进行count()计算，都只有1个，所以在两个分区中分别显示为1
  • 此时，再解释上面只使用over(partition by name)时，为什么mart会显示4次，而且count(）也是4。因为符合过滤条件的mart有4条，都被partition by分到了一个分区，所以count()的结果就是4，而且over(partition by name)并不会去重，所以显示了4次。
  • 综上，over(partition by)可以视为group by的升级版：①会保留所有进入分区的数据，不去重（没有数据损失）；②在group by之后执行，可以进行更为复杂个性化的操作

hive 函数分类

关系|数学|逻辑|数值|日期|条件|字符串|集合统计|…

关系运算

1.1 1、等值比较: =
1.2 2、不等值比较:
1.3 3、小于比较: <
1.4 4、小于等于比较: <=
1.5 5、大于比较: >
1.6 6、大于等于比较: >=
1.7 7、空值判断: IS NULL
1.8 8、非空判断: IS NOT NULL
1.9 9、LIKE比较: LIKE
1.10 10、JAVA的LIKE操作: RLIKE
1.11 11、REGEXP操作: REGEXP

2.1 1、加法操作: +
2.2 2、减法操作: -
2.3 3、乘法操作: *
2.4 4、除法操作: /
2.5 5、取余操作: %
2.6 6、位与操作: &
2.7 7、位或操作: |
2.8 8、位异或操作: ^
2.9 9．位取反操作: ~

逻辑运算：

3.1 1、逻辑与操作: AND
3.2 2、逻辑或操作: OR
3.3 3、逻辑非操作: NOT

数值计算

1、取整函数: round

语法: round(double a)
返回值: BIGINT
说明: 返回double类型的整数值部分 （遵循四舍五入）

hive> ``select` `round(3.1415926) ``from` `iteblog;``3``hive> ``select` `round(3.5) ``from` `iteblog;``4``hive> ``create` `table` `iteblog ``as` `select` `round(9542.158) ``from` `iteblog;``hive> describe iteblog;``_c0   ``bigint
2、指定精度取整函数: round

语法: round(double a, int d)
返回值: DOUBLE
说明: 返回指定精度d的double类型

hive> ``select` `round(3.1415926,4) ``from` `iteblog;``3.1416
3、向下取整函数: floor

语法: floor(double a)
返回值: BIGINT
说明: 返回等于或者小于该double变量的最大的整数

hive> ``select` `floor(3.1415926) ``from` `iteblog;``3``hive> ``select` `floor(25) ``from` `iteblog;``25
4、向上取整函数: ceil

语法: ceil(double a)
返回值: BIGINT
说明: 返回等于或者大于该double变量的最小的整数

hive> ``select` `ceil(3.1415926) ``from` `iteblog;``4``hive> ``select` `ceil(46) ``from` `iteblog;``46
5、向上取整函数: ceiling

语法: ceiling(double a)
返回值: BIGINT
说明: 与ceil功能相同

hive> ``select` `ceiling(3.1415926) ``from` `iteblog;``4``hive> ``select` `ceiling(46) ``from` `iteblog;``46
6、取随机数函数: rand

语法: rand(),rand(int seed)
返回值: double
说明: 返回一个0到1范围内的随机数。如果指定种子seed，则会等到一个稳定的随机数序列

hive> ``select` `rand() ``from` `iteblog;``0.5577432776034763``hive> ``select` `rand() ``from` `iteblog;``0.6638336467363424``hive> ``select` `rand(100) ``from` `iteblog;``0.7220096548596434``hive> ``select` `rand(100) ``from` `iteblog;``0.7220096548596434
7、自然指数函数: exp

语法: exp(double a)
返回值: double
说明: 返回自然对数e的a次方

hive> ``select` `exp(2) ``from` `iteblog;``7.38905609893065``<strong>自然对数函数</strong>: ln``<strong>语法</strong>: ln(``double` `a)``<strong>返回值</strong>: ``double``<strong>说明</strong>: 返回a的自然对数``1``hive> ``select` `ln(7.38905609893065) ``from` `iteblog;``2.0
8、以10为底对数函数: log10

语法: log10(double a)
返回值: double
说明: 返回以10为底的a的对数

hive> ``select` `log10(100) ``from` `iteblog;``2.0
9、以2为底对数函数: log2

语法: log2(double a)
返回值: double
说明: 返回以2为底的a的对数

hive> ``select` `log2(8) ``from` `iteblog;``3.0
10、对数函数: log

语法: log(double base, double a)
返回值: double
说明: 返回以base为底的a的对数

hive> ``select` `log(4,256) ``from` `iteblog;``4.0
11、幂运算函数: pow

语法: pow(double a, double p)
返回值: double
说明: 返回a的p次幂

hive> ``select` `pow(2,4) ``from` `iteblog;``16.0
12、幂运算函数: power

语法: power(double a, double p)
返回值: double
说明: 返回a的p次幂,与pow功能相同

hive> ``select` `power(2,4) ``from` `iteblog;``16.0
13、开平方函数: sqrt

语法: sqrt(double a)
返回值: double
说明: 返回a的平方根

hive> ``select` `sqrt(16) ``from` `iteblog;``4.0
14、二进制函数: bin

语法: bin(BIGINT a)
返回值: string
说明: 返回a的二进制代码表示

hive> ``select` `bin(7) ``from` `iteblog;``111
15、十六进制函数: hex

语法: hex(BIGINT a)
返回值: string
说明: 如果变量是int类型，那么返回a的十六进制表示；如果变量是string类型，则返回该字符串的十六进制表示

hive> ``select` `hex(17) ``from` `iteblog;``11``hive> ``select` `hex(‘abc’) ``from` `iteblog;``616263
16、反转十六进制函数: unhex

语法: unhex(string a)
返回值: string
说明: 返回该十六进制字符串所代码的字符串

hive> ``select` `unhex(‘616263’) ``from` `iteblog;``abc``hive> ``select` `unhex(‘11’) ``from` `iteblog;``-``hive> ``select` `unhex(616263) ``from` `iteblog;``abc
17、进制转换函数: conv

语法: conv(BIGINT num, int from_base, int to_base)
返回值: string
说明: 将数值num从from_base进制转化到to_base进制

hive> ``select` `conv(17,10,16) ``from` `iteblog;``11``hive> ``select` `conv(17,10,2) ``from` `iteblog;``10001
18、绝对值函数: abs

语法: abs(double a) abs(int a)
返回值: double int
说明: 返回数值a的绝对值

hive> ``select` `abs``(-3.9) ``from` `iteblog;``3.9``hive> ``select` `abs``(10.9) ``from` `iteblog;``10.9
19、正取余函数: pmod

语法: pmod(int a, int b),pmod(double a, double b)
返回值: int double
说明: 返回正的a除以b的余数

hive> ``select` `pmod(9,4) ``from` `iteblog;``1``hive> ``select` `pmod(-9,4) ``from` `iteblog;``3
20、正弦函数: sin

语法: sin(double a)
返回值: double
说明: 返回a的正弦值

hive> ``select` `sin(0.8) ``from` `iteblog;``0.7173560908995228
21、反正弦函数: asin

语法: asin(double a)
返回值: double
说明: 返回a的反正弦值

hive> ``select` `asin(0.7173560908995228) ``from` `iteblog;``0.8
22、余弦函数: cos

语法: cos(double a)
返回值: double
说明: 返回a的余弦值

hive> ``select` `cos(0.9) ``from` `iteblog;``0.6216099682706644
23、反余弦函数: acos

语法: acos(double a)
返回值: double
说明: 返回a的反余弦值

hive> ``select` `acos(0.6216099682706644) ``from` `iteblog;``0.9
24、positive函数: positive

语法: positive(int a), positive(double a)
返回值: int double
说明: 返回a

hive> ``select` `positive(-10) ``from` `iteblog;``-10``hive> ``select` `positive(12) ``from` `iteblog;``12
25、negative函数: negative

语法: negative(int a), negative(double a)
返回值: int double
说明: 返回-a

hive> ``select` `negative(-5) ``from` `iteblog;``5``hive> ``select` `
最低0.47元/天 解锁文章
baidu_41555315
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
vue实现日历备忘录功能
10-16
在本文中，我们将探讨如何使用Vue.js框架来实现一个日历备忘录功能。Vue.js是一个流行的前端JavaScript库，用于构建用户界面。实现日历备忘录功能涉及到多个组件和交互设计，包括日历的展示、日期选择以及备忘录的...
Clickhouse 类型转换函数实战总结
qq_41018861的博客
05-21 1万+
数据精度丢失问题 当把一个值从一个类型转换为另外一个类型的时候，你需要注意的是这是一个不安全的操作，可能导致数据精度的丢失。数据精度丢失一般发生在你将一个大的数据类型转换为小的数据类型的时候，或者你把两个不同的数据类型相互转换的时候。 ClickHouse和C++有相同的类型转换行为。 toInt(8|16|32|64) 转换一个输入值为Int类型 函数说明： toInt8(expr) — 结果为Int8数据类型。 toInt16(expr) — 结果为Int16数据类型。 toInt32(expr) —
设计模式学习笔记--Memento 备忘录模式
weixin_33770878的博客
10-14 99
  在软件的构建过程中，某些对象的状态在转换过程中，可能由于某种需要，要求程序能够回溯到对象之前某个点时的状态，如果使用一些公有接口来让其他对象得到对象的状态，便会暴露对象的细节实现。      如何实现对象状态的良好保存与恢复？但同时又不会因此而破坏对象本身的封装性。   Memento 备忘录模式提供解决途径，它在不破坏封装性的前提下，捕获一个对象的内部状态，并在这个对象之外保存这个状态。...
设计模式之备忘录模式
chengxu2011的专栏
01-04 407
睡觉前就再讲一下备忘录模式吧呵呵。。  备忘录模式所要完成的功能就是能做一个备忘的功能，可以把一个对象还原到这个对象上个状态的功能。说白了就是能向我们MyEclipse一样ctrl+z能恢复到上一步，接下来就用代码来说明下一这个备忘录模式： package com.djk.design.备忘模式; import java.lang.reflect.Method; import java.ut
Python基础函数使用知识
confusingggg的博客
10-03 682
1.Python中ASCII码的数字和字符的转换 将ASCII字符转换为对应的数值即‘a’–>65，使用ord函数,ord(‘a’) 使用chr函数，将数值转换为对应的ASCII字符，chr(65)。 2.Python中字符和数字的转换 将字符转为数字类型，使用eval()。如:eval(“123”)等价于数字123。 将数值转为字符类型，使用str()。如:str(123)等价于字符"123"。 特别提醒：数值类型使用eval()会报错，如:eval(123),这是错误的， 同理，str()也是如此
Clickhouse的数据存储原理、二进制文件内容分析与索引详解
大数据开发、JAVA开发、人工智能AI
03-13 2121
Clickhouse的数据存储原理、二进制文件内容分析与索引详解
clickhouse 数据类型转换
热门推荐
weixin_38424594的博客
03-17 2万+
1. 数值/日期类转换 1.1 常规类型转换 1.2 -OrZero系列 1.3 -OrNull系列 2. 字符串转换 3. 通用的转换函数CAST(x, t) 4. 时间相关转换 1. 数值/日期类转换 1.1 常规类型转换 大类 细类 描述 toInt(8|16|32|64) toInt8(expr) 转换为有符号的整数，转换向零舍入（截断数字的小数位）。nan和inf未定义。 toInt16(expr) toInt32(expr) t.
jQuery带备忘录功能的日期选择器特效代码
03-20
**jQuery带备忘录功能的日期选择器特效代码详解** 在网页开发中，日期选择器是一种常见的用户交互组件，用于方便用户输入或选择日期。jQuery作为一款强大的JavaScript库，提供了丰富的插件来扩展其功能，其中包括了...
手机备忘录程序
12-29
【手机备忘录程序】是一种常见且实用的智能手机应用程序，主要功能是帮助用户记录日常生活、工作中的重要事项或想法，确保不会遗忘待办任务。它通常具有简洁的用户界面和高效的提醒机制，使得用户可以方便地创建、...
使用spark.streaming.kafka.consumer.poll.ms和reconnect.backoff.ms解决spark streaming消费kafka时任务不稳定的问题
weixin_36585549的博客
07-06 4218
问题描述 在用spark streaming程序消费kafka的数据时，遇到了一个神奇的现象：同样的数据量、相似的数据，在消费时，有些批次的数据在做map操作时神奇的多了40多秒，具体看下面的数据：在map操作时，有些是几秒，有些稳稳的是41s！如果是偶然出现还好，但是，大部分的作业都是在map时花了刚好41s。这就很神奇了。 1.map:2s 2.map:41s 3.map:0.8s 4.map:41s 5.map:41s 解决过程 1.一开始，怀疑是executor的问题。因为我的ex
sparkStreaming 微批处理任务监控
qq_39209107的博客
05-13 614
sparkstreaming任务在处理数据时存在堆积情况，但是仍然会不断从kafka拉取数据 首先先说2个参数 spark.streaming.kafka.consumer.poll.ms spark去kafka取数的时候，会有一个超时时间。如果两次尝试后都出现了超时，这个任务就会失败，然后spark会把这个任务分发到其它的executor上面去执行，这就会导致一定的调度耗时。 在spark中这个参数的默认值是512ms。如果超时时间很短，但是kafka响应的时间很长，这就会导致spark中有很多的任务失败
ClickHouse函数整理（详细）
Fresh_man888的博客
11-18 4426
1、日期类函数 1.1 时间或日期截取函数（to）—— 返回非日期 函数用途举例结果toYear()取日期或时间日期的年份toYear(toDateTime(‘2018-12-11 11:12:13’)) toYear(toDate(‘2018-12-11’))返回 2018 返...
记一次spark streaming+kafka 运行时间不稳定调优历程
u013716179的博客
06-30 5062
spark streaming+kafka运行batch process time不稳定问题梳理问题现象排障调优历程解决方案 问题现象 题主在去年8月份首次使用spark streaming进行流式计算的时候遇到的一个问题，即spark streaming读取kafka消息进行流式计算, 但是在数据量比较大的情况下总会出现一些batch的process time比较长，但是大多数batch能在较短...
SparkStreaming报Failed to get records for ... after polling for ...问题分析解决
u011250186的博客
09-23 227
SparkStreaming报Failed to get records for ... after polling for ...问题分析解决
SparkStreaming与Kafka集成问题汇总
weixin_39684625的博客
05-29 1556
!!!!!!!!!!spark的启动：./bin/spark.shell1、SparkStreaming从Kafka中取出数据进行计算，其Kafka的生产者还是用上一篇博客的producer.java2、SparkStreaming拉取数据：用maven管理：（1）pom.xml文件&lt;project xmlns="http://maven.apache.org/POM/4.0.0" xmln...
java中十进制转二进制转换函数
编程小菜鸟的学习生涯
07-21 1万+
java中十进制转二进制转换函数  分类： Java 十进制转成十六进制：  Integer.toHexString(int i)  十进制转成八进制  Integer.toOctalString(int i)  十进制转成二进制  Integer.toBinaryString(int i)  十六进制转成十进制  Integer.valueOf("F
clickhouse之常用函数整理（官网）--持续更新
普普通通程序猿的博客
10-31 776
根据clickhouse官网资料进行整理、汇总，方便日常查询使用。 1. 算术类型 函数 说明 参数 返回值 plus(a, b) 加法运算 a,b可以是数值类型，也可以一个是数值类型，另一个是日期类型 如果a,b均为数值类型，则返回数值；如果a为日期类型，则a+b表示在日期a之后添加b天；如果a为时间类型，则a+b表示在时间a之后添加b秒 minus(a, b) 计算差值 a,b可以是数值类型，也可以一个是数值类型，另一个是日期类型 同plus函数 multiply(a, b).
java进制相互转换方法
chuxin_mm的博客
12-10 776
1. 将十进制数任意转为其他进制 public class TestOne { public static void main(String[] args) { // 传入十进制数据：16 BigInteger in = new BigInteger(String.valueOf(16)); // 转二进制 System....
andorid studio备忘录
最新发布
03-11
Android Studio备忘录是一个用于记录和管理备忘事项应用程序。它是基于Android平台开发的，提供了丰富的功能和用户友好的界面，方便用户随时记录和查看备忘录。 以下是Android Studio备忘录的一些主要功能： 1. 创建备忘录：用户可以通过应用程序创建新的备忘录，并为每个备忘录设置标题、日期和内容。 2. 编辑备忘录：用户可以随时编辑已创建的备忘录，修改标题、日期和内容。 3. 删除备忘录：用户可以删除不再需要的备忘录，以保持备忘录列表的整洁。 4. 搜索备忘录：用户可以使用关键词搜索功能，快速找到特定的备忘录。 5. 分类备忘录：用户可以为备忘录添加标签或分类，方便按照不同主题或用途进行组织和查找。 6. 提醒功能：用户可以设置提醒时间，以便在指定时间收到备忘录的提醒通知。 7. 导出和导入备忘录：用户可以将备忘录导出为文件，或从文件中导入已有的备忘录。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值