- 博客(6)
- 资源 (11)
- 收藏
- 关注
RSS订阅原创 order by 排序HiveSQL
工作时常会有根据某个或某几个字段的值大小进行排序的需求，hive sql 同sql一样支持多个字段进行升降序排序，其中各个字段之间用逗号进行分割，当未注明desc（降序）还是asc(升序）时默认的是进行升序排序。下文以两个字段为例进行笔记记录。1） order by column1,column2;--未注明，则两个字段都是进行升序，即先按column1进行升序排序，当column1的值相同的时候，则继续按column2的值进行升序排序显示。2） order by column1,column2 d
2021-01-17 10:34:00
2300
原创 left join on 筛选与where筛选的比较
join on后面也能进行条件筛选，where后面也能加条件进行筛选，但两者的结果是不一样的。下面通过实际数据案例来说明问题。数据准备：建表与写入数据A 表hive >create table tempTableAzw(id int,name string ,grade int ,dept int ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|';hive >load data local inpath '/data0/VR.
2021-01-16 23:07:03
2216
原创 explode与lateral view解析 hive
工作中看代码时遇到lateral view explode(split(sni_type,',')) snTable as sni_info ，初看挺一脸懵逼的，细查之后才明白是对字段sni_type进行分割之后，将分割后中的元素值转换为了多行。具体：split()函数split()函数用于分割数据。语法格式为split(str,sep) ,参数str为字符串类型的字段，sep为分割符（支持正则），结果返回一个数组array。如上面split(sni_type,',') ，假设字段sni_typ..
2021-01-16 12:02:24
383
原创 Hive 函数学习总结1(数学统计、字符串处理函数）
在处理数据时，完全可以借助hive 本身就已经自带的多种功能强大的函数，在拉数据的时候就同时进行了处理，不需要再傻傻的拉到本地再借助python去处理了。本文结合参考文献，将自己工作中遇到过的部分函数记录下来，进行简单介绍与用作备忘。(在不知道有哪些函数的时候，可以通过hive -e "show functions ;"查看里面有的函数。目录数学统计类函数字符串函数1、字符串长度函数：length2、分割字符串函数: split ****3、带分隔符字符串连接函数：concat_ws
2021-01-15 22:25:34
1492
原创 查询某一个特征(字段)的取值种类有多少(去重）
hive sql 中，查询某个字段的取值总共有多少个类别，只需要count一下即可，但需要注意加distinct.如查询表中符合条件的uuid总共有多少个类别（独立不重复的uuid 有多少）-- 独立的uuid总数select count(distinct(uuid))from bigTable0111zwwhere cre_mod in ('tianyi_npagev', 'tianyi_nspagev') and sni_info='7';-- 结果输出 5993distin
2021-01-15 20:06:04
7590
原创 hive 数据写入
hive表中数据的写入主要有 insert into(overwrite) values 、 insert ... select 、 load 、 create table as select ... dataTable 这几种方式。其中hive从0.14版本开始支持 insert into table values (line data)的形式。创建/查看/使用/删除 数据库建表的方式从头建表和从已有表中建表-- 方式一 从头建表此表drop table if exists zw;.
2021-01-12 23:51:21
4605
64位的win7系统破解版的AD10的免费和无广告注册下载，另外附有安装详解
2015-01-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人