hive
文章平均质量分 57
MusicDancing
这个作者很懒,什么都没留下…
展开
-
Tableau 新建工作薄
123原创 2024-03-12 18:41:28 · 438 阅读 · 0 评论 -
hive json字段解析
在写Hive SQL时,需要从一个json列中解析出多个key的信息,可以使用get_json_object或json_tuple。原创 2023-04-11 11:46:24 · 756 阅读 · 1 评论 -
hive left join 字段不一致
两个hive表left join时,由于关联字段类型不同导致的数据错误(bigint、string),结果会多出来一批数据。select a.id as id1,b.id as id2from table1 aleft join table2 bon a.id = b.idwhere a.id = '1257829907772824682'-- 1257829907772824682 1257829907772824682-- 1257829907772824682 12578299原创 2022-05-09 17:38:13 · 1213 阅读 · 0 评论 -
hive 列转行与行专列
1. piovt 列转行实现将原始表转为目标表原创 2022-05-07 15:38:12 · 1012 阅读 · 0 评论 -
hive 常见set字段1
11```bashuse adst;set mapreduce.job.queuename=${hiveconf:mp_queue};set mapreduce.reduce.java.opts=-=-Xmx10000m;set mapred.reduce.tasks=5;set mapred.min.split.size.per.node=3200000;set mapred.min.split.size.per.rack=3200000;set mapred.max.split.size原创 2021-09-13 13:57:11 · 265 阅读 · 0 评论 -
常用sql语句
1. 插入一条数据insert into table_name(name,sex) values(‘Joe’,‘男’);2. 更新一条数据3. 删除一条数据delete from table_name [WHERE condition(s)];4. truncate table 删除表的所有数据(截断表)truncate table table_name;truncate table是清空一个表,是一个DDL语言,速度快,效率高,它的主要功能就是彻底删除数据..原创 2021-05-06 19:43:46 · 200 阅读 · 0 评论 -
Hive 常用案例分析
得到一个不重复的数据样本1. rand()产生一个介于0和1之间的随机数select rand();# 0.5523740163966064# 指定随机种子,以后使用这个种子每次产生的随机数都是一样的。select rand(1234);# 0.64658216029092562. order by rand()对结果进行随机排序# 数据随机排序后取前100条select uid from tablename order by rand(1234) limit 10.原创 2020-12-01 14:49:23 · 5518 阅读 · 1 评论 -
hive 表创建及字段信息管理
1. 修改字段名或字段类型hive表,能增加列,不可以删除列,但可以改列名;对于分区表,要使用cascade才会对所有分区生效,否则,历史分区不会生效。--修改字段名alter table tablename change value1 value1_new string [cascade];--修改字段类型alter table tablename change column value1 value1 int [cascade];--增加新字段alter table tablen原创 2020-11-25 16:31:07 · 12362 阅读 · 0 评论 -
Hive 中的window函数
hive 中 grouping sets,cube,rollup使用说明: grouping sets:根据不同维度的字段组合进行聚合,等价于将不同维度的GROUP BY结果集进行UNION ALL。 cube:根据group by维度的所有组合进行聚合。 rollup:为cube的子集,以最左侧的维度为主,从该维度进行层级聚合。 grouping_id:表示结果属于哪一个分组集合,属于虚字段 本质上来看,grouping sets是一种将多个group by ...原创 2020-09-20 17:24:02 · 427 阅读 · 1 评论 -
hive 行转列 lateral view 与 explode函数
hive 中通过lateral view 与explode 实现行转列功能explode作用是处理map结构的字段,使用案例如下(hive自带map,struct,array字段类型):drop table if exists XX;create table XX( area string ,goods_id string ,sale_info string)ROW FORMAT DELIMITEDFIELDS TERMINATED BY '|'STORED AS原创 2020-09-06 17:36:23 · 1389 阅读 · 0 评论 -
hive 保留四位小数
1. decimal()select cast(100.200150001 as decimal(20,4));100.20022.round()select round(11.000000111,4);11.03.regexp_extract() 正则字符串截取(不会四舍五入)select regexp_extract(1.00008,'([0-9]*.[0-9][0-9][0-9][0-9])',1);1.0000...原创 2020-09-04 09:05:13 · 5370 阅读 · 0 评论 -
hive字符串拼接常用方法
hive中常用的一些拼接函数1. concat() 实现把若干个字段(字段类型可不相同)数据拼接起来用法: concat(string a1, int a2, float a3)select concat("aa", 11, 2.2);aa112.2不同字段之间用分隔符连接("_")select concat("aa","_",11,"_",2.2);aa_11_2.22. concat_ws() 使用分隔符将若干个字符串拼接起来,实现“列转行” 用法: 其...原创 2020-09-03 23:52:00 · 34233 阅读 · 0 评论 -
hive调用方式及数据导出
1.创建hive 表(1) 方法一:使用建表语句创建,可以指定分隔符use test_db;drop table if exists tablename;CREATE TABLE tablename ( id string ,name string ,age int)ROW FORMAT DELIMITED FIELDS TERMINATED BY ','STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.TextInp原创 2020-08-12 19:47:41 · 3083 阅读 · 2 评论 -
常用Hive函数及自定义UDF函数创建
1.shell环境下执行sql语句,结果写入文件hive -e " select id ,name from test.table_01 limit 100;" >tt2. 查看hive建表语句,在hdfs中的位置show create table tablename;3. 查看hive表元数据信息(创建时间,字段,位置,数据条数,数据大小)desc formatted tablename;查看分区表元数据信息:desc formatted...原创 2020-08-12 18:04:55 · 581 阅读 · 0 评论