hive
初入小萌新
这个作者很懒,什么都没留下…
展开
-
hive分区
创建一个分区表create table comm(id int,comment String,dt String)partitioned by (year String)row format delimited fields terminated by '\t';数据导入load data inpath '/data/d1' into table comm parti...原创 2018-07-28 15:33:51 · 130 阅读 · 0 评论 -
Hive的命令
create database 数据库名大部分命令和sql命令一样其创建出来的数据库在hdfs文件系统中的/user/hive/warehouse可以通过下面这个命令查看hdfs dfs -ls /user/hive/warehouse创建表create table hivetable3(id bigint,name String,sex tinyint)row...原创 2018-07-27 22:14:49 · 2629 阅读 · 0 评论 -
hive分区2
这句话是将已经有内容的表comm3添加到分区表comm4中去需要设置 set hive.exec.dynamic.partition.mode=nonstrict;此时插入数据不需要设置成nonstrict只需要设置成strict插入了2016这个数据...原创 2018-07-28 17:28:55 · 137 阅读 · 0 评论 -
hive内部函数
select split(rand()*100,'\\.')[0];随机取整数select round(rand()*100);随机取整数select round(rand()*100,2);//后面跟的是小数的位数select substring(rand()*100,0,2);select regexp_replace("a.jpg","jpg","png");//jpg替换成...原创 2018-07-28 21:04:47 · 427 阅读 · 0 评论 -
自定义hive的函数
package com.udf;import org.apache.hadoop.hive.ql.exec.UDF;public class MyConcatUdf extends UDF{ public String evaluate(String word) { if(word == null) { return "NULL"; } return word+"_...原创 2018-07-28 21:57:17 · 162 阅读 · 0 评论 -
hive jdbc 插入中文数据乱码 解决
在插入的数据中对中文数据进行解码和转码string= new String(string.getBytes("unicode"),"iso-8859-1");再插入数据就不再乱码了原创 2018-08-28 21:48:42 · 839 阅读 · 0 评论 -
hive 分区和分桶
一、为啥分区hive 为了避免全表查询,从而引进分区,将数据按目录进行划分,减少不必要的查询,从而提高效率二、hive的分区和mysql分区的区别mysql的分区字段用的是表内字段,hive的分区字段采用表外字段,也就是使用伪字段,分区字段在创建表的时候指定分区的关键字:partitioned by(字段)三、静态分区练习create table if not exist...原创 2018-10-15 19:13:16 · 2239 阅读 · 0 评论