hive
王文友
这个作者很懒,什么都没留下…
展开
-
hive命令3
hive命令31.重命名表 --stud:表名create external table stud (state string) location ‘/opt/stud’;alter table stud rename to stud_old;2.修改表的存储属性(1)alter table(2)删除该表,然后重新创建表,修改create table中的存储属性3.orc文件格式...原创 2019-08-18 17:03:48 · 177 阅读 · 0 评论 -
hive随笔2
1.查看建表语句show create table table_name;2.查看表的元信息desc table_name;desc extended table_name;desc formatted table_name;3.重命名表alter table table_name to rename to new_table;4.创建数据库cretae database dat...原创 2019-08-22 16:29:43 · 124 阅读 · 0 评论 -
hive命令2
hive命令21.创建表–stud:表名 retail–数据库名create external table stud(fname string,lname string,address struct (houseno:string, street:string, city:string), //这一行用()代替<>,<>代码不显示active boole...原创 2019-08-17 16:31:33 · 117 阅读 · 0 评论 -
hive命令1
hive命令1.登录到hivecd $HIVE_HOMEbin/hive或者环境变量没问题的话,直接hive>show databases;show tables;4.查看表列的定义describe <表名>;5.查看表具体的某一列describe <列名>;6.查看10条列的信息select * from <列名> l...原创 2019-08-17 16:29:17 · 221 阅读 · 0 评论 -
hive随笔1
1.查看一个有很多内容的1.txt文件,可以先看一点内容head 1.txt2.hive基本语法-建表create [external] table table_name(a int,b string,c string)partitioned by(非必选,创建分区表 dt string)clustered by (userid) into 3000 buckets //非...原创 2019-08-21 16:18:24 · 115 阅读 · 0 评论 -
hive命令9
1.将查询到的数据写入文件系统insert [overwrite]directory directorynameselect select_fileds from from_statement;语法解释:(1)insert --将数据向hive装载数据的关键字(2)overwrite --如果包含,支持用户将数据装载到一个早已建好的表中并且替换原来的数据如果省略,支持用户将数据装...原创 2019-08-21 16:17:02 · 215 阅读 · 0 评论 -
hive视频日志转换格式
crontab -e //打开1 */1 * * * sh /opt/cp_movie_data.sh //每个小时第一分钟执行一次3 */1 * * * nohup sh /opt/up_movie_data.sh >> /opt/local/log.log 2>&1 & //一般...原创 2019-08-25 16:41:03 · 111 阅读 · 0 评论 -
hive随笔7
cd /optvi test.sh#!/bin/bashdatetime=(date′+source/etc/profilehive−e"loaddatalocalinpath′/opt/datame.txt′intotableshujuku.tablenamepartition(dt=(date '+%Y%m%d%H')sour...原创 2019-08-24 16:38:58 · 113 阅读 · 0 评论 -
hive随笔6
1.udf函数可以直接应用于select语句,对查询结构做格式化处理后,再输出内容2.编写udf函数的时候需要注意以下几点(1)自定义udf需要继承org.apache.hadoop.hive.ql.exec.UDF(2)需要evaluate函数3.步骤(1)把程序打包放到目标机器上去(2)进入hive客服端,添加jar包:add jar /usr/local/testdata/hiv...原创 2019-08-24 16:38:27 · 85 阅读 · 0 评论 -
hive命令8
1.将数据装载到表中load data [local] inpath ‘filepath’ [overwrite] into table table_name;(1)load data --向hive装载数据的关键字(2)local --如果包含该关键字,则支持用户从其本地文件装载数据如果省略该关键字,则从hadoop配置变量fs.default.name中设定的路径加载文件(3)in...原创 2019-08-20 16:30:29 · 89 阅读 · 0 评论 -
hive命令7
1.重命名分区alter table ids partition (datestamp=‘2016-05-31’) rename topartition (datestamp=‘31-05-2016’);show partitions ids;datestamp=2016-05-30 (修改前)datestamp=31-05-2016 (修改后)2.修改列–添加列在schema-on...原创 2019-08-20 16:29:59 · 348 阅读 · 0 评论 -
hive随笔5
1.udf函数可以直接应用于select语句,对查询结构做格式化处理后,再输出内容2.编写udf函数的时候需要注意以下几点(1)自定义udf需要继承org.apache.hadoop.hive.ql.exec.UDF(2)需要evaluate函数3.步骤(1)把程序打包放到目标机器上去(2)进入hive客服端,添加jar包:add jar /usr/local/testdata/hiv...原创 2019-08-23 16:48:00 · 105 阅读 · 0 评论 -
hive随笔4
1.row_number() //窗口函数–一般用于分组中求TopN需求:每。。。。。前几名。。。。。//给每个分组数据打上行号作用:把每一组的每一行都打上数字,1,2,3…然后取自己要用的行语法:select * from (select name,data_time,row_number() over(partition by name order cost desc) a...原创 2019-08-23 16:47:10 · 119 阅读 · 0 评论 -
hive命令6
1.更改表分区(1)为已有表添加分区,首先为外部表创建一个目录,并且在hdfs上创建2个分区alter table add partitionhadoop fs -mkdir /user/demo/idshadoop fs -mkdir /user/demo/ids/2016-05-31hadoop fs -mkdir /user/demo/ids/2016-05-30将数据复制到这些...原创 2019-08-19 17:27:25 · 75 阅读 · 0 评论 -
hive命令5
hive命令51.分桶hive中的分桶是另一种将数据切分为更小片段的方式,然而,高效的分区要求采用分区键,并不会导致出现大量的非常小的分区因此,对于你的分区键有很多的值,但是分区键的每个值都没有多少行时,那么分区并不是最佳选择,此时分桶很适合这种情形2.分桶可以让你为每个表的分桶列定义桶的最大数目,hive中的一个分区就是一个目录,分区键的值存放在实际的分区目录名中,而分区键是表中的...原创 2019-08-19 17:26:45 · 228 阅读 · 0 评论 -
hive命令4
hive命令41.分区注意事项(1)挑选一列作为分区键,其唯一值的个数应在较低值到中间值之间(2)避免分区小于1GB(越大越好)(3)当分区数量较多时,调整HiveServer2和Hive Metastore的内存(4)当使用多列作为分区键时,对于每一个分区键列的组合都要创建一个子目录的嵌套树。应该避免深入嵌套,因为这回导致太多的分区,进而使创建的文件非常小(5)当使用hive流处理...原创 2019-08-18 17:04:20 · 107 阅读 · 0 评论 -
hive随笔3
1.hive函数使用if函数 if( , , )if(条件表达式,如果条件成立返回值,如果条件不成立返回值)select age,if(person_age=‘0’,null,person_age) from student;case when 函数 case when … endcase a when b then c [when d then e]* [else] en...原创 2019-08-22 16:30:21 · 203 阅读 · 0 评论