Hive
x²+(y-√³x²)²=1
你的穷途末路,却带给其他人未知的过往。
展开
-
hive修复表数据
对于外部表,删除表结构之后。再次新建表,需要使用 load 命令来导入数据,如果待 load 的文件太多,得 load 多次,很麻烦。这个时候,我们可以使用下面的命令。mack repair table tablename;原创 2022-04-17 21:55:23 · 1696 阅读 · 0 评论 -
不打开Hive客户端,直接在终端执行Hive语句
直接在终端执行一条 hive sql 命令hive -e "sql语句"执行一个多条 hive sql 语句,将执行的语句放到一个文件中。这个文件的后缀名可以是: .txt 、 .sql 、 .log 、 .hqlhive -f 文件(里面是sql语句)当然也可以将执行的结果放到一个文件中,使用 >...原创 2021-11-08 14:11:44 · 1203 阅读 · 0 评论 -
Hive修改表结构
1.修改表名字alter table 表原来的名字 rename to 表新的名字; 2.查询表结构desc 表名字; 3.添加列alter table 表名字 add columns (列名字 列字段类型 comment '字段注释'); 4.更新列alter table 表名字 change column 列原来的名字 列的新名字 列的新字段类型 comment '字段注释'; 5.删除表drop table 表名字; 6.删除表部分分区alter table 表名字 d原创 2021-11-04 13:54:09 · 765 阅读 · 0 评论 -
SQL中变量的使用
Mysql 中设置变量day的几种写法:set @day = "2019-08-01";set @day := "2019-08-01";select @day := "2019-08-01";注意:如果使用 select 关键词进行变量赋值时,不可以使用 = 号,因为会默认把它当作比较运算符,而不是赋值,但是用关键词 set 进行变量赋值时是可以直接用 = 号的MySQL中变量的使用:set @day = "2019-08-01";select order_idfrom原创 2021-07-26 18:55:41 · 65 阅读 · 0 评论 -
Hive提示Establishing SSL connection without server is not recommended
Hive 一直提示,导致生成 hive.err 文件:Establishing SSL connection without server is not recommended。According to MySQL 5.5.45+ requirements SSL connection must be established by default if explicit option is not set。For compliance with existing applications not usin原创 2021-03-14 20:27:56 · 127 阅读 · 0 评论 -
Hive使用Snappy压缩,Parquet格式存储文件
一、数据内容95002,刘晨,女,19,IS95017,王风娟,女,18,IS95018,王一,女,19,IS95013,冯伟,男,21,CS95014,王小丽,女,19,CS95019,邢小丽,女,19,IS95020,赵钱,男,21,IS二、查看 HDFS 是否支持 Snappy 格式在 shell 命令行执行:hadoop checknative返回:21/01/26 20:32:52 WARN bzip2.Bzip2Factory: Failed to load/init原创 2021-01-26 22:10:41 · 3774 阅读 · 0 评论 -
在Hive中修改表名、字段的类型、增加字段
Hive 修改表名alter table 旧表名 rename to 新表名;Hive 修改字段名称 / 字段类型(注意:修改字段类型时要避免数据类型冲突)alter table 表名 change column 原字段名称 现字段名称 数据类型;Hive 新增字段表alter table 表名 add columns(字段名 数据类型);Hive 修改表的字段顺序alter table 表名 change column 原字段名称 现字段名称 数据类型 comment 注释 after原创 2020-12-29 21:54:30 · 2513 阅读 · 0 评论 -
Hive 查询结果中显示库名、列名(不带表名)
在 ${HIVE_HOME}/conf/hive-site.xml 配置文件里添加如下内容:<property> <name>hive.cli.print.header</name> <value>true</value> <description>Whether to print the names of the columns in query output.</descrip原创 2020-11-08 08:47:19 · 474 阅读 · 0 评论 -
hive实现分页
hive实现分页SELECT * FROM ( SELECT row_number() over ( ORDER BY xx ) AS rnum, TABLE.* FROM TABLE ) t WHERE rnum BETWEEN 1 AND 10;原创 2020-09-20 22:48:17 · 175 阅读 · 0 评论 -
hive建表之后,给表名加注释
给表名添加注释hive建表时没给表加注释(是表的注释,不是字段的注释),现在想补一下,在不能删表的前提下的操作方法:ALTER TABLE 表名 SET TBLPROPERTIES ('comment' = '注释内容') 举个例子: ALTER TABLE da.shop_recharge_serial_monthly SET TBLPROPERTIES ('comment' = '财务月结数据表')注意:comment一定要是小写的,不能是COMMENT,且必须要加单引号!!!增加之后原创 2020-09-20 22:47:02 · 1731 阅读 · 0 评论 -
将压缩的数据加载到Hive表中
在本文中,我们将学习如何将压缩数据(gzip和bzip2格式)加载到Hive表中。1)在本地文件系统上创建一个名为 employee_gz 的文件,并使用 gzip 命令将其转换为 gz 格式的文件。[root@master /hdfs] cat employee_gzBalu,300000,10,2014-02-01Radha,350000,15,2014-02-05Nitya,325000,15,2015-02-06Bubly,350000,25,2015-05-01Pandu,30000原创 2020-05-21 21:38:59 · 1136 阅读 · 0 评论 -
在Hive表中加载数据时跳过第一行
在Hive加载数据的时候,往往有些格式化的数据文件(比如txt,csv、excel等)的第一行都是字段名,这时候,我们就得跳过第一行去加载。因为Hive的数据文件不需要加载列名什么的。那么就得在创建表的时候就指定跳过第一行(加载数据的时候,跟往常还一样,不变)。下面是创建一个普通的Hive外部表create external table student_ext ( sno int, sn...原创 2020-03-30 10:29:53 · 1344 阅读 · 0 评论 -
Hive之内部表、外部表、分区表
内部表在HDFS上默认的存储路径hdfs://IP:8020/user/hive/warehouse/数据库名.db/表名内部表的创建create table student(Sno int,Sname string,Sex string,Sage int,Sdept string) row format delimited fields terminated by ',';将文件上传...原创 2020-03-16 22:35:48 · 166 阅读 · 0 评论