数据仓库工具Hive——数据类型&文件编码格式

已于 2022-12-14 17:28:57 修改
阅读量2.4k 收藏 82
点赞数 23
文章标签： hive 数据仓库 hadoop
于 2021-05-17 20:04:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43408367/article/details/116946847
版权

文章目录

Hive -help 查看hive命令

[root@linux123 ~]# hive -help
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/lagou/servers/hive-2.3.7/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/lagou/servers/tez/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/lagou/servers/hadoop-2.9.2/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
usage: hive
 -d,--define <key=value>          Variable substitution to apply to Hive
                                  commands. e.g. -d A=B or --define A=B
    --database <databasename>     Specify the database to use
 -e <quoted-query-string>         SQL from command line
 -f <filename>                    SQL from files
 -H,--help                        Print help information
    --hiveconf <property=value>   Use value for given property
    --hivevar <key=value>         Variable substitution to apply to Hive
                                  commands. e.g. --hivevar A=B
 -i <filename>                    Initialization SQL file
 -S,--silent                      Silent mode in interactive shell
 -v,--verbose                     Verbose mode (echo executed SQL to the
                                  console)

不进入hive交互窗口，执行sql语句：使用 hive -e + sql语句

[root@linux123 ~]# hive -e "select * from t1";
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/lagou/servers/hive-2.3.7/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/lagou/servers/tez/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/lagou/servers/hadoop-2.9.2/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]

Logging initialized using configuration in file:/opt/lagou/servers/hive-2.3.7/conf/hive-log4j2.properties Async: true
OK
t1.team	t1.year
活塞	1990
公牛	1991

hive 执行脚本中的sql语句：hive -f + 脚本

# 创建文件hqlfile.sql，内容：select * from t1
# 执行文件中的SQL语句
[root@linux123 ~]# hive -f hqlfile.sql
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/lagou/servers/hive-2.3.7/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/lagou/servers/tez/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/lagou/servers/hadoop-2.9.2/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]

Logging initialized using configuration in file:/opt/lagou/servers/hive-2.3.7/conf/hive-log4j2.properties Async: true
OK
t1.team	t1.year
活塞	1990

执行文件中的SQL语句，将结果写入文件

[root@linux123 ~]# hive -f hqlfile.sql >> result.log
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/lagou/servers/hive-2.3.7/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/lagou/servers/tez/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/lagou/servers/hadoop-2.9.2/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]

Logging initialized using configuration in file:/opt/lagou/servers/hive-2.3.7/conf/hive-log4j2.properties Async: true
OK
Time taken: 4.156 seconds, Fetched: 22 row(s)
[root@linux123 ~]#

退出Hive命令行：exitorquit
在命令行执行 shell 命令 / dfs 命令

hive> ! ls;
hive> ! clear;
hive> dfs -ls / ;

Hive的数据类型与文件格式

  1. Hive支持关系型数据库的绝大多数基本数据类型，同时也支持集合数据类型。

基本数据类型

  1. Hive类似和java语言中一样，支持多种不同长度的整型和浮点类型数据，同时也支持布尔类型、字符串类型，时间戳数据类型以及二进制数组数据类型等。
   大类                                         类型
   
Integers(整型)                           TINYINT -- 1字节的有符号整数
									    SMALLINT -- 2字节的有符号整数
										INT -- 4字节的有符号整数
										BIGINT -- 8字节的有符号整数
										
Floating point numbers(浮点数)           FLOAT -- 单精度浮点数
									    DOUBLE -- 双精度浮点数
										
Fixed pointnumbers(定点数)               DECIMAL -- 17字节，任意精度数字。通常用户自定义decimal(12, 6)

String(字符串)							STRING -- 可指定字符集的不定长字符串
										VARCHAR -- 1-65535长度的不定长字符串
										CHAR -- 1-255定长字符串
									
Datetime(时间日期类型)                    TIMESTAMP -- 时间戳（纳秒精度）
										DATE -- 时间日期类型

Boolean(布尔类型)						BOOLEAN -- TRUE / FALSE

Binary types(二进制类型)                  BINARY -- 字节序列

  1. 这些类型名称都是 Hive 中保留字。这些基本的数据类型都是 java 中的接口进行实现
    的，因此与 java 中数据类型是基本一致的：

    Hive 数据类型Java 数据类型长度样例
    TINYINTbyte1byte 有符号整数20
    SMALINTshort2byte 有符号整数20
    INTint4byte 有符号整数20
    BIGINTlong8byte 有符号整数20
    BOOLEANboolean布尔类型，true 或者falsetrue 或者false
    FLOATfloat单精度浮点数3.14159
    DOUBLEdouble双精度浮点数3.14159
    STRINGstring字符系列。可以指定字符集。可以使用单引号或者双引号。‘gond ’ ,“good”
    TIMESTAMP时间类型
    BINARY字节数组

  2. 对于 Hive 的 String 类型相当于数据库的 varchar 类型，该类型是一个可变的字符串,不过它不能声明其中最多能存储多少个字符，理论上它可以存储 2GB 的字符数.

Hive数据类型的隐式转换

  1. Hive的数据类型是可以进行隐式转换的，类似于Java的类型转换。如用户在查询中将一种浮点类型和另一种浮点类型的值做对比，Hive会将类型转换成两个浮点类型中值较大的那个类型，即：将FLOAT类型转换成DOUBLE类型；当然如果需要的话，任意整型会转化成DOUBLE类型。
  2. Hive 中基本数据类型遵循以下层次结构，按照这个层次结构，子类型到祖先类型允许隐式转换。
    在这里插入图片描述

Hive数据类型的显示转换

  1. Hive使用cast函数进行强制类型转换；如果强制类型转换失败，返回NULL

    hive> select cast('1111s' as int);
OK
NULL
hive> select cast('1111' as int);
OK
1111

Hive 集合数据类型

  1. Hive支持集合数据类型，包括array、map、struct、union，和基本数据类型一样，这些类型的名称同样是保留字；

  2. ARRAY 和 MAP 与 Java 中的 Array 和 Map 类似；

  3. STRUCT 与 C 语言中的 Struct 类似，它封装了一个命名字段集合，复杂数据类型允许任意层次的嵌套；

    类型描述示例
    ARRAY有序的相同数据类型的集合array(1,2)
    MAPkey-value对。key必须是基本数据类型，value不限map(‘a’, 1, ‘b’,2)
    STRUCT不同类型字段的集合。类似于C语言的结构体struct(‘1’,1,1.0),named_struct(‘col1’, ‘1’, ‘col2’, 1,‘clo3’, 1.0)
    UNION不同类型的元素存储在同一字段的不同行中create_union(1, ‘a’, 63)
    hive> select array(1,2,3);
OK
[1,2,3]

-- 使用 [] 访问数组元素
hive> select arr[0] from (select array(1,2,3) arr) tmp;

hive> select map('a', 1, 'b', 2, 'c', 3);
OK
{"a":1,"b":2,"c":3}

-- 使用 [] 访问map元素
hive> select mymap["a"] from (select map('a', 1, 'b', 2, 'c',3) as mymap) tmp;

-- 使用 [] 访问map元素。 key 不存在返回 NULL
hive> select mymap["x"] from (select map('a', 1, 'b', 2, 'c',3) as mymap) tmp;
NULL

hive> select struct('username1', 7, 1288.68);
OK
{"col1":"username1","col2":7,"col3":1288.68}

-- 给 struct 中的字段命名
hive> select named_struct("name", "username1", "id", 7, "salary", 12880.68);
OK
{"name":"username1","id":7,"salary":12880.68}

-- 使用 列名.字段名 访问具体信息
hive> select userinfo.id
> from (select named_struct("name", "username1", "id",7, "salary", 12880.68) userinfo) tmp;

-- union 数据类型
hive> select create_union(0, "zhansan", 19, 8000.88) uinfo;

Hive-文本文件数据编码

  1. Hive表中的数据在存储在文件系统上，Hive定义了默认的存储格式，也支持用户自定义文件存储格式。

  2. Hive默认使用几个很少出现在字段值中的控制字符，来表示替换默认分隔符的字符。

  3. Hive默认分隔符

    id name age hobby(array) score(map)
字段之间：^A
元素之间: ^B
key-value之间：^C
666^Alisi^A18^Aread^Bgame^Ajava^C97^Bhadoop^C87
create table s1(
	id int,
	name string,
	age int,
	hobby array<string>,
	score map<string, int>
);
load data local inpath '/home/hadoop/data/s1.dat' into table s1;
select * from s1;

  4. Hive分隔符

    分隔符名称说明
    \n换行符用于分隔行。每一行是一条记录，使用换行符分割数据
    ^A< Ctrl >+A用于分隔字段。在CREATE TABLE语句中使用八进制编码\001表示
    ^B< Ctrl >+B用于分隔 ARRAY、MAP、STRUCT 中的元素。在CREATETABLE语句中使用八进制编码\002表示
    ^C< Ctrl +C>Map中 key、value之间的分隔符。在CREATE TABLE语句中使用八进制编码\003表示

  5. Hive 中没有定义专门的数据格式，数据格式可以由用户指定，用户定义数据格式需要指定三个属性：列分隔符（通常为空格、“\t”、“\x001”）、行分隔符（“\n”）以及读取文件数据的方法。

  6. 在加载数据的过程中，Hive 不会对数据本身进行任何修改，而只是将数据内容复制或者移动到相应的 HDFS 目录中。

  7. 将 Hive 数据导出到本地时，系统默认的分隔符是A、B、^C 这些特殊字符，使用cat 或者 vim 是看不到的；

  8. 在 vi 中输入特殊字符：

    1. (Ctrl + v) + (Ctrl + a) => ^A
    2. (Ctrl + v) + (Ctrl + b) => ^B
    3. (Ctrl + v) + (Ctrl + c) => ^C

  9. ^A / ^B / ^C 都是特殊的控制字符，使用 more 、 cat 命令是看不见的；可以使用cat -A file.dat

读时模式

  1. 在传统数据库中，在加载时发现数据不符合表的定义，则拒绝加载数据。数据在写入数据库时对照表模式进行检查，这种模式称为"写时模式"（schema on write）。
    1. 写时模式 -> 写数据检查 -> RDBMS；
  2. Hive中数据加载过程采用"读时模式" (schema on read)，加载数据时不进行数据格式的校验，读取数据时如果不合法则显示NULL。这种模式的优点是加载数据迅速。
    1. 读时模式 -> 读时检查数据 -> Hive；好处：加载数据快；问题：数据显示NULL
努力转行的任同学...
关注
专栏目录
大数据｜Hive和数据仓库
知识库搭建ing
05-08 1254
Hive构建于分布式文件系统HDFS之上，提供了一种类似于SQL的数据查询分析查询接口。
数据仓库建设实践——如何通过数据仓库建设提升效率并确保数据质量
程序员光剑
07-31 3200
随着互联网经济的快速发展，全球消费者对汽车的需求越来越旺盛。在全球范围内，公共汽车运营商(PSA)正在竞争激烈，包括美国的Tesla、上海的东风、中国的福特等。全球公共汽车市场规模每年呈现爆炸性增长态势。其中，美国曾经的领先地位已经被中国的车企掌控，新赛道的崛起也给PSA带来巨大的机遇。然而，美国的 Tesla 在上市过程中也面临过很多困难，很难说它是否真正站到了自己的立场上。
hive开发规范
烂笔头的专栏
07-09 1243
一、 建表规范： Hiive分为内部表和外部表，一般情况，只允许建外部表，不建议使用内部表。 LZO标准建表模板如下所示： create EXTERNAL table app_sku_pur_attrib ( stat_dt string comment ‘统计日期’ , ord_item_units double comment ‘下单商品件数’, valid_ord_qtty ...
hive 怎么查看编码
最新发布
weixin_42089943的博客
08-04 76
Hive 中查看编码的方法 在大数据处理领域，Apache Hive 是一个数据仓库基础设施，它提供数据总结、查询和分析的功能。随着数据量的增加，了解数据的编码格式变得越来越重要，尤其是在数据迁移、清洗和分析的过程中。因此，本文将重点讲解如何在 Hive 中查看数据编码，帮助用户更好地理解如何处理不同编码的数据。 为什么需...
hive学习之四:hive文件格式以及压缩编码
A coder of life
05-22 4740
1。文件格式及压缩编码   当前hive版本支持的编码类型：   set io.compression.codecs;   org.apache.hadoop.io.compress.GzipCodec,--压缩后不可分割   org.apache.hadoop.io.compress.DefaultCodec,--默认   org.apache.hadoop.io.compress.Snappy...
Hive - 导出文件并指定分隔符(逗号等)
摸鱼同学的博客
09-04 4229
语法格式 beeline -n username -p password -u jdbc:hive2://host:10000 --verbose=true --showHeader=false --outputformat=tsv2 --color=true -e "select * from ${database}.${tablename}" > ${tableName}.csv 通过 outputformat 指定输出格式 --outputformat=[table/verti
Hive数据类型及文本文件数据编码
weixin_33730836的博客
06-13 1039
本文参考Apache官网，更多内容请参考：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Types 1. 数值型 类型支持范围 TINYINT 1-byte signed integer, from -128 to 127 SMALLINT 2-byte signed inte...
hive——常用
无限大地NLP_空木的专栏
01-22 2082
hive 一些常用基础函数
07 数据仓库工具hive
04-19 474
文章目录数据仓库工具hive一、数据仓库的概念1、什么是数据仓库2、数据仓库的主要特征3、 数据仓库与数据库区别二、hive的基本概念以及hive的安装三、hive基本操作四、hive的shell参数五、hive函数六、hive的数据压缩七、hive的数据存储格式八、存储和压缩结合九、调优十、hive语句综合练习 数据仓库工具hive 一、数据仓库的概念 什么是数据仓库，主要用来干嘛的 1、什么是...
Hive离线数据仓库
将懒惰进行到底
11-22 4540
Hive是基于Hadoop的数据仓库工具，提供了一系列的工具，可以用来进行数据提取、转化、加载，是一种可以存储、查询和分析存储在Hadoop中的大规模数据机制。它可以将结构化的数据文件映射成一张表，并提供完成的sql查询功能，可以将sql语句转换成MapReduce任务进行运行。 Hive本质上是基于Hadoop的一种分布式计算框架，底层仍然是MR，本质上是离线大数据分析工具。 数据仓库 VS ...
Hadoop学习笔记（17）Hive的数据类型和文件编码
boranyueshijie的博客
03-22 1379
一、Hive的常用内部命令 1、有好几种方式可以与Hive进行交互。此处主要是命令行界面（CLI）。 2、$HIVE_HOME/bin目录下包含了可以执行各种各样Hive服务的可执行文件，包括hive命令行界面（CLI是使用Hive的最常用方式）。 [admin@master ~]$ cd apache-hive-1.2.2-bin/bin [admin@master bin]$ ls beeline ext hive hive-config.sh hiveserver2 metatool
查看、修改数据库和表的编码格式
淡泊以明志，宁静以致远
04-05 6148
/*查看数据库编码格式*/ show variables like 'character_set_database'; /*查看表的编码格式*/ show create table <表名>; /*创建数据库时指定数据库的字符集*/ create database <数据库名> character set utf8; /*创建表时指定表的编码格式*/ create...
hive的编码问题
火麒马
07-09 806
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:For direct MetaStore DB connections, we don't support retries at the client level.) 创建表的时候报错 后面将生成的hive表删除。 重启启动hive 修改hive字符集 alter database
hive mysql 字符集_Hive字符编码
weixin_39719127的博客
01-19 1172
实验过程中发现把整个数据库编码改成latin1或者Utf8都不行，只有把整个数据库设定为latin1而把要存储中文的数据表的编码设定为UTF8才能够解决。第一步：修改表字段的字符编码为utf8修改字段注释字符集alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;修改表注释字符集alter tabl...
2020-09-14
Shirley984的博客
09-19 115
Java基础补充 位（bit) 一个数字0或者一个数字1，代表一位。 字节（Byte), 每逢8位是一个字节，这是数据储存的最小单位. 1 Byte = 8 bit 1 KB = 1024 Byte 1 MB = 1024 KB 1 GB = 1024 MB 1 TB = 1024 GB 命令提示符 cd… 返回上一级 cd\ 返回根目录 dir 查看当前目录 cls 清理屏幕 exit 退出 JRE 和JDK JDK(Java Development Kit): 是Java程序开发工具包
Hive建表乱码解决--设置编码格式UTF8
qq_40623672的博客
06-18 828
Hive建表乱码解决--设置编码格式UTF8
数据仓库Hive编程——数据类型和文件格式（三）：文本文件数据编码
热门推荐
冯·诺依曼
07-31 1万+
分类目录：商业智能《数据仓库Hive编程》总目录 下面我们一起来研究文件格式，首先举个最简单的例子，也就是文本格式文件。毫无疑问，用户应该很熟悉以逗号或者制表符分割的文本文件，也就是所谓的逗号分隔值（CSV）或者制表符分割值（TSV）。只要用户需要，Hive是支持这些文件格式的，在后面的文章将会介绍其具体使用方式。然而，这两种文件格式有一个共同的缺点，那就是用户需要对文本文件中那些不需要作为分隔符...
Hive数据仓库工具详解：体系架构与优势
Hive的核心价值在于提供了一个层次化的数据存储模型，将结构化数据文件抽象成类似于关系型数据库的表，支持标准的SQL查询，从而简化了大数据查询过程。然而，Hive并非实时处理工具，它在处理大规模数据时会有一定的...
评论 19
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值