Hive3面试基础

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

面试准备之Hive

回顾
基本知识
效率优化

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、基本知识Hive3

1.表的类型和表的存储格式

整理来自:https://developer.aliyun.com/article/786518
四种表的有四种表的格式

a)

目前用的比较多是manager /external 表
创建表的时候如果没有指定则默认创建的是Hive 的事务表并且存放在/warehouses/tablespace/managered
外部表默认存放在/warehouses/tablespace/external
但是创建的时候也可以指定外部表在其他hdfs的路径

b)

表的存储类型有以下几种：
TEXTFILE 、SEQUENCEFILE、RCFILE、ORCFILE（默认格式）、PARQUET
目前我只用了textfile/orc 格式其他的做过调研但是忘记了
orc parquet 都是一种表的格式，都可以采用压缩的方式
具体参考下面的文章，但是要注意的是，orc支持事务，parquet不支持
所以hive3默认表为orc snappy压缩
“”"
因为Hive 的SQL会转化为MR任务，如果该文件是用ORC存储，Snappy压缩的，因为Snappy不支持文件分割操作，所以压缩文件「只会被一个任务所读取」，如果该压缩文件很大，那么处理该文件的Map需要花费的时间会远多于读取普通文件的Map时间，这就是常说的「Map读取文件的数据倾斜」
“”"

c)创建表

i）

create external table test1
(
name string,
age int,
buy_date date
)
row format serde
‘org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe’
with serderproperties
(
‘field.delim’ =‘\8’,
‘line.delim’ =‘\n’,
‘serialization.null.format’=‘<NUL>’
)
stored as textfile
location ‘/apps/xig/test1’
tabpropeties(‘external.table.purge’=‘true’)

row format serde : hive读写都是进入HDFS拿，那么读和写需要反序列化hdfs中的文件，让它成为table的格式，写入hdfs需要序列化让它成为HDFS格式。不同的存储格式就有不同的序列化和反序列化器来实现，如果不定义，默认就用LazySimpleSerDe
with serderproperties： 搭配上面row format serde 来用，设置序列化的时候怎么处理字段间隔行间隔，空值
**‘external.table.purge’=‘true’**因为是外部表，所以至托管了metadata，设置了这个选项，drop table test1 会把 表数据也drop掉否则就是只有删除metadata

ii）

create external table test1
(
name string,
age int,
buy_date date
)
row format delimited
fields terminated by ‘\8’
lines teminate by ‘\n’
null defined as ‘<NUL>’
stored as textfile
location ‘/apps/xig/test1’
tabpropeties(‘external.table.purge’=‘true’)
斜体加粗的作用和i)完全相同因为没有指定序列化工具所以默认用了lazySimpleSerde

2.表

二、使用步骤

1.引入库

代码如下（示例）：

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import warnings
warnings.filterwarnings('ignore')
import  ssl
ssl._create_default_https_context = ssl._create_unverified_context

2.读入数据

代码如下（示例）：

data = pd.read_csv(
    'https://labfile.oss.aliyuncs.com/courses/1283/adult.data.csv')
print(data.head())

该处使用的url网络请求的数据。

---

总结

提示：这里对文章进行总结：
例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。