2学末总结

hive定义
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。
本质是：将HQL转化成MapReduce程序

hive优缺点
优点
1)操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。
2)避免了去写MapReduce，减少开发人员的学习成本。
3)Hive的执行延迟比较高，因此Hive常用于数据分析，对实时性要求不高的场合。
4)Hive优势在于处理大数据，对于处理小数据没有优势，因为Hive的执行延迟比较高。
5)Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。
缺点
Hive的HQL表达能力有限
1)迭代式算法无法表达
2)数据挖掘方面不擅长，由于MapReduce数据处理流程的限制，效率更高的算法却无法实现。
Hive的效率比较低
1)Hive自动生成的MapReduce作业，通常情况下不够智能化
2)Hive调优比较困难，粒度较粗

hive架构
1．用户接口：Client
CLI（command-line interface）、JDBC/ODBC(jdbc访问hive)、WEBUI（浏览器访问hive）
2．元数据：Metastore
元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；
默认存储在自带的derby数据库中，推荐使用MySQL存储Metastore
3．Hadoop
使用HDFS进行存储，使用MapReduce进行计算。
4．驱动器：Driver
解析器（SQL Parser）：将SQL字符串转换成抽象语法树AST，这一步一般都用第三方工具库完成，比如antlr；对AST进行语法分析，比如表是否存在、字段是否存在、SQL语义是否有误。
编译器（Physical Plan）：将AST编译生成逻辑执行计划。
优化器（Query Optimizer）：对逻辑执行计划进行优化。
执行器（Execution）：把逻辑执行计划转换成可以运行的物理计划。对于Hive来说，就是MR/Spark

hive和数据库的区别
1 查询语言
2 数据存储位置
3 数据更新
4 执行
5 执行延迟
6 可扩展性
7 数据规模

hive元数据包括哪些，存在哪里
元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；
默认存储在自带的derby数据库中，推荐使用MySQL存储Metastore

hive基本数据类型&&复杂数据类型
基本数据类型:TINYINT,SMALINT,INT,BIGINT,BOOLEAN,FLOAT,DOUBLE,STRING,TIMESTAMP,BINARY
复杂数据类型:STRUCT,MAP,ARRAY

内部表外部表区别
在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据

往表中添加数据的5种方式
1 向表中装载数据（Load）
2 通过查询语句向表中插入数据（Insert）
3 查询语句中创建表并加载数据（As Select）
4 创建表时通过Location指定加载数据路径
5 Import数据到指定Hive表中

往分区中添加数据的三种方式
创建文件夹后load数据到分区
上传数据后添加分区
上传数据后修复

如何往分桶表添加数据
先建立一个临时表,通过load data 将TXT文本导入到临时表中
然后再在Hive中建立一个具有分桶结构的表,开启强制分桶,
使用insert select 语句间接地把数据从临时表导入到分桶表中.

分桶抽样查询
对于非常大的数据集，有时用户需要使用的是一个具有代表性的查询结果而不是全部结果。Hive可以通过对表进行抽样来满足这个需求。
查询表stu_buck中的数据:hive (default)> select * from stu_buck tablesample(bucket 1 out of 4 on id);

建表完整语句
CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
[(col_name data_type [COMMENT col_comment], …)]
[COMMENT table_comment]
[PARTITIONED BY (col_name data_type [COMMENT col_comment], …)]
[CLUSTERED BY (col_name, col_name, …)
[SORTED BY (col_name [ASC|DESC], …)] INTO num_buckets BUCKETS]
[ROW FORMAT row_format]
[STORED AS file_format]
[LOCATION hdfs_path]
[TBLPROPERTIES (property_name=property_value, …)]
[AS select_statement]

窗口函数的操作
LEAD :返回当前行以下n行的指定列的列值
LAG： 返回当前行以上n行的指定列的列值
FIRST_VALUE:返回当前窗口指定列的第一个值
LAST_VALUE：返回当前窗口指定列的最后一个值

统计类函数：
	COUNT
		SUM
	MIN
	MAX
		AVG

	排名类函数：
		RANK
	ROW_NUMBER
	DENSE_RANK
	CUME_DIST
	PERCENT_RANK
	NTILE(x):将数据集平均分到x个组里面，返回每条记录所在的组号

窗口函数和分组的区别：
如果是分组操作，select后面只能跟分组后的字段,或者是聚合函数
如果是窗口函数，窗口函数在指定的窗口内，对每条记录都做一次计算
如果是分组操作，会有去重的效果，但是partition不会去重

行转列，列转行
行转列:
CONCAT(string A/col, string B/col…)：返回输入字符串连接后的结果，支持任意个输入字符串;
CONCAT_WS(separator, str1, str2,…)：它是一个特殊形式的 CONCAT()。第一个参数剩余参数间的分隔符。分隔符可以是与剩余参数一样的字符串。如果分隔符是 NULL，返回值也将为 NULL。这个函数会跳过分隔符参数后的任何 NULL 和空字符串。分隔符将被加到被连接的字符串之间;
COLLECT_SET(col)：函数只接受基本数据类型，它的主要作用是将某字段的值进行去重汇总，产生array类型字段。
列转行:
EXPLODE(col)：将hive一列中复杂的array或者map结构拆分成多行。
LATERAL VIEW
用法：LATERAL VIEW udtf(expression) tableAlias AS columnAlias

order by、sort by、Distribute By、Cluster By的用法区别
Order By：
全局排序，只有一个Reducer
1．使用 ORDER BY 子句排序
ASC（ascend）: 升序（默认）
DESC（descend）: 降序
2．ORDER BY 子句在SELECT语句的结尾
Sort By：
对于大规模的数据集order by的效率非常低。在很多情况下，并不需要全局排序，此时可以使用sort by
Distribute By：
在有些情况下，我们需要控制某个特定行应该到哪个reducer，通常是为了进行后续的聚集操作。distribute by 子句可以做这件事。distribute by类似MR中partition（自定义分区），进行分区，结合sort by使用
Cluster by:
当distribute by和sorts by字段相同时，可以使用cluster by方式。
cluster by除了具有distribute by的功能外还兼具sort by的功能。但是排序只能是升序排序，不能指定排序规则为ASC或者DESC

hive的优化思路
1）MapJoin：MAPJION会把小表全部读入内存中，在map阶段直接拿另外一个表的数据和内存中表数据做匹配，由于在map是进行了join操作，省去了reduce运行的效率也会高很多
2）行列过滤：列处理：在SELECT中，只拿需要的列，如果有，尽量使用分区过滤，少用SELECT *。
行处理：在分区剪裁中，当使用外关联时，如果将副表的过滤条件写在Where后面，那么就会先全表关联，之后再过滤
3）列式存储：
4）采用分区技术：
5）合理设置Map数：input的文件总个数，input的文件大小，集群设置的文件块大小。
6）合理设置Reduce数：处理大数据量利用合适的reduce数；使单个reduce任务处理数据量大小要合适
7) 压缩：这样就可以使用针对数据类型的压缩方法将数据压缩，压缩可以达到一个数量级的性能提升。缩的意义更多在于加速查询，如减少了磁盘IO，或者直接操作压缩后的数据来降低 CPU 代价。

hive如何解决数据倾斜
（1）不同数据类型关联产生数据倾斜
（2）控制空值分布
（1）group by
（2）mapjoin
（3）开启数据倾斜时负载均衡

1)Client向ZooKeeper的Server1 写数据，发送一个写请求
2)如果Server1不是Leader，那么Server1会把接受到的这个事务请求进一步转发给Leader。
Leader会将写请求广播给各个Server，各个Server写成功后，会向Leader发送成功信息
3)当Leader收到半数以上（大多数） Server数据写成功的信息，说明该数据写成功了。Leader会告诉server1数据写成功了.
4)Server1会进一步通知 Client 数据写成功了，就认为整个写操作成功

1.逻辑时钟小的选举结果被忽略，重新投票；
2.统一逻辑时钟后，数据id大的胜出，当选leader；
3.数据id相同的情况下，服务器id大的胜出，当选leader；

zookeeper节点类型有哪些？
总体上分为2类,细分为4类
持久节点：客户端和服务器端断开连接后，创建的节点不删除
临时节点：客户端和服务器端断开连接后，创建的节点自己删除
临时节点（EPHEMERAL） ：session链接断开就没了；不能创建子节点；不能同名

临时顺序节点（EPHEMERAL_SEQUENTIAL） ：session链接断开就没了；不能创建子节点；同名节点会在后面添加上序号（分布式锁使用的好处）

持久节点（PERSISTENT）：session断联、服务端重启还在；可以创建子节点，子节点可以临时也可以持久；不能同名

持久顺序节点（PERSISTENT_SEQUENTIAL）：session断联、服务端重启还在；可以创建子节点，子节点可以临时也可以持久；同名节点会在后面添加上序号