狂躁的辣条的博客

Hive 优化核心思想：把Hive SQL 当做Mapreduce程序去优化以下SQL不会转为Mapreduce来执行select仅查询本表字段where仅对本表字段做条件过滤select 和 where 是不会转为mr来执行Explain 显示执行计划EXPLAIN [EXTENDED] queryHive运行方式：本地模式 将数据抓取到本地 计算集群模式 计算向...

hive优化的核心思想：把Hive SQL当做MapReduce程序去优化Hive运行模式：本地模式 将数据拉取到本地进行计算集群模式 计算向数据移动 主要耗费时间是提交任务 和 yarn资源管理如果是测试 可以使用本地模式 这样跑程序比较快集群模式的优化1、并行计算 hive默认是没有开启的通过设置以下参数开启并行模式：set hive.exec.parallel=tru...

Lateral Viewhive Lateral View 是为了优化 UDTFLateral View用于和UDTF函数（explode、split）结合来使用。首先通过UDTF函数拆分成多行，再将多行结果组合成一个支持别名的虚拟表。主要解决在select使用UDTF做查询过程中，查询只能包含单个UDTF，不能包含其他字段、以及多个UDTF的问题语法：LATERAL VIEW ud...

分区的基础上 再分桶 1个数据文件划分为多个数据文件hive 分桶 其实是hash模 桶数分桶表是对列值取哈希值的方式，将不同数据放到不同文件中存储。对于hive中每一个表、分区都可以进一步进行分桶。由列的哈希值除以桶的个数来决定每条数据划分在哪个桶中。适用场景：数据抽样（ sampling ）、map-join开启支持分桶set hive.enforce.bucketin...

提高查询和检索的性能开启支持动态分区set hive.exec.dynamic.partition=true; 默认：falseset hive.exec.dynamic.partition.mode=nostrict;默认：strict（至少有一个分区列是静态分区）相关参数：set hive.exec.max.dynamic.partitions.pernode;每一个执行m...

hive 参数、变量hive当中的参数、变量，都是以命名空间开头| 命名空间 | 读写权限 | 含义| hiveconf | 可读写 |hive-site.xml当中的各配置变量例：hive --hiveconf hive.cli.print.header=true| system | 可读写 | 系统变量，包含JVM运行参数等例：system:user.name=root| e...

多用户服务端配置1、vim hive-size.xml<property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value></property> <property> <name&...

1、Beeline 要与HiveServer2配合使用服务端启动hiveserver2客户的通过beeline两种方式连接到hive1、beeline -u jdbc:hive2://node03:10000/default -n root2、连接方式beeline> !connect jdbc:hive2://:/;auth=noSasl root 123默认用户名、密码不验证...

三种授权模型：1、Storage Based Authorization in the Metastore Server基于存储的授权 - 可以对Metastore中的元数据进行保护，但是没有提供更加细粒度的访问控制（例如：列级别、行级别）。2、SQL Standards Based Authorization in HiveServer2基于SQL标准的Hive授权 - 完全兼容SQL的...

1、interface 指的是Hive的用户接口，也就是client2、client将 hql提交到Hive的 Driver，Driver查询编译器，分析查询语法和查询计划或者查询要求，然后发送给compiler3、compiler发送给元数据请求到metastore，查看需要的表，字段等是否存在。4、metastore响应编译器的元数据请求，如果满足要求就返回结果给compiler，否则...