Hive
51_big_data
热爱大数据、机器学习
展开
-
Hive
Hive简介Hive的产生:非java编程者对hdfs的数据做mapreduce操作Hive : 数据仓库。Hive:解释器,编译器,优化器等。Hive 运行时,元数据存储在关系型数据库里面。Hive架构Hive的架构(1)用户接口主要有三个:CLI,Client 和 WUI。其中最常用的是CLI,Cli启动的时候,会同时启动一个Hive副本。Client是Hive的客户端,用户连...原创 2019-01-11 11:04:43 · 272 阅读 · 0 评论 -
Hive优化
Hive 优化核心思想:把Hive SQL 当做Mapreduce程序去优化以下SQL不会转为Mapreduce来执行select仅查询本表字段where仅对本表字段做条件过滤Explain 显示执行计划EXPLAIN [EXTENDED] queryHive运行方式:本地模式集群模式本地模式开启本地模式:set hive.exec.mode.local.auto=true...原创 2019-01-11 11:43:49 · 186 阅读 · 0 评论 -
Hive中metastore的三种方式区别和搭建
Hive中metastore(元数据存储)的三种方式:a)内嵌Derby方式b)Local方式c)Remote方式1.本地模式(derby)这种方式是最简单的存储方式,只需要在hive-site.xml做如下配置便可<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration....原创 2019-01-12 08:39:16 · 988 阅读 · 1 评论 -
hive和hbase整合
hive和hbase同步https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration1、把hive中的lib下的hive-hbase-handler-1.2.1.jar cp到hbase/lib 下同时把hbase中的lib下的所有的jar,cp到hive/lib2、在hive的配置文件增加属性: hive-site....原创 2019-01-14 13:03:06 · 244 阅读 · 0 评论