hive數據倉庫操作
hive介绍;hql语句操作数据库
struggle@徐磊
知识重要,态度更重要!
展开
-
创建hive表,指定存储和压缩格式
一、指定存储格式是ORC,压缩格式是orc默认的ZLIB压缩建表语句create table log_orc_none(track_time string,url string,session_id string,referer string,ip string,end_user_id string,city_id string)row format delimited fi...原创 2020-04-12 22:02:43 · 9074 阅读 · 1 评论 -
Hive优化(提高hive运行速度)
一、Hive使用本地模式执行操作(Hive使用资源大于20M的时候还是会采用集群yarn的方式运行)将hive的job交给yarn执行太慢,hive支持本地模式設置本地模式之前的,耗時 9.068設置本地模式之后的,耗時 0.29设置hive基于本地模式的方法1、设置临时的在每次执行hql语句之前 都要先执行下面这句话 set hive.exec.mode.local.auto...原创 2020-02-18 19:08:36 · 9981 阅读 · 0 评论 -
Hive中查看数据库,查看表的时候报错
一、hive版本验证,FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient解...原创 2020-02-17 12:49:48 · 4219 阅读 · 0 评论 -
HIVE數據仓库操作(数据库操作,表操作,开窗函数,炸裂函数,外部表,内部表,分区表,分桶表)
HIVE介绍Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。本质:将HQL转化成MapReduce程序Hive在Hadoop生态中的位置如下图所示:hive和hadoop的关系:1)Hive处理的数据存储在HDFS2)Hive分析数据底层的实现是MapReduce3)执行程序运行在Yarn上Hive的基本操作...原创 2020-01-29 17:54:36 · 995 阅读 · 0 评论