Hive
文章平均质量分 67
pageniao
这个作者很懒,什么都没留下…
展开
-
数据仓库基础(一)
数据仓库的由来?企业的日常运作,例如订单处理、会计账务、盘点存货、核对账目、保险申请等业务需要各种信息系统的支持,这些应用系统工作起来非常有效,但却局限于他们当初被设计的范围。收集、存储和处理所有这些数据需要成功的完成日常操作工作。随着商业活动变得越来越复杂,公司企业迅速的全球化,竞争也越来越激烈,商业经理们渴望得到更多的信息来提高在商业活动中的竞争力。日常操作型计算机系统提供大量的信息来支持...原创 2022-10-20 15:15:16 · 120 阅读 · 0 评论 -
Hive优化
1. Fetch抓取Fetch抓取是指,Hive中对某些情况的查询可以不必使用MapReduce计算。例如:SELECT * FROM employees;在这种情况下,Hive可以简单地读取employee对应的存储目录下的文件,然后输出查询结果到控制台。在hive-default.xml.template文件中hive.fetch.task.conversion默认是more,老版本hive默认是minimal,该属性修改为more以后,在全局查找、字段查找、limit查找等都不走mapreduce转载 2021-03-23 08:33:09 · 114 阅读 · 0 评论 -
Hive——Data Managed Language(DML)(一)
Hive中表的概述Hive中的表可分为内部表和外部表,在此基础上对表数据进行细粒度的分割,又有分区表和分桶表,分桶表是比分区表更细粒度的对数据进行分割。内部表: 在创建表时,未被external修饰的是内部表(managed table)。hive的表与数据库中的表的概念是相似的,每一个表在HIVE中都有一个相对应的目录,该目录是存储数据的路径,所有表数据(不包括外部表)都保存在这个目录中,...原创 2019-11-20 21:32:48 · 161 阅读 · 0 评论 -
Hive——Data Defined Language(DDL)
创建数据库create database test02;-- 在创建语句中加入判断语句,否则会报错create database if not exists test02;删除数据库drop database test02;-- 加入判断条件drop database if exists test02;以上方法仅能删除空的数据库,如下例中演示:hive (test01)&...原创 2019-11-20 11:39:37 · 157 阅读 · 0 评论 -
Hive使用——参数设置
1. 设置显示表头信息默认hive命令行所展示出来的表并不显示字段(表头)信息可以通过下面代码设置:set hive.cli.print.header=true;如下图所示,显示了每列所在数据库及字段信息,但是没有必有显示数据库,显示数据库反而减弱了可读性可以通过下面的代码设置:set hive.resultset.use.unique.column.names=false;...原创 2019-11-19 21:10:24 · 774 阅读 · 0 评论 -
(二)Hive-数据仓库
基本概念1. 什么是数据仓库?数据仓库的目的是什么?数据仓库的目的是构建面向分析的集成化数据环境,为企业提供政策支持。简言之:就是为了重中得到分析性报告和决策支持的。数据仓库本身不生产数据,同时也不消耗数据,数据来源于外部并且开放给外部应用,所以叫作“仓库”,而不叫“工厂”。数据仓库的主要特征它是面向主题的(Sbuject_Oriented),集成的(Integrated),非易失的(...原创 2019-11-04 22:43:02 · 209 阅读 · 0 评论 -
(一)Hive中HDFS协议地址变化导致的问题
如何修改Hive元数据中的协议地址导致问题的原因分布式集群修改成HA集群,HDFS的协议地址由hdfs://hadoop2:9000变成hdfs://myha01/导致与HDFS协议地址有关的元信息仍然是旧版本的协议地址1.元信息的DBS表,保存所有数据库的基本信息,如下图所示:2.元信息的SDS表,保存所有数据库文件存储的基本信息,如INPUT_FORMAT、OUTPUT_FORMAT...原创 2019-10-24 21:47:40 · 504 阅读 · 0 评论