![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
sunzhenzhencomeon
这个作者很懒,什么都没留下…
展开
-
Hive的体系结构
在Hive的最低层是Linux操作系统,Linux之上是Hadoop集群,NameNode名称节点管理整个Hadoop集群的工作,DataNode数据节点存取数据,而Hive中的数据最终存储到Hadoop的DataNode上,在Hadoop中还有JobTracker负责任务的调度,在Hive中执行一条HQL语句,实际会被解释成一个MapReduce的一个作业,并提交到Hadoop集群上,得到结果返转载 2016-09-30 18:15:06 · 494 阅读 · 0 评论 -
Hive体系结构之HQL执行过程
一条HQL语句如何在hive中进行查询?解析器、编译器、优化器完成HQL查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在HDFS中,并在随后的MapReduce调用执行。Oracle的执行计划:例如:全表扫描代价大些,可以先创建索引。--先创建索引create index myindex on emp(deptno);--转载 2016-09-30 17:47:40 · 2168 阅读 · 0 评论 -
Hive体系结构
Hive的元数据-Hive将元数据存储在数据库中(metastore),支持mysql、berdy等数据库。-Hive中的元数据包括表的名字,表的列和分区及其分区及其属性,表的属性,表的数据所在目录等。比如我们想知道表的名字,或者列的名字、列的类型,这种数据跟我们的表中没有任何关系。反应的是表的信息,这种信息就叫做元信息。转载 2016-09-30 17:10:12 · 555 阅读 · 0 评论 -
什么是Hive
Hive是建立在Hadoop HDFS上的数据仓库基础架构Hive可以用来进行数据提取转化加载(ETL)Hive定义了简单的类似SQL查询语言,称为HQL它允许熟悉SQL的用户查询数据Hive允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理内建的mapper和reducer无法完成的复杂的分析工作Hive是SQL解析引擎,他将SQL语句转移成M/R转载 2016-09-30 16:44:14 · 375 阅读 · 0 评论 -
数据仓库简介
数据仓库简介:数据仓库是一个面向主题的、集成的、不可更新的、随时间不变化的数据集合,它用于支持企业或组织的决策分析处理数据仓库的结构和建立过程:要有数据源,有可能来自业务数据系统文档资料其他数据,对数据进行抽取转换装载过程(ETL),数据仓库引擎,前端展示。OLTP:联机事务处理典型的OLTP应用,银行转账。面向的是事务,发生频率很高。OLAP联机分析处理。例如转载 2016-09-30 15:28:14 · 326 阅读 · 0 评论