hadoop
elvesfish
这个作者很懒,什么都没留下…
展开
-
Hive(六):HQL DDL
HQL语法基于 SqlLine(http://sqlline.sourceforge.net/),DDL主要包含数据库、函数、视图的创建、修改、删除,参考资料:(https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL), 语法关键字:CREATE DATABASE/SCHEMA, TABLE, VIEW,转载 2016-08-18 11:09:24 · 293 阅读 · 0 评论 -
Hive(七):HQL DML
摘要: HQL DML 主要涉到对Hive表中数据操作,包含有:load、INSERT、DELETE、EXPORT and IMPORT,详细资料参见:https://cwiki... HQL DML 主要涉到对Hive表中数据操作,包含有:load、INSERT、DELETE、EXPORT and IMPORT,详细资料参见:https://cwiki.ap转载 2016-08-18 11:19:14 · 525 阅读 · 0 评论 -
Hive(一):架构及知识体系
摘要: Hive是一个基于Hadoop的数据仓库,最初由Facebook提供,使用HQL作为查询接口、HDFS作为存储底层、mapReduce作为执行层,... Hive是一个基于Hadoop的数据仓库,最初由Facebook提供,使用HQL作为查询接口、HDFS作为存储底层、mapReduce作为执行层,设计目的是让SQL技能良好,但Java技能较弱的分析师可以查询转载 2016-08-18 11:25:08 · 428 阅读 · 0 评论 -
Hive原理--体系结构
摘要: 概述 Hive 将作为我日后工作主要使用的工具,这里分享一些相关的技术。我想通过讲解hive体系结构来建立基础。这个部分非常...概述 Hive 将作为我日后工作主要使用的工具,这里分享一些相关的技术。我想通过讲解hive体系结构来建立基础。这个部分非常重要,因为接下来的文章中我们会以这些概念来加深我们对HIve的认识。当我们执行一个查询时,在中最重要的组件有哪些转载 2016-08-18 14:24:39 · 486 阅读 · 0 评论 -
大数据时代的技术hive:hive的数据类型和数据模型
摘要: 在上篇文章里,我列举了一个简单的hive操作实例,创建了一张表test,并且向这张表加载了数据,这些操作和关系数据库操作类似,...在上篇文章里,我列举了一个简单的hive操作实例,创建了一张表test,并且向这张表加载了数据,这些操作和关系数据库操作类似,我们常把hive和关系数据库进行比较,也正是因为hive很多知识点和关系数据库类似。 关系数据库里有表(tabl转载 2016-08-18 14:43:40 · 524 阅读 · 0 评论 -
Hadoop深入介绍
工作中经常用到hadoop,对于底层原理却不甚清楚,这里深入追究一下。Hadoop是一个分布式系统基础架构,由许多元素构成。如下图,它最核心的包括并行计算模型Map/Reduce,分布式文件系统HDFS,以及分布式数据库Hbase。 HDFS(Hadoop分布式文件系统)一个高度容错的分布式存储系统,能检测和应对硬件故障。存储在 HDFS 中的文件被分成块(块大转载 2016-08-18 14:48:03 · 659 阅读 · 0 评论 -
Hive(五):hive与hbase整合
配置 hive 与 hbase 整合的目的是利用 HQL 语法实现对 hbase 数据库的增删改查操作,基本原理就是利用两者本身对外的API接口互相进行通信,两者通信主要是依靠hive_hbase-handler.jar工具类。 但请注意:使用Hive操作HBase中的表,只是提供了便捷性,前面章节已经介绍,hiveQL引擎使用的是MapReduce,对于性能上,表现比较糟糕,在实际应用过程中可针转载 2016-08-18 11:06:18 · 878 阅读 · 0 评论 -
Hadoop之hive学习_01
Hive是构建在hdfs上的一个数据仓库,本质上就是数据库,用来存储数据数据仓库是一个面向主题的、集成的、不可更新的、随时间不变化的数据集合,用于支持企业或组织的决策分析处理。1. 面向主题:数据仓库的主题是按照一定得主题进行组织的,即用户所关注的重点对象,比如商品推荐系统。2. 集成的:将分散的数据(文本文件,oracle数据,mysql数据。。。)进转载 2016-08-18 10:38:21 · 526 阅读 · 0 评论 -
HIVE和HBASE区别
1. 两者分别是什么? Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能,但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。 Apache HBase转载 2016-08-18 10:26:33 · 302 阅读 · 0 评论