![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop技术体系笔记
风与微云❀
不积跬步无以至千里
展开
-
HBase(一)关于NoSQL
HBase(一)关于NoSQLHBase属于列式非关系型数据库(NoSQL),什么是NoSQL=Not Only SQL,不仅仅是SQL。NoSQL是一个通用术语,即非关系型数据库,它不是以SQL作为其主要访问语言。现在有许多类型的NoSQL数据库,BerkeleyDB就是本地NoSQL数据库的一个示例,而HBase是一个分布式数据库。从技术层面来说,HBase实际上是一个“数据存储”,而不是“数据库”,因为它缺乏关系型数据库的很多属性,如类型化列、辅助索引、触发器和高级查询语言等。 一...原创 2020-11-18 14:16:01 · 1107 阅读 · 0 评论 -
Hive(二)Hive与数据库的主要区别详解
Hive与数据库的主要区别详解:它们之间的区别在于:查询语言、存储位置、数据格式、数据更新、索引、执行、执行延迟、可扩展性和数据规模几方面。1、 查询语言2、 数据存储位置在数据存储位置方面来说,数据库是将数据存储在块设备或本地文件系统中。而Hive是将所有数据存储在HDFS中,并建立在Hadoop之上。3、 数据格式在Hive中,并没有定义特有的数据格式,数据格式是由用户指定,用户在定义数据格式时需要指定3个属性,分别是列分隔符,比如通常为空格、\t、\x001,行分隔符,如“\n”,以及读取原创 2020-11-17 13:37:37 · 465 阅读 · 0 评论 -
Hive(一)概念
Hive:数据仓库。(1)什么又是数据仓库呢?à为了协助分析报告,支持决策,为需要业务智能的企业提供业务流程的改进和指导,从而节省时间和成本,提高质量。(2)它与数据库系统的区别是?à数据库系统可以很好的解决事务处理,实现数据的增、删、改、查操作。 而数据仓库则是用来做查询分析的数据库,通常不做单条数据的增、删、改。(3)特点:作为一个数据仓库工具,非常适合做数据的统计分析,它可以将数据文件组成表格并具有完整的类SQL查询功能,还可将类SQL语句自动转换成MapReduce.原创 2020-11-16 15:20:31 · 106 阅读 · 0 评论 -
MapReduce是什么,MapReduce概念
MapReduce概念:为了解决大规模Web数据处理的问题,由Doug Cutting于2004基于Java开发。MapReduce特点:1、适合处理离线的海量数据(PB、ZB级别),“离线”是指存在本地,非实时处理。离线计算需要时间,几分钟或者几个小时都有,根据业务数据或者是业务复杂度来判断。2、易于编程:如果要编写分布式程序,只需要实现一些简单接口。3、具有良好的扩展性:当一台机器的计算资源不能满足存储或者计算的时候,可以通过增加机器来扩展存储和计算能力。4、具有高容错性:Map原创 2020-11-10 15:53:09 · 696 阅读 · 0 评论