大数据之hive基础理论

关于大数据
Hadoop是什么
海量数据分布式的存储和计算框架
数据存储：HDFS： Hadoop Distributed File System
数据计算：YARN/MapReduce

1 hive 产生背景

hive定义：

The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL. Structure can be projected onto data already in storage. A command line tool and JDBC driver are provided to connect users to Hive.
官方网址：http://hive.apache.org/
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。
使用sql 管理 读 写分布式存储的大数据的一个数据仓库软件。

2 分布式存储

分布式存储：HDFS、S3、OSS
Hive定义了SQL语言：HQL (类SQL)
通常用于离线处理
SQL =Hive=MapReduce/Spark/Tez=