1.OLTP和OLAP
- OLTP: 联机事务处理系统。在前台接收的用户数据可以立即传送到后台进行处理,并在很短的时间内给出处理结果。
- 关系型数据库是OLTP典型应用,如MySQL
OLTP环境开展数据分析是否可行?
为了更好的开展数据分析,于是有了数据仓库的建立。即联机分析处理系统OLAP,面向分析,支持分析。
2.数据仓库的主要特征
3.结构化数据与非结构化数据
- 结构化数据就是指用二维表结构来逻辑表达和实现的数据
4.SQL语法分类
5.Hive:SQL For Hadoop
- 建立在Hadoop上的一款开源数据仓库系统,可以将存储在Hadoop文件中的结构化、半结构化数据映射为一张数据库表
- Hive核心是将HQL转换为MapReduce程序,然后将程序提交到Hadoop集群上执行
- Hive利用HDFS存储数据,利用MapReduce查询分析数据
- Hive最大的好处就是用户可以专注于编写HQL,Hive帮我们转换成MapReduce程序完成对数据的分析,相当于一个接口
6.Hive的功能
7.Hive的架构
8.Hive建库、切换库、删除库
建库:
切换数据库:
删除数据库:
9.Hive建表(数据类型,分隔符)