Hadoop学习day3

数仓和数据库

• 分析型处理(数据仓库) ，叫 联机 分析 处理 OLAP （On-Line Analytical Processing）, 也可以称为 面向专业分析 人员 进行数据分析,通常进行 查询分析 操作 ,一般针对某些主题的历史数据进行分析，支持管理决策。
• 操作型处理(数据库) ，叫 联机 事务 处理 OLTP （On-Line Transaction Processing） ，也可以称 面向用户 交易的处理系统，它是针对具体业务在数据库联机的日常操作，通常进行 增删改查 操作。用户较为关心操作的响应时间、数据的安全性、完整性和并发支持的用户数等问题。传统的数据库系统作为数据管理的主要手段，主要用于操作型处理。

 数仓和数据库的区别

数据库是面向事务的设计，数据仓库是面向主题设计的。

数据库一般存储业务数据，数据仓库存储的一般是历史数据。

数据库是为捕获数据而设计，数据仓库是为分析数据而设计

数据库设计是尽量避免冗余，一般针对某一业务应用进行设计，比如一张简单的User表，记录用户名、密码等简单数据即可，符合业务应用，但是不符合分析。

数据仓库在设计是有意引入冗余，依照分析需求，分析维度、分析指标进行设计。

数仓的分层架构

 

Hive实操 

• 创建表：通过Hive可以创建表来存储数据，可以指定表的列名、数据类型和分区等信息。

CREATE TABLE table_name（内部表）CREATE EXTERNAL TABLE TABLE_name（外部表）

• 加载数据：可以使用LOAD DATA语句将数据加载到Hive表中，数据可以来自HDFS、本地文件系统或其他数据源。

• 查询数据：可以使用类似于SQL的语法来查询Hive表中的数据，可以进行筛选、聚合和排序等操作。

查全部表（show tables）查看表结构（desc 表名）