数据仓库:组织数据的方式,按照主题来进行组织(多张事实表+多张维度表)集成的相对稳定,没有update和delete操作
反映历史变化(Time Variant):历史数据,每条记录都是表示过去某个时刻的一条事实
数据仓库的价值:用于支持管理决策(Decision Marking Support)
数据仓库:历史数据,标准化结构数据,文本数据,进行查询分析,支持sql中的select语法
hive依赖于hdfs存储数据,hive的本质是将sql语句转换为Map Reduce任务运行,使得Map Reduce用户很方便的利用Hql处理和计算hdfs上的结构化数据,适用于离线的批量数据计算,极大简化分布式计算程序的编写,将精力集中于业务逻辑。
执行流程:driver接收语句-->compiler变成抽象语法树,逻辑执行计划,优化-->optimizer物理执行计划,优化-->executor执行
hdfs中的元数据(大文件的存储文件:分散存储+冗余存储)
- 目录树空间
- 每个大文件都对应到哪些小文件呢
- 一个数据块有三个副本,这个数据块的三个副本到底存储在哪三个节点呢?
hive的元数据:把存储在hdfs上的结构化数据想象成一张二维表
- 表名(表和数据文件之间的映射关系)
- 字段定义(由哪些字段组成的)
- 行列分隔符(行与行的界限,列与列的界限&