-
数据仓库的概念
数据仓库:主要用于做分析的OLAP
数据库:事务处理 OLTP -
数据仓库的分层
源数据层:ODS层 主要是针对我们的来源数据
数据仓库层:DW层 主要用于存储数据 分析数据
数据展示层: APP层 主要用于做数据的报表展示功能 -
hive的基本概念
hive是一个用来做数据分析的框架,主要用于数据仓库
hive与hadoop的关系:hive的数据存储到 hdfs hive的数据计算用 mapreduce -
hive的安装部署
安装mysql 配置hive -
hive的基本操作
建库语法
建表语法:四种表模型 建表的语法
内部表:删表的时候,同时删除hdfs的数据
外部表:删表的时候不会删除hdfs上面的数据
分区表:分文件夹,将我们的数据分到不同的文件夹里面去
分桶表:份文件 应用mapreduce的分区规则 ,设置多个reduce的个数,然后将我们的文件划分成多个不同的小文件hive当中加载数据:掌握这两种方式 load data local inpath insert overwrite table xxx select xxx hive的数据导出 导出到本地或 hdfs
-
hive的查询语法
group by -
hive的参数设置
三种方式 后定义覆盖前定义 3 》2 》1
第一种 hive-site.xml
第二种 bin/hive-hiveconf
第三种 set xxx=xxx -
hive当中的函数 udf函数的定义流程
有一次些自带的
还可以自定义
自定义UDF
第一步:导入jar包
第二步:写一个java类,继承UDF
第三步:定义evaluate方法
第四步:打包到hdfs集群
第五步:add jar
第六步:create temporary function 设置关联 -
hive当中的数据压缩 snappy 自己编译源码支持snappy压缩
-
hive当中的数据存储格式
分为两大类
行式存储 Text sequeFile
列式存储 parquet orc
hive总结
最新推荐文章于 2022-04-15 21:47:30 发布