1.数据仓库
数据仓库的概念：DW DWH data warehouse，将传统的数据进行集成，进行分析和决策的作用。
仓库：存储物品的地方。作为仓库而言，既不会生产物品，也不会消耗物品。
数据仓库：既不会生产数据，也不会删除数据，主要存储的是历史数据，用于分析和决策使用。
数据仓库的特征：
（1）面向主题：将传统的数据库进行整合，面向综合的分析决策使用。
（2）集成性：将企业所有的数据库整合到一起，进行分许。
（3）非易失性：数据仓库中存储的是历史数据，不会轻易的删除掉
（3）时变性：数据会随时间发展，需要不断的更新历史数据
数据仓库与数据库的而区别：
OLTP:On-LineTransaction Processing 在线联机事务处理，对数据的增、删、改的支持，数据库的特点
OLAP:On-LineAnalytical Processing 在线联机分析处理，对数据不做任何的修改，只对数据进行分析。
数据仓库的分层：
一共分为三层：
1.数据源层：（ODS），数据的来源，
2.数据仓库层：将数据源进行集成，然后进行分析和决策。
ETL (抽取，转换、加载)
3.数据应用层：以图表或报表的形式进行展现
数据仓库元数据的管理：
元数据：数据仓库中数据模型的描述，主要是描述表和数据的映射关系。2.HIVE的基本概念
1）hive的简介：
hive：hive是hadoop的一个数据仓库工具，将结构化的数据映射为一张数据库表，hive提供了一个类似sql的查询功能，称为HQL
hive主要用于管理元数据
在执行hql的时候，本质是将sql语句翻译成mapreduce，由mapreduce执行并返回结果
hive是一个客户端
2)使用hive的原因：
主要原因：程序员都会sql
3）hive的架构：
hive是一个客户端
hive的用户接口：通过接口连接hive，执行查询操作。
解析器：
编译器：hql ——>mapreduce
优化器：hql select * from where group by order by 将hql进行优化
执行器：hdl -->mapreduce,执行并返回结果。
元数据：数据和表的映射
4）hive与hadoop的关系
hive ：数据存储 ——>HDFS
hive :sql的执行 ----》mapreduce
5）hive的安装部署
6）hive的交互方式
1）bin/hive的方式
首先第一次使用hive的时候，要创建元数据信息，所以要先使用bin/hive先连接一次
2）通过hive jdbc的方式连接
注意：使用此方式，之前一定要先生成元数据。bin/hive
首先，启动服务
bin/hive --service hiveserver2
后台启动服务：
nohup bin/hive --service hiveserver2 2>&1 &
其次，使用beeline的方式连接
bin/beeline
beeline> !connect jdbc:hive2://node03.hadoop.com:10000
3）外部执行命令
bin/hive -e "use myhive;select * from test;" --执行一个sql语句
bin/hive -f hive.sql --执行一个文件3.hive的基本操作
3.1 数据库的操作
1)创建数据库和表
create database if not exists myhive;
2)查看数据库信息
desc database（extended） myhive2;
3)删除数据库
drop databse myhive2；
如果库下面有表，数据库不能直接删除，需要级联删除
drop database myhive cascade;
3.2表的操作
CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name --用于创建一张表
[(col_name data_type [COMMENT col_comment], ...)] --字段名称和字段类型
[COMMENT table_comment] --表的注释
[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] --分区 --分文件夹
[CLUSTERED BY (col_name, col_name, ...) --分桶 --分文件
[SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS] --分文件，指定几个文件
[ROW FORMAT row_format] -- 数据的分割说明 \001
[STORED AS file_format] --指定存储格式
[LOCATION hdfs_path] --表数据的保存位置
1）管理表 内部表
由hive管理的表，当删除表的时候，数据会一起删除
create table stu（id int，name string）；
create table if not exists stu2(id int ,name string) row format delimited fields terminated by '\t'stored as textfile location '/user/stu2';
2）外部表 加上关键字external
表数据不仅仅自己使用，其他人也会使用，所以删除的时候只删除表信息，不删除数据。
create external table teacher (t_id string,t_name string) row format delimited fields terminated by '\t';
本地加载数据
load data local inpath '/export/servers/hivedatas/student.csv' into table student;
如果不写local 会从hdfs上加载数据
3）分区表
分区表: 分的是文件夹，原则是分而治之，数据的查询分析检索的的效率会更高。
创建一个分区表： create table score(s_id string,c_id string, s_score int) partitioned by (month string) row format delimited fields terminated by '\t';
导入数据的时候，一定要指定分区，否则导入不进去。
load data local inpath '/export/servers/hivedatas/score.csv' into table score partition (month='201806');
综合练习：
需求描述：现在有一个文件score.csv文件，存放在集群的这个目录下/scoredatas/month=201806，这个文件每天都会生成，存放到对应的日期文件夹下面去，文件别人也需要公用，不能移动。需求，创建hive对应的表，并将数据加载到表中，进行数据统计分析，且删除表之后，数据不能删除
1.外部表
2.分区表
3.指定目录
创建表：
create external table score4(s_id string, c_id string,s_score int) partitioned by (month string) row format delimited fields terminated by '\t' location '/scoredatas';
创建表之后，要进行修复，修复的是数据和表之间的映射关系
msck repair table score4;
4）分桶
分桶：分的是文件。
开启hive的桶表功能 set hive.enforce.bucketing=true;
设置reduce的个数 set mapreduce.job.reduces=3;
创建通表
create table course (c_id string,c_name string,t_id string) clustered by(c_id) into 3 buckets row format delimited fields terminated by '\t';
分桶表不能直接导入数据，只能通过中间表转换的方式 insert overwrite 的方式加载数据到分桶表。
通过insert overwrite给桶表中加载数据
insert overwrite table course select * from course_common cluster by(c_id);
5）数据的加载
通过load方式加载数据
load data local inpath '/export/servers/hivedatas/score.csv' overwrite into table score partition(month='201806');
通过insert overwrite查询的方式
insert overwrite table score4 partition(month = '201806') select s_id,c_id,s_score from score;
注意：overwrite关键字一定要有
score s_id c_id s_score --有数据 --一次的将数据分别将表导入的两个子表中
score_first s_id c_id
score_second c_id s_score
from score insert overwrite table score_first partition(month='201806') select s_id,c_id
insert overwrite table score_second partition(month ='201806') select c_id,s_score;
3.3hive的查询
SELECT [ALL | DISTINCT] select_expr, select_expr, ...
FROM table_reference
[WHERE where_condition]
[GROUP BY col_list [HAVING condition]]
[CLUSTER BY col_list
| DISTRIBUTE BY col_list
]
[LIMIT number]
说明：
order by：对全局进行排序，前提是只能有一个reduce的情况下才能完成排序。
sort by：局部排序
distribute by：根据指定的字段分发到指定的reduce中进行查询。
Cluster by = distribute by + sort by 前提是 distribute by 和 sort by 按照同样的一个字段进行分区排序查询
分组查询：
group by 将数据进行聚合查询
分组中查询的字段只能包含分组的字段和聚合的字段。4.hive 的shell参数
hive配置参数的方式
1）配置文件：hive-site.xml
2)hive命令行的方式bin/hive -hiveconf hive.root.logger=INFO,console：
3）参数声明：set mapred.reduce.tasks=100;
参数声明 > 命令行参数 > 配置文件参数（hive）5.hive的函数
1）查看系统自带的函数
hive> show functions;
2）显示自带的函数的用法
hive> desc function upper;
3）详细显示自带的函数的用法
hive> desc function extended upper;
用户自定义函数：
1）UDF：用户自定义函数 一进一出
2）UDAF:聚合函数， 多进一出 max（）
3）UDTF:表级函数，一进多出 lateral view explore() 6.hive数据的压缩
数据的压缩我们一般是用snappy。7.hive的存储格式
hive的存储格式分为2类：
行式存储：TextFile SequenceFile
列式存储：ORC PARQUET
存储文件的压缩比总结：
ORC > Parquet > textFile
存储文件的查询速度总结：（本地测试不准确，需要到服务器上测试）
ORC > TextFile > Parquet8.hive的存储和压缩结合
1）创建非压缩的orc格式
create table log_orc_none(track_time string,
url string,
session_id string,
referer string,
ip string,
end_user_id string,
city_id string
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
STORED AS orc tblproperties ("orc.compress"="NONE");
2）使用snappy压缩的orc格式
create table log_orc_snappy(track_time string,
url string,
session_id string,
referer string,
ip string,
end_user_id string,
city_id string
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
STORED AS orc tblproperties ("orc.compress"="SNAPPY");
结论：实际的工作中建议使用orc + snappy方式进行数据的存储。
也可以采用parquet方式。9.hive的调优
1）fetch抓取
尽量避免数据的查询分析跑mapreduce。
hive.fetch.task.conversion = more；
本地模式：
开启本地模式：hive.exec.mode.local.auto=true；
本地模式下的最大输入文件大小：set hive.exec.mode.local.auto.inputbytes.max=51234560; 默认128M
本地输入文件的个数：set hive.exec.mode.local.auto.input.files.max=10; 默认大小4个
2）表的优化
join原则：
1）小表join大表
查询score表中一共有多少个学生的成绩：
select ccount(distince s_id) from score;
select count(1) from (select s_id from score group by s_id) scorenew ; 使用group 是在map端做了局部的聚合
2) 多表关联， 拆成小段
3）大表join 大表
1)空key的过滤
对于关联的字段如果为空，且当前数据不需要，可以进行查询过滤。
SELECT a.* FROM (SELECT * FROM nullidtable WHERE id IS NOT NULL ) a JOIN ori b ON a.id = b.id;
2）空key的转换
对于关联的字段如果为空，且当前数据需要，数据是有用的，可以将id进行赋值。
不随机分布：
id hive
SELECT a.* FROM nullidtable a LEFT JOIN ori b ON CASE WHEN a.id IS NULL THEN 'hive' ELSE a.id END = b.id;
3）空key的散列
key的随机分布：数据倾斜
SELECT a.* FROM nullidtable a LEFT JOIN ori b ON CASE WHEN a.id IS NULL THEN concat('hive', rand()) ELSE a.id END = b.id;
3 mapJoin
（1）设置自动选择Mapjoin
set hive.auto.convert.join = true; 默认为true
（2）大表小表的阈值设置（默认25M以下认为是小表）：
set hive.mapjoin.smalltable.filesize=25123456;
4.groupby
1）开启Map端聚合参数设置
（1）是否在Map端进行聚合，默认为True
set hive.map.aggr = true;
（2）在Map端进行聚合操作的条目数目
set hive.groupby.mapaggr.checkinterval = 100000;
（3）有数据倾斜的时候进行负载均衡（默认是false）
set hive.groupby.skewindata = true;
5.count
建议使用group先进行分组，然后在count求数量
6.笛卡尔积
要避免笛卡尔积。
7.动态分区调整
INSERT overwrite TABLE ori_partitioned_target PARTITION (p_time)
SELECT id, time, uid, keyword, url_rank, click_num, click_url, p_time
FROM ori_partitioned;
重点：在数据查询导入的时候，要将分区的字段放在，查询字段的最后一个，就可以完成自动分区。
9.3数据的倾斜
解决数据倾斜的基本处理方式：设置map数量 和reduce数量1
（1）map数量的设置：
1.设置块大小 dfs.blocksize;
2.设置分片：maxsplit 和minsplit
3.增加map：
set mapreduce.job.reduces =10;
create table a_1 as
select * from a
distribute by rand(123);
（2）reduce个数：
1.setnumreducetask（hadoop）· set mapreduce.job.reduces = 15;
动态分区：hashpartitioner，要进行测试，判断出一个合适的分区。
2.
（1）每个Reduce处理的数据量默认是256MB
hive.exec.reducers.bytes.per.reducer=256123456
（2）每个任务最大的reduce数，默认为1009
hive.exec.reducers.max=1009
（3）计算reducer数的公式
N=min(参数2，总输入数据量/参数1)
9.4执行计划
使用explain的方式查询hql查询的计划。
例如 explain select * from course;：
9.5 并行执行
select * from score where month='201806' union all
select * from score where month='201808' ;
set hive.exec.parallel=true; //打开任务并行执行
set hive.exec.parallel.thread.number=16; //同一个sql允许最大并行度，默认为8。
9.6严格模式
hive.mapred.mode=nonstrict；
可以设置为strict；
1）对于分区表，where中一定加上分区字段。
2）对于order by的查询，一定加上limit；
3）一定不能使用笛卡尔积。
9.7 jvm重用
set mapred.job.reuse.jvm.num.tasks=10;10.hive练习
2990
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
