数据仓库相关知识以及hive相关知识

1.hive的基本操作

1.1建库语法

create database if not exists myhive;
use myhive;
创建的数据库默认路径是在：

创建数据库并制定hdfs存储位置
create database myhive2 location ‘/myhive2’;

修改数据库信息
可以使用alter database 命令来修改数据库的一些属性。但是数据库的元数据信息是不可更改的，包括数据库的名称以及数据库所在的位置
alter database myhive2 set dbproperties(‘createtime’=‘20180611’);

查看数据库基本信息
desc database myhive2;
查看数据库更多详细信息
desc database extended myhive2;

删除数据库
drop database myhive2
（如果数据库下面有数据表，那么就会报错）
drop database myhive cascade;
（强制删除数据库，包含数据库下面的表一起删除）

1.2建表语法

external 定义我们的表为外部表

location 指定我们表里面的数据应该存放在hdfs的哪个位置

partitionedby 创建分区表 按照文件夹，将不同的数据，划分到不同的文件夹下面去

clustered by 分桶表 将我们的数据按照一定的规则，划分到多个文件里面去

store as 指定数据的存储格式 text sequenceFile parquet orc

row format 指定我们hive建表的分隔符，与我们hdfs的数据的分隔符保持一致，才能够映射hdfs上面的数据到对应的hive的表的字段里面来

LIKE 允许用户复制现有的表结构，但是不复制数据。

hive当中的四种常见的表模型：

第一种表模型：管理表，又叫做内部表
特性：删除表的时候，hdfs上面对应的数据，也会同步删除

hive建表初体验
use myhive;
create table stu(id int,name string);
insert into stu values (1,“zhangsan”);
select * from stu;

hive当中的默认分隔符： \001 键盘打不出来 asc码值 非打印字符 避免分隔符的冲突

创建表指定字段之间的分隔符
create table if not exists stu2(id int ,name string) row format delimited fields terminated by ‘\t’ stored as textfile location ‘/user/stu2’;

根据查询结果创建表，复制表结构，并且复制表数据到我们创建的表里面去
create table stu3 as select * from stu2;

仅仅复制表结构，不复制表数据
create table stu4 like stu2

查看表的类型
desc formatted tableName;

第二种外部表
外部表：删表的时候不会删除hdfs上面的数据
原因;指定hdfs其他位置的路径的数据，加载到hive的表
hive认为数据是从其他的方移动过来的，hive表没有完全地独占这份数据，删除表的时候不能够删除数据

分别创建老师与学生表外部表，并向表中加载数据
创建老师表：
createexternal table techer (t_id string,t_name string) row format delimited fields terminated by’\t’;

创建学生表：
create external table student(s_id string,s_name string,s_birth string , s_sex string ) row format delimited fields terminated by ‘\t’;

从本地文件系统向表中加载数据
load data local inpath ‘/export/servers/hivedatas/student.csv’ into table student;
加载数据并覆盖已有数据
load data local inpath ‘/export/servers/hivedatas/student.csv’ overwrite into table student;

从hdfs文件系统向表中加载数据（需要提前将数据上传到hdfs文件系统，其实就是一个移动文件的操作）
cd /export/servers/hivedatas
hdfs dfs -mkdir -p /hivedatas
hdfs dfs -put techer.csv /hivedatas/
load data inpath ‘/hivedatas/techer.csv’ into table techer;

如果删掉student表，hdfs的数据仍然存在，并且重新创建表之后，表中就直接存在数据了,因为我们的student表使用的是外部表，drop table之后，表当中的数据依然保留在hdfs上面了

内部表与外部表的创建：
external关键字决定了我们是内部表还是外部表
内部表：删表的时候，同时删除hdfs的数据
外部表：删表的时候，不会删除hdfs上面的数据

外部表：
本地磁盘：local
hdfs文件系统：不加local
load data [local] inpath ‘/export/servers/hivedatas/techer.csv’ into [overwrite] into table techer;

从本地加载数据的时候：本地数据没有动
从hdfs上面加载数据的时候：把数据移动到了我们hive表的location位置
如果没有指定location位置，那么默认表的位置在/usr/hive/warehouse/dbname/tablename

第三种分区表
分区表：一般没有一种独立的表模型，只有内部分区表，或者外部分区表
核心的思想，也是分治：数据量越少，跑起来就会越快
可以按照一定的规则，创建一些文件夹，可以根据指定的文件夹，找到我们指定的数据

创建分区表语法
create table score(s_id string,c_id string, s_score int) partitioned by (month string）row format delimited fields termi