大数据学习日志（一）————基础知识

Hive

概述

1. Hive是Hadoop的的子工程，后来被独立出来成为Apache的顶级项目
2. Hive是Apache提供的一套基于Hadoop的进行数据仓库管理的工具，提供了读写以及管理大量数据的功能
3. Hive提供了大量的类SQL（Hive QL，简称HQL）来对Hadoop的数据进行操作，底层会将SQL转换为MapReduce来执行，所以适合离线处理
4. 每一个Database都会在HDFS上对应一个目录
5. Hive中没有主键的概念
6. 在Hive中，一个表创建好之后，字段之间的间隔符号就无法更改了
7. Insert into表示追加，Insert overwrite表示覆盖（如果新插入的内容为空，就相当于清空表）
8. 因为Hive操作的是HDFS上的数据，所以Hive不提供修改和删除命令。数据不能删除，但是目录可以删除

HQL	解释
show databases;	显示所有数据库
create database demo;	创建
drop database demo;	删除表
load data local inpath ‘/home/hivedemo/person.txt’ into table person;	从本地文加载数据
truncate table …	清空表数据
create table … like …	创建一个一样的表
insert overwrite local directory ‘/home/hivedata’ row format delimited fields terminated by ’ ’ select * from person where age <= 19;	将hive（hdfs）中的数据放到本地，必须用overwrite，这个路径必须不存在
insert overwrite directory ‘/person’ row format delimited fields terminated by ‘,’ select * from person where id <= 3;	将表中数据查询出来放到HDFS下，只能用overwrite，用into报错
alter table … rename to …	修改表名称
alter table p5 add columns(gender String,address String);	添加列，初始值为null

表结构

1. 内部表：在Hive中手动创建表、手动添加数据的表

2. 外部表：在Hive中，需要创建表来管理HDFS中已经存在的数据

   • 创建表语句：create external table flow (phone String,city String,name String,flow int) row format delimited fields terminated by ’ ’ location ‘/txt/flow’;
   • 内部表被删除时对应的目录会立即从HDFS中移除，外部表被删除时对应的数据并不会删除
   • 在实际生产过程中，一般在数据处理时回先创建一个外部表

3. 分区表：

   • 作用：对数据进行分类
   • 建表语句：create table citied (id int,name String )partitioned by(province string) row format delimited fields terminated by ’ ';
   • 加载数据：load data local inpath ‘/home/hivedemo/guangdong.txt’ into table cities partition(province = ‘guangdong’);
   • 每一个分区在HDFS上对应一个目录，如果在查询的时候指定了分区，那么查询效率就相对而言较高，如果查询时跨分区，效率就较低
   • 批量修复：msck repair table cities;，就是添加所有的分区
   • 删除分区：alter table cities drop partition(province = ‘henan’)
   • 修改分区名：alter table cities partition(province=‘shanxi’) rename to partition(province=‘hebei’)
   • 多字段分区：在Hive中，允许使用多字段分区，前一个字段形成的目录会包含后一个字段，而在实际开发中，如果数据存在大类小类分区的情况，那么就需要使用多字段分区，例如：年级-班级，省-市-区等
     • 建表语句：crete table student (id int,name string )partitioned by (grade string,class string)row format delimited fields terminated by ’ ’
     • 加载数据：load data local inpath ‘/home/hivedemo/g1c1.txt’ ubti table student partition(grade = ‘1’,class = ‘1’);
     • 在Hive中，分区表中的分区字段在原始数据中是并不存在的，而是加载的数据手动指定的
     • 动态分区：如果分区字段已经被包含在原始数据中，那么需要使用动态分区
       1. 先创建一个表来管理原始数据
       2. 加载数据
       3. 开启非严格模式：set hive.exec.dynamic.partition.mode=nonstrict;
       4. 动态分区-从未分区表中查询数据放到已经分区的表中：insert into table cities partition(province )select cid,cname.cpro from c_tmo distribute by cpro;

4. 分桶表：

   • 分桶表的作用是对数据进行抽样

   • 实例：

     • 开启分桶机制：set hive.enforce.bucketing = true;
     • 建立分桶表：根据name字段分桶，将数据分到6个桶中，在底层会先计算name字段的值得到哈希码，然后对哈希码进行二次运算，使得这个值落到6个桶中的某一个上：create table c_bucket(id int,name string) clustered by(name) into 6 buckets row format delimited fields terminated by ’ ';向分桶表中添加数据，只能insert方式添加才能分桶，不能利用load的方式进行添加
     • 抽样：bucket X out of Y，X表示起始桶的编号，Y表示步长，bucket 1 out of 3 表示从1号桶开始抽取，每隔3个桶抽一次：select * from c_bucket tablesample(bucket 1 out of 3 on name)
     • 分桶表的核心思想是先根据值的哈希码来进行分桶（实际上就是数据被打散到各个桶中），然后再抽取指定的桶的数据
     • 一个表既可以是分区表也可以是分桶表，先对数据进行分类，分类只有在对每一类数据进行抽样