大数据存储考前复习(2)

Hive基础

hadoop fs =dfs

hadoop fs -ls /

hadoop fs -put 本地 hadoop路径

hadoop fs -cat hadoop路径

---

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并且提高类SQL的查询功能。

Hive的本质是：将HQL转化成MapReduce程序

Hive的优缺点：

优点：

• 1. 操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。

  2. 避免了去写MapReduce，减少开发人员的学习成本。

  3. Hive的执行延迟比较高，因此Hive常用于数据分析，对实时性要求不高的场合。

• 1. Hive优势在于处理大数据，对于处理小数据没有优势，因为Hive的执行延迟比较高。

• 1. Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。

2 不足

• 1)Hive的HQL表达能力有限如：在数据挖掘、迭代式算法等方面

• 2)Hive的效率比较低

• Hive自动生成的MapReduce作业，通常情况下不够智能化

• Hive调优比较困难

Hive与sql的区别：

• 1 查询语言

由于SQL被广泛的应用在数据仓库中，因此，专门针对Hive的特性设计了类SQL的查询语言HQL。熟悉SQL开发的开发者可以很方便的使用Hive进行开发。

• 2 数据存储位置

Hive是建立在Hadoop之上的，所有Hive的数据都是存储在HDFS中的。

• 3 数据更新

由于Hive是针对数据仓库应用设计的，而数据仓库的内容是读多写少的。因此，Hive中不建议对数据的改写，所有的数据都是在加载的时候确定好的。而数据库中的数据通常是需要经常进行修改的，因此可以使用INSERTINTO…VALUES添加数据，使用UPDATE…SET修改数据

• 4 索引

Hive在加载数据的过程中不会对数据进行任何处理，甚至不会对数据进行扫描，因此也没有对数据中的某些Key建立索引。Hive要访问数据中满足条件的特定值时，需要暴力扫描整个数据，因此访问延迟较高。由于MapReduce的引入，Hive可以并行访问数据，因此即使没有索引，对于大数据量的访问，Hive仍然可以体现出优势。数据库中，通常会针对一个或者几个列建立索引，因此对于少量的特定条件的数据的访问，数据库可以有很高的效率，较低的延迟。由于数据的访问延迟较高，决定了Hive不适合在线数据查询。

• 5执行

Hive中大多数查询的执行是通过Hadoop提供的MapReduce来实现的。而数据库通常有自己的执行引擎。

• 6 执行延迟

Hive在查询数据的时候，由于没有索引，需要扫描整个表，因此延迟较高。另外一个导致Hive执行延迟高的因素是MapReduce框架。由于MapReduce本身具有较高的延迟，因此在利用MapReduce执行Hive查询时，也会有较高的延迟。相对的，数据库的执行延迟较低。

当然，这个低是有条件的，即数据规模较小，当数据规模大到超过数据库的处理能力的时候，Hive的并行计算显然能体现出优势。

---

元数据：Metastore 表的结构，存放位置，字段，目录等

数据仓库一般是存多改少，多查询

数据类型：int bigint BOOLEAN STRING float double TimeStamp(时间类型)

array<类型> 数组类型 [1,2,3,6,9]

map<类型，类型> {"a":18,"c":82} 键值对的形式 建和值都是不固定的

struct() {"street":"a","city":"abd","street":"b","city":"ccc"} 我们发现每一组的键是固定的 值是不定的

---

数据类型转化： 低精度可以转化高精度 int-------------> double

函数实现类型转化：

**CAST("字符串" AS INT) 将字符串转化为整数**

**select cast(id as int) as id 把这个字段转化为int类型**

---

库管理：

hive数据库是默认存放在：/user/hive/warehouse/*.db

create database ；

drop database 库名 cascade ；（cascade)表示级联删除 在数据库不为空的情况下

表管理：

//外表==元数据+实际数据

//内部表 数据会移动到数据仓库的路径

删除内部表 元数据+数据都会删除

删除外部表 只会删除元数据(表结构信息)，数据表不会删除

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name

[(col_name data_type [COMMENT col_comment], ...)]

[COMMENT table_comment] //表的注释信息

[PARTITIONED BY (col_namedata_type [COMMENT col_comment], ...)] //分区表

[CLUSTERED BY (col_name, col_name, ...)//分桶表

[SORTED BY (col_name [ASC|DESC], ...)] INTO num_bucketsBUCKETS]

[ROW FORMAT row_format]

[STORED AS file_format]//指定存储文件类型

[LOCATION hdfs_path]（外部表的时候才会使用）(真实数据存放的位置)

内部表

create table if not exists student2(

id int, name string)

row format delimited fields terminated by '\t'

stored as textfile

location '/user/hive/warehouse/student2';

外部表

create external table if not exists ext_stu(

id String,``name String,``age int)

row format delimited fields terminated by ', '

location '/usr/test_data/'; // 这里是指定存放的那份数据 不是表结构信息

查看表结构信息：desc formatted 表；

转化为内部表：alter table ext_stu set tblproperties('EXTERNAL'='FALSE');

转化为外部表：alter table ext_stu set tblproperties('EXTERNAL'='TRUE');

---

分区表：

就是按照某个字段划分数据，相同的放在一块

create table stu_partition(

name String, Phone_NO String)

partitioned by (class String) //分区字段不包含在成员字段

row format delimited fields terminated by '\t';

加载数据：partition partition

load data local inpath '/usr/test_data/dsj-1.txt' into table school.stu_partition partition(class='dsj-1');

load data local inpath '/usr/test_data/dsj-2.txt' into table school.stu_partition partition(class='dsj-2');

查询：

select * from stu_partition where class=‘dsj-1’ 分区查询

select * from stu_partition; 全表查询

同时创建多个分区：alter table stu_partition add partition(class=‘dsj-2’) partition(class=‘dsj-3’);

查看分区：show partitions stu_partition;

删除分区：alter table stu_partition drop partition(class=‘dsj-2'),partition(class=‘dsj-3');

---

二级分区：

create table stu_partition2(

name String, Phone_NO String)partitioned by (class String,year int)

row format delimited fields terminated by '\t';

二级分区导入数据：

load data local inpath '/usr/test_data/dsj-1.txt' into table school.stu_partition2 partition(class='dsj-1',year='2018');

查询二级分区：

select * from school.stu_partition2 where class='dsj-1' and year='2018';

---

修改表：alter table 名 rename to 新名；

增加列：alter table stu2 add columns (pid int) ;

修改列：alter table stu2 change pid tab_id int ;

删除表：drop table 表名；

---

数据导入

load data [local] inpath '/opt/module/datas/student.txt' [overwrite]|into table student[partition (partcol1=val1,…)];

• 1）load data:表示加载数据

• 2）local:表示从本地加载数据到hive表；否则从HDFS加载数据到hive表

• 3）inpath:表示加载数据的路径

• 4）overwrite:表示覆盖表中已有数据，否则表示追加

• 5）into table:表示加载到哪张表

• 6）student:表示具体的表

• 7）partition:表示上传到指定分区

插入数据：

insert into table school.student_insert values('01','zhangsan',22); //追加

insert overwrite table school.student_insert values('03',‘wangwu',24); //覆盖

---

数据导出：

将查询结果导出得到本地Linux：

        insert overwrite local directory '/user/test_data/export/student' select * from student;

将查询结果导出到本地并且重新设置分隔符：

 insert overwrite local directory '/user/test_data/export/student1'

ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' select * from student;

将查询结果导出到HDFS:

        insert overwrite directory '/usr/test_data/export/student' select * from student;