余老师带你学习大数据-Spark快速大数据处理第五章第四节HiveQL数据定义

HiveQL数据定义

1、在app-12上，以hadoop用户登录。
命令：su – hadoop

2、启动hive。
命令：hive --service cli

3、查看databases。
命令：show databases;

手动创建databases

4、创建test。
命令：CREATE DATABASE IF NOT EXISTS test;

5、查看是否创建成功。
命令：show databases;

6、进入test。
命令：use test;

7、创建employee表。
命令：CREATE TABLE IF NOT EXISTS `EMPLOYEE` ( `ID` bigint, `NAME` string, CONSTRAINT `SYS_PK_BUCKETING_COLS` PRIMARY KEY (`ID`) DISABLE ） ROW FORMAT DELIMITED FIELDS TERMINATED BY '\|' ;
注：``这个符号为标识符，数据名字。

下载数据

8、新建new terminal，以hadoop用户登录。
命令：su – hadoop

9、进入/tmp目录下。
命令：cd /tmp/

10、创建hive文件。
命令：mkdir hive

11、进入 /tmp/Spark-stack/Hive/HiveQL/目录下。
命令：cd /tmp/Spark-stack/Hive/HiveQL/

12、将employee.dat 拷贝到/tmp/hive/目录下。
命令：cp employee.dat /tmp/hive/

8、返回之前的new terminal，加载数据到table中。
命令：LOAD DATA LOCAL INPATH '/tmp/hive/employee.dat' OVERWRITE INTO TABLE EMPLOYEE;

9、查询数据。
命令：select * from EMPLOYEE;

数据库与hdfs对应关系

观察创建完表和数据库之后，在HDFS上有什么变化
1、在app-11上，以hadoop用户登录。
命令：su – hadoop

2、配置文件默认的数据存储仓库在hive/warehouse/
命令：hdfs dfs -ls /user/hive/warehouse/

3、查看test.db文件
命令：hdfs dfs -ls /user/hive/warehouse/test.db

4、查看employee表。
命令：hdfs dfs -ls /user/hive/warehouse/test.db/employee

5、查看employee.dat数据集内容。
命令：hdfs dfs -cat /user/hive/warehouse/test.db/employee/employee.dat

内部表和外部表操作与hdfs文件管控

1、将数据拷贝到/installTest目录下。
命令：hdfs dfs -cp /user/hive/warehouse/test.db/employee/employee.dat /installTest

2、返回app-12的命令行，删除表。
命令：drop table employee;

3、返回app-11上，再次查看。
命令：hdfs dfs -ls /user/hive/warehouse/test.db注：数据已经删除了，但是test.db没有删除掉。

4、返回app-12上，删除test.db。
命令：drop database test;

5、返回app-11上，查看是否删除。
命令：hdfs dfs -ls /user/hive/warehouse/test.db注：已经删除，数据库已经被删除。

创建外部表

6、创建一个空目录存放数据。
命令：hdfs dfs -mkdir /installTest/hive

7、将拷贝过来的employee.dat拷贝到hive目录下。
命令：hdfs dfs -cp /installTest/employee.dat /installTest/hive

8、返回app-12上，创建表，先创建database。
命令：CREATE DATABASE IF NOT EXISTS test;

9、进入test。
命令：use test;

10、创建表。
命令：CREATE TABLE IF NOT EXISTS `EMPLOYEE` ( `ID` bigint, `NAME` string, CONSTRAINT `SYS_PK_BUCKETING_COLS` PRIMARY KEY (`ID`) DISABLE ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\|' LOCATION '/installTest/hive';
注：外部表创建成功。

11、做一次查询。
命令：select * from EMPLOYEE;注：内部表和外部表在其他操作上是一致的。

HiveQL查询

12、在app-12上退出命令行环境。
命令：quit;

13、进入tmp目录下。
命令：cd /tmp/

14、将hive文件删除重新创建存放临时数据。
命令：rm -rf hive/、mkdir hive

15、进入Spark-stack/Hive/目录下。
命令：cd Spark-stack/Hive/

16、将HiveQL目录下的文件拷贝到/tmp/hive/目录下。
命令：cp -rf HiveQL/* /tmp/hive/

17、进入/tmp/hive/目录下。
命令：cd /tmp/hive/

18、查看employee.sql脚本
命令：vi employee.sql注：这是创建外部表的脚本。

19、加载脚本。
命令：hive -f /tmp/hive/employee.sql

20、切换到命令行环境。
命令：hive --service cli

21、进入test。
命令：use test;

22、设置MapReduce的Map memory和reduce memory为2G。
命令：set mapreduce.map.memory.mb=2048;、set mapreduce.reduce.memory.mb=2048;

23、查询。
命令：select count(*) from employee;注：时间是4.38秒。

24、查询现在的执行引擎。
命令：set hive.execution.engine;

25、将执行引擎改为mr。
命令：set hive.execution.engine=mr;

26、再一次查询。
命令：select count(*) from employee;注：时间是10.55秒。

详细学习内容可观看Spark快速大数据处理扫一扫~~~或者引擎搜索Spark余海峰