大数据实践练习系列【3、数据导入Hive中，了解HIve数据】

场景说明：

数据目前我们已经存放在了HDFS中，不难发现数据是以行出现，用‘\t’进行了分割。

我们接下来就是对这些数据进行Hive操作，达到练习的目的。最终实现数据的清洗，可以使用javaweb配合ELK进行展示。

1、数据的导入

在读入表的时候我们设置了以”\t“进行行的分割

所以我们在导入数据的时候就会根据换行符进行数据的导入，我们的数据目前来说是比较规范并且简单的，所以导入数据不存在数据清洗的步骤。目前我们也暂时不做分区。

数据导入语句

load data inpath '/test/dept/dept.csv' into table dept;

load data inpath '/test/emp/emp.csv' overwrite into table emp;

导入数据可能出现的问题：

1、权限问题

数据导入可能不成功，因为导入数据后，HDFS中的数据会消失，所以这里给每个文件赋予权限

sudo -u hdfs hadoop fs -chmod 777 /test/emp/emp.csv

2、jar包无法找到

CDH中的HIve进行查询时，报错找不到 xxxxx.jar包，3.0.0-cdh6.2.0-mr-framework.tar.gz

解决办法 ：https://blog.csdn.net/weixin_29057619/article/details/109222417

2、数据导入完成后，可以自己进行语句练习

Hive学习连接：https://www.cnblogs.com/qingyunzong/p/8744593.html#_label0

SELECT * FROM emp LIMIT 30;

可以对里面的数据进行分区，对部门进行分区，之后可以对salary进行统计排序

3、对日期进行分区

这里出现的错误是分区无法进行，因为建表的时候没有创建分区，所以这里我们重新进行表的建设。

重新上传文件

sudo -u hdfs hadoop fs -chmod 777 /test/emp/emp.csv

给权限

sudo -u hdfs hadoop fs -chmod 777 /test/emp/emp.csv

删除表

drop table emp;

重建分区表

CREATE EXTERNAL TABLE IF NOT EXISTS default.emp(
ename string,age INT,job STRING,hiredate date,salary int,deptno string
)PARTITIONED BY (mounth DATE)
row FORMAT DELIMITED FIELDS TERMINATED BY '\t'

导入数据

load data inpath '/test/emp/emp.csv' into table emp partition(mounth='2019-11-11');

查询数据

再次导入分区数据

load data inpath '/test/emp/emp.csv' into table emp partition(mounth='2019-11-12');

根据分区查询数据

select * from emp where mounth='2019-11-12';

4、分区存档

分区完后，分区会以表的型存放在HDFS中/user/hive下