Hadoop之Hive的安装使用

简介

hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。hive是十分适合数据仓库的统计分析和Windows注册表文件

来自:https://baike.baidu.com/item/hive/67986

更多的可以去这里查看:https://blog.csdn.net/qq_43222167/article/details/107464446

下载解压

我这里使用的版本是hive-1.1.0-cdh5.15.1.tar
这里hive的版本最好是和hadoop的版本一致,要不到时候出现版本问题就很难解决

官网下载地址:https://downloads.apache.org/hive/

我这里个人的
链接：https://pan.baidu.com/s/1JNWxASaLzWDuxDGmtDUwPQ
提取码：5dww

这里我是使用的mysql数据库来进行对hive的元数据信息管理的,还没有安装mysql的可以参考:https://blog.csdn.net/qq_43222167/article/details/107459260

---

将下载好的hive进行解压

tar -zxvf hive-1.1.0-cdh5.15.1.tar.gz

得到

下一步就是修改配置文件,进入到hive的conf目录下

cd /hive-1.1.0-cdh5.15.1/conf

将 hive-env.sh.template修改

mv hive-env.sh.template hive-env.sh

修改hive-env.sh文件信息,找到hadoop的位置

HADOOP_HOME=/hadoop-2.6.0-cdh5.15.1/

根据自己Hadoop的位置而修改

再就是hive-site.xml文件,默认是没有的,需要创建

vim hive-site.xml

内容

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://127.0.0.1:3306/hadoop_hive?createDatabaseIfNotExist=true</value>
</property>

<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
</property>

<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>root</value>
</property>

<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>abc123456</value>
</property>
</configuration>

createDatabaseIfNotExist=true的意思就是如果没有此数据库则自动创建

账号密码随自己的而修改

---

再将mysql的数据库拷贝到hive的lib文件夹中

---

再到hive的bin目录下运行hive命令

./hive

可以看到已经连接上了

---

再使用我们本机的工具连接

看到数据库也已经生成了

简单的命令

显示数据库列表

show databases;

创建数据库

create database te1;

切换数据库

use te1;

显示所有的表

show tables;

创建表,语法为

create (database|schema) [if not exists] database_name
  [comment database_comment]
  [location hdfs_path]
  [with dbproperties (property_name=property_value, ...)];

我们这里新建一个行格式以:号结尾的分隔字段

create table h1(name string,num int) row format delimited fields terminated by ':';

然后使用Ctrl+c退出hive,在根目录下创建一个a.txt文件
内容如下

a:11
c:22
b:33

重新进入hive且切换到te1数据库中
执行命令

load data local inpath '/a.txt' overwrite into table h1;

再查看表中的数据

select * from h1;

所以这里可以看出刚刚的load data…命令是将本地的文件中的数据加载到表中

local：本地系统，如果没有local那么就是指的HDFS的路径
overwrite：是否数据覆盖，如果没有那么就是数据追加

将overwrite去掉重新执行一次

load data local inpath '/a.txt' into table h1;

看到数据重复添加进来了

将overwrite加进来执行

load data local inpath '/a.txt' overwrite into table h1;

可以看到数据只有根中文件的了

显示表结构

desc 表名;

删除

insert overwrite table h1 select * from h1 where name="a";

可以看到它只会保留下你where条件里面的值

删除某一列就是where 列名!=某值;

insert overwrite table h1 select * from h1 where num!=22;

多表联查
创建一个h2表

create table h2(name string,num int) row format delimited fields terminated by ':';

将数据加载进来

load data local inpath '/a.txt' overwrite into table h2;

然后查询

select a.name,b.num from h1 a join h2 b on a.name=b.name;

Hive数据结构和HDFS对照