简介
hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低,可以通过类似SQL语句实现快速MapReduce统计,使MapReduce变得更加简单,而不必开发专门的MapReduce应用程序。hive是十分适合数据仓库的统计分析和Windows注册表文件
来自:https://baike.baidu.com/item/hive/67986
更多的可以去这里查看:https://blog.csdn.net/qq_43222167/article/details/107464446
下载解压
我这里使用的版本是hive-1.1.0-cdh5.15.1.tar
这里hive的版本最好是和hadoop的版本一致,要不到时候出现版本问题就很难解决
官网下载地址:https://downloads.apache.org/hive/
我这里个人的
链接:https://pan.baidu.com/s/1JNWxASaLzWDuxDGmtDUwPQ
提取码:5dww
这里我是使用的mysql数据库来进行对hive的元数据信息管理的,还没有安装mysql的可以参考:https://blog.csdn.net/qq_43222167/article/details/107459260
将下载好的hive进行解压
tar -zxvf hive-1.1.0-cdh5.15.1.tar.gz
得到
下一步就是修改配置文件,进入到hive的conf目录下
cd /hive-1.1.0-cdh5.15.1/conf
将 hive-env.sh.template修改
mv hive-env.sh.template hive-env.sh
修改hive-env.sh文件信息,找到hadoop的位置
HADOOP_HOME=/hadoop-2.6.0-cdh5.15.1/
根据自己Hadoop的位置而修改
再就是hive-site.xml文件,默认是没有的,需要创建
vim hive-site.xml
内容
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://127.0.0.1:3306/hadoop_hive?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>abc123456</value>
</property>
</configuration>
createDatabaseIfNotExist=true的意思就是如果没有此数据库则自动创建
账号密码随自己的而修改
再将mysql的数据库拷贝到hive的lib文件夹中
再到hive的bin目录下运行hive命令
./hive
可以看到已经连接上了
再使用我们本机的工具连接
看到数据库也已经生成了
简单的命令
显示数据库列表
show databases;
创建数据库
create database te1;
切换数据库
use te1;
显示所有的表
show tables;
创建表,语法为
create (database|schema) [if not exists] database_name
[comment database_comment]
[location hdfs_path]
[with dbproperties (property_name=property_value, ...)];
我们这里新建一个行格式以:号结尾的分隔字段
create table h1(name string,num int) row format delimited fields terminated by ':';
然后使用Ctrl+c退出hive,在根目录下创建一个a.txt文件
内容如下
a:11
c:22
b:33
重新进入hive且切换到te1数据库中
执行命令
load data local inpath '/a.txt' overwrite into table h1;
再查看表中的数据
select * from h1;
所以这里可以看出刚刚的load data…命令是将本地的文件中的数据加载到表中
local:本地系统,如果没有local那么就是指的HDFS的路径
overwrite:是否数据覆盖,如果没有那么就是数据追加
将overwrite去掉重新执行一次
load data local inpath '/a.txt' into table h1;
看到数据重复添加进来了
将overwrite加进来执行
load data local inpath '/a.txt' overwrite into table h1;
可以看到数据只有根中文件的了
显示表结构
desc 表名;
删除
insert overwrite table h1 select * from h1 where name="a";
可以看到它只会保留下你where条件里面的值
删除某一列就是where 列名!=某值;
insert overwrite table h1 select * from h1 where num!=22;
多表联查
创建一个h2表
create table h2(name string,num int) row format delimited fields terminated by ':';
将数据加载进来
load data local inpath '/a.txt' overwrite into table h2;
然后查询
select a.name,b.num from h1 a join h2 b on a.name=b.name;
Hive数据结构和HDFS对照