Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
Hvie是建立在Hadoop上的数据仓库基础架构。它提供了一系列的工具，可以用来进行数据提取转化加载(ETL)，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语句，称为HQL，它允许熟悉SQL的用户查询数据。同时，这个语言也允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理内建的mapper和reducer无法完成的复杂的分析工作。
由于Hive采用了SQL的查询语言HQL，因此很容易将Hive理解为数据库。其实从结构上来看，Hive和数据库除了拥有类似的查询语言，再无类似之处。本文将从多个方面来阐述Hive和数据库的差异。数据库可以用在Online的应用中，但是Hive是为数据仓库而设计的，清楚这一点，有助于从应用角度理解Hive的特性。
| 查询语言 | HQL | SQL |
| 数据存储位置 | HDFS | Raw Device或者Local FS |
| 数据格式 | 用户定义 | 系统决定 |
| 数据更新 | 不支持 | 支持 |
| 索引 | 无 | 有 |
| 执行 | Mapreduce | Executor |
| 执行延迟 | 高 | 低 |
| 可扩展性 | 高 | 低 |
| 数据规模 | 大 | 小 |
•查询语言：由于SQL被广泛的应用在数据仓库中，因此，专门针对Hive的特性设计了类SQL的查询语言HQL。熟悉SQL开发的开发者可以很方便的使用Hive进行开发。
•数据存储位置：Hive是建立在Hadoop之上的，所有Hive的数据都是存储在HDFS中的。而数据库则可以将数据保存在块设备或者本地文件系统中。
•数据格式：Hive中没有定义专门的数据格式，数据格式可以由用户指定，用户定义数据格式需要指定三个属性：列分隔符(通常为空格、"\t"、"\x001")、行分隔符("\n")以及读取文件数据的方法(Hive中默认有三个文件格式TextFile、SequenceFile以及RCFile)。由于在加载数据的过程中，不需要从用户数据格式到Hive定义的数据格式的转换，因此，Hive在加载的过程中不会对数据本身进行任何修改，而只是将数据内容复制或者移动到相应的HDFS目录中。而在数据库中，不同的数据库有不同的存储引擎，定义了自己的数据格式。所有数据都会按照一定的组织存储，因此，数据库加载数据的过程会比较耗时。
•数据更新：由于Hive是针对数据仓库应用设计的，而数据仓库的内容是读多写少的。因此，Hive中不支持对数据的改写和添加，所有的数据都是在加载的时候中确定好的。而数据库中的数据通常是需要经常进行修改的，因此可以使用INSERT INTO...VALUES添加数据，使用UPDATE...SET修改数据。
•索引：之前已经说过，Hive在加载数据的过程中不会对数据进行任何处理，甚至不会对数据进行扫描，因此也没有对数据中的某些Key建立索引。Hive要访问数据中满足条件的特定值时，需要暴力扫描整个数据，因此访问延迟较高。由于MapReduce的引入，Hive可以并行访问数据，因此即使没有索引，对于大数据量的访问，Hive仍然可以体现出优势。数据库中，通常会针对一个或几个列建立索引，因此对于少量的特定条件的数据的访问，数据库可以有很高的效率，较低的延迟。由于数据的访问延迟较高，决定了Hive不适合在线数据查询。
•执行：Hive中大多数查询的执行是通过Hadoop提供的MapReduce来实现的(类似select * from tbl的查询不需要MapReduce)。而数据库通常有自己的执行引擎。
•执行延迟：之前提到，Hive在查询数据的时候，由于没有索引，需要扫描整个表，因此延迟较高。另外一个导致Hive执行延迟高的因素是MapReduce框架。由于MapReduce本身具有较高的延迟，因此在利用MapReduce执行Hive查询时，也会有较高的延迟。相对的，数据库的执行延迟较低。当然，这个低是有条件的，即数据规模较小，当数据规模大到超过数据库的处理能力的时候，Hive的并行计算显然能体现出优势。
•可扩展性：由于Hive是建立在Hadoop之上的，因此Hive的可扩展性是和Hadoop的可扩展性是一致的。而数据库由于ACID语义的严格限制，扩展性非常有限。目前最先进的并行数据库Oracle在理论上的扩展能力也只有100台左右。
•数据规模：由于Hive建立在集群上并可以利用MapReduce进行并行计算，因此可以支持很大规模的数据；对应的，数据库可以支持的数据规模较小。
hive 安装步骤(我这里是伪分布式Hadoop)
- 前置安装hadoop 以及 zookeeper(这里安装了hadoop2.6.0及zookeeper3.4.5)
- 安装mysql数据库
- rpm -qa | grep mariadb
- 如果有：rpm -e --nodeps mariadb-libs-5.5.64-el7.x86
- rpm -ivh mysql-community-release-el7-5.noarch.rpm
- chown -R root:root /var/lib/mysql/
- chown root /var/lib/mysql/
- 修改my.cnf（vim /etc/my.cnf）在【mysqld】下面增加character-set-server=utf8
- service mysqld restart
- mysql -u root -p
- 进入mysql后：use mysql;
- update user set password=password('abc123') where user='root';
- GRANT ALL PRIVILEGES ON *.* TO root@"%" IDENTIFIED BY "abc123";
- flush privileges; exit;
- service mysqld restart
-
解压hive包
-
tar -zxf hive-1.1.0-cdh5.14.2.tar.gz
-
移到自己的文件夹下；mv hive-1.1.0-cdh5.14.2 soft/hive110
-
进入hive110/cinf ：touch hive-site.xml
-
vim hive-site.xml 写入下面内容
-
<?xml version="1.0" encoding="utf-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration><--数据存放路径，不用自己创建-->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/usr/hive110/warehouse</value>
</property><--连接mysql数据库是否本地-->
<property>
<name>hive.metastore.local</name>
<value>false</value>
</property><--连接mysql数据库-->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.168.88.180:3306/hive?createDatabaseIfNotExist=true&useSSL=false</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>abc123</value>
</property><--当有远程登陆的时候，用server2的时候可以不用权限验证，如果硬需要输入用户名密码，可用root 和root-->
<property>
<name>hive.server2.authentication</name>
<value>NONE</value>
</property>
<property>
<name>hive.server2.thrift.client.user</name>
<value>root</value>
</property>
<property>
<name>hive.server2.thrift.client.password</name>
<value>root</value>
</property>
</configuration>
-
-
将mysql驱动包贴到/opt/soft/hive110/lib下面
-
配置环境变量：vim /etc/profile
export HIVE_HOME=/opt/soft/hive110
export PATH=$PATH:$HIVE_HOME/bin - source /etc/profile
- 注意hive第一次启动需初始化，命令如下
schematool -dbType mysql -initSchema - 进入mysql查看一下：show databases;会有一个hive数据库就行了
- start-all.sh jps查看一下要保证是五个（除jps外）
- hive --service hiveserver2
- 然后新开一个窗口进入hive110/cinf 命令： hive
- show databases; 发现有一个default就说明进入数据库了
- 然后再新开一个窗口进入hive110/cinf 命令：beeline
- !connect jdbc:hive2://192.168.88.180:10000 看见下面内容即为成功，而且show databases;也可以看到default
-
-
安装zeppelin
-
tar -zxf zeppelin-0.8.1-bin-all.tgz
-
mv zeppelin-0.8.1-bin-all soft/zeppelin081
-
进入soft/zeppelin081/conf/
cp zeppelin-site.xml.template zeppelin-site.xml
-
vim zeppelin-site.xml 在configuration标签中添加
<property>
<name>zeppelin.helium.registry</name>
<value>helium</value>
</property> - cp zeppelin-env.sh.template zeppelin-env.sh
vim zeppelin-env.sh
- 配置hive解释器
-
进入hive110/conf/
-
cp hive-site.xml /opt/soft/zeppelin081/conf/
-
cp /opt/soft/hadoop260/share/hadoop/common/hadoop-common-2.6.0-cdh5.14.2.jar /opt/soft/zeppelin081/interpreter/jdbc/
-
cp /opt/soft/hive110/lib/hive-jdbc-1.1.0-cdh5.14.2-standalone.jar /opt/soft/zeppelin081/interpreter/jdbc/
-
将java-json.jar 贴到 /opt/soft/zeppelin081/lib
-
hive --service hiveserver2
-
配置zeppelin环境变量
-
source /etc/profile
-
启动：zeppelin-daemon.sh start 看见一个ok就启动成功了
-
浏览器查看：192.168.88.180:8080 看到一个绿色点即成功
-
在web界面配置集成hive
（1）右上角anonymous --> interpreter --> +Create新建一个叫做hive的集成环境
（2）设置properties
default.driver org.apache.hive.jdbc.HiveDriver
default.password
default.url jdbc:hive2://192.168.88.180:10000default.user root 保存
-
在zepplin中，点击notebook,通过create new note创建一个notebook.
其中name可以任意，Default Interpreter选择hive.
-
-
-
扫一扫
1717
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
