hive学习笔记之配置MySQL数据库

1.Hive简介

 起源自facebook由Jeff Hammerbacher领导的团队
 构建在Hadoop上的数据仓库框架
 设计目的是让SQL技能良好，但Java技能较弱的分析师可以查询海量数据
 2008年facebook把hive项目贡献给Apache

 Hive的组件与体系架构

 用户接口：shell, thrift, web等
 Thrift服务器
 元数据库“Derby, Mysql等
 解析器
 Hadoop

 Hive安装模式

 内嵌模式：元数据保持在内嵌的Derby模式，只允许一个会话连接(默认)
 本地独立模式：在本地安装Mysql，把元数据放到Mysql内
 远程模式：元数据放置在远程的Mysql数据库

2.配置Mysql

1:copy mysql-connector-java-5.1.6-bin.jar到$HIVE_HOME/lib

[plain]  view plain copy

1. [jifeng@jifeng02 hadoop]$ ls  
2. 7287OS_Code              hadoop-1.2.1.tar.gz      hive-0.12.0-bin                     tmp  
3. hadoop-1.2.1             hadoop-2.4.1-src.tar.gz  hive-0.12.0-bin.tar.gz  
4. hadoop-1.2.1-bin.tar.gz  hadoop-2.4.1.tar.gz      mysql-connector-java-5.1.6-bin.jar  
5. [jifeng@jifeng02 hadoop]$ cp mysql-connector-java-5.1.6-bin.jar hive-0.12.0-bin/lib  

2:修改$HIVE_HOME/conf/hive-site.xml

[html]  view plain copy

1. <property>  
2.   <name>javax.jdo.option.ConnectionURL</name>  
3.   <value>jdbc:mysql://jifengsql:3306/hive?createDatabaseIfNotExist=true</value>  
4.   <description>JDBC connect string for a JDBC metastore</description>  
5. </property>  
6.   
7. <property>  
8.   <name>javax.jdo.option.ConnectionDriverName</name>  
9.   <value>com.mysql.jdbc.Driver</value>  
10.   <description>Driver class name for a JDBC metastore</description>  
11. </property>  
12.   
13. <property>  
14.   <name>javax.jdo.PersistenceManagerFactoryClass</name>  
15.   <value>org.datanucleus.api.jdo.JDOPersistenceManagerFactory</value>  
16.   <description>class implementing the jdo persistence</description>  
17. </property>  
18.   
19. <property>  
20.   <name>javax.jdo.option.DetachAllOnCommit</name>  
21.   <value>true</value>  
22.   <description>detaches all objects from session so that they can be used after transaction is committed</  
23. description>  
24. </property>  
25.   
26. <property>  
27.   <name>javax.jdo.option.NonTransactionalRead</name>  
28.   <value>true</value>  
29.   <description>reads outside of transactions</description>  
30. </property>  
31.   
32. <property>  
33.   <name>javax.jdo.option.ConnectionUserName</name>  
34.   <value>dss</value>  
35.   <description>username to use against metastore database</description>  
36. </property>  
37.   
38. <property>  
39.   <name>javax.jdo.option.ConnectionPassword</name>  
40.   <value>jifeng</value>  
41.   <description>password to use against metastore database</description>  
42. </property>  

3:启动hive

[plain]  view plain copy

1. [jifeng@jifeng02 hive-0.12.0-bin]$ hive  
2.   
3. Logging initialized using configuration in jar:file:/home/jifeng/hadoop/hive-0.12.0-bin/lib/hive-common-0.12.0.jar!/hive-log4j.properties  
4. hive> show tables;  
5. FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient  
6. hive> quit;  

报错，网上查询后说是没把 mysql的jar包mysql-connector-java-5.1.10-bin.jar，放在hive安装目录的lib下

把 mysql-connector-java-5.1.6-bin.jar 替换成mysql-connector-java-5.1.10-bin.jar还是不行。

检查 mysql发现连接不上，换个虚拟机上mysql

[plain]  view plain copy

1. [dss@localhost ~]$ mysql -u root -p  
2. Enter password:   
3. --root 登陆mysql  
4. Welcome to the MySQL monitor.  Commands end with ; or \g.  
5. Your MySQL connection id is 70  
6. Server version: 5.6.16 MySQL Community Server (GPL)  
7.   
8.   
9. Copyright (c) 2000, 2014, Oracle and/or its affiliates. All rights reserved.  
10.   
11.   
12. Oracle is a registered trademark of Oracle Corporation and/or its  
13. affiliates. Other names may be trademarks of their respective  
14. owners.  
15.   
16.   
17. Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.  
18.   
19.   
20. mysql> create database hive;  
21. Query OK, 1 row affected (0.01 sec) --创建hive库  
22.   
23.   
24. mysql> GRANT all ON hive.* TO dss@'%' IDENTIFIED BY 'abc123';  
25. Query OK, 0 rows affected (0.03 sec)--给dss用户对hive库授权  
26.   
27.   
28. mysql> flush privileges;  
29. Query OK, 0 rows affected (0.02 sec)--刷新系统权限表  
30.   
31.   
32. mysql> set globalbinlog_format='MIXED';   
33. ERROR 1193 (HY000): Unknown system variable 'globalbinlog_format'  
34. mysql> alter database hive character set latin1 ;  
35. Query OK, 1 row affected (0.00 sec)--更新字符集  

再次启动

[plain]  view plain copy

1. [jifeng@jifeng02 hive-0.12.0-bin]$ hive  
2.   
3. Logging initialized using configuration in jar:file:/home/jifeng/hadoop/hive-0.12.0-bin/lib/hive-common-0.12.0.jar!/hive-log4j.properties  
4. hive> show tables;  
5. OK  
6. Time taken: 6.273 seconds  
7. hive>   

没有错误了。

4.Hive的运行模式即任务的执行环境

1启动hive 命令行模式：

1：直接输入#hive的执行程序，

2：或者输入 #hive --service cli

 

l  分为本地与集群两种

我们可以通过mapred.job.tracker 来指明

设置方式：

hive > 

  SET mapred.job.tracker=local

 

2.hive验证启动的方法

l  1、hive web界面的(端口号9999) 启动方式

#hive --service hwi 

[plain]  view plain copy

1. [jifeng@jifeng02 hive-0.12.0-bin]$ hive --service cli  
2.   
3. Logging initialized using configuration in jar:file:/home/jifeng/hadoop/hive-0.12.0-bin/lib/hive-common-0.12.0.jar!/hive-log4j.properties  
4. hive> quit;  
5. [jifeng@jifeng02 hive-0.12.0-bin]$ hive --service hwi   
6. 15/08/17 15:17:10 INFO hwi.HWIServer: HWI is starting up  
7. 15/08/17 15:17:10 INFO mortbay.log: Logging to org.slf4j.impl.Log4jLoggerAdapter(org.mortbay.log) via org.mortbay.log.Slf4jLog  
8. 15/08/17 15:17:10 INFO mortbay.log: jetty-6.1.26  
9. 15/08/17 15:17:10 INFO mortbay.log: Extract /home/jifeng/hadoop/hive-0.12.0-bin/lib/hive-hwi-0.12.0.war to /tmp/Jetty_0_0_0_0_9999_hive.hwi.0.12.0.war__hwi__ow27i/webapp  
10. 15/08/17 15:17:11 INFO mortbay.log: Started SocketConnector@0.0.0.0:9999  

用于通过浏览器来访问hive

http://jifeng02:9999/hwi/

l  2、hive 远程服务(端口号10000) 启动方式

#hive --service hiveserver