打造基于hadoop的网站日志分析系统：（3）Hive的安装

2019独角兽企业重金招聘Python工程师标准>>>

1.安装mysql 用做元数据存储，所谓的元数据就是hive创建的表，字段等等。

     sudo apt-get install mysql-server

2.

   创建hive数据库: create database hive;

   授权用户：grant all on hive.* to hive@'%'  identified by 'hive';  

3.下载hive 

wget http://mirror.esocc.com/apache/hive/hive-0.13.1/apache-hive-0.13.1-bin.tar.gz，并解压至/usr/local/hive/lib;

4.添加环境变量：

export HIVE_HOME=/usr/local/hive
export PATH=$HIVE_HOME/bin:$PATH

export PATH=$HIVE_HOME/lib:$PATH

5. 拷贝 /usr/local/hive/conf/hive-default.xml 并修改如下配置：

<property> 

   <name>javax.jdo.option.ConnectionURL</name> 

   <value>jdbc:mysql://localhost:3306/hive</value> 

</property> 

<property> 

   <name>javax.jdo.option.ConnectionDriverName</name> 

   <value>com.mysql.jdbc.Driver</value> 

</property>

<property> 

   <name>javax.jdo.option.ConnectionPassword</name> 

   <value>hive</value> 

</property> 

<property> 
<name>javax.jdo.option.ConnectionUserName</name> 
<value>hive<alue> 
<description>username to use against metastore database</description> 
</property>

<property> 

   <name>hive.hwi.listen.port</name> 

   <value>9999</value> 

   <description>This is the port the Hive Web Interface will listen on</descript ion> 

</property> 

<property> 

   <name>datanucleus.autoCreateSchema</name> 

   <value>true</value> 

</property> 

6.下载java 的mysql连接组件 wget http://downloads.mysql.com/archives/get/file/mysql-connector-java-5.1.30.tar.gz

7.命令行输入hive启动hive；

•建立测试表test

•create table test (key string);

•show tables;

到mysql上看use hive;show tables;原来这个库是空的，现在有数据了。

8.安装thrift，

Thrift是一个跨语言服务部署框架，最初由Facebook于2007年开发，后于2008年进入Apache孵化器(Apache Incubator)。

类似于SOAP，google protobuf，COM 和CORBA，Thrift通过定义一个中间定义语言和Thrift代码生成工具，生成指定语言的代码。

目前，Thrift支持C++,Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, Smalltalk和OCaml的代码生成。

1.下载0.9.1版本 wget http://apache.dataguru.cn/thrift/0.9.1/thrift-0.9.1.tar.gz，并解压。

2.进入解压好的目录 执行 ./configure  make  make install 三个目录安装程序。

注意：我在安装时遇到了很多问题，按照网上的教程都没能解决，最后没办法直接进入root帐号，安装成功。

由于考虑今后的数据导入和运行分析大多数情况下可以进行自动化操作，所以为hive添加客户端接口。

用python 进行连接测试

把/usr/local/hive/lib/py下的文件拷贝到     /usr/local/lib/python2.7/site-packages，编写测试代码：

运行结果可以看到我们之前创建的test表了。

转载于:https://my.oschina.net/u/1589995/blog/287070