pig hive 安装配置

一. Pig安装

1. 安装

yum install hadoop-pig

2. 配置

a. 复制配置文件

cp -r /etc/pig/conf.dist /etc/pig/conf.my_cluster

b. 安装配置文件

alternatives --install /etc/pig/conf pig-conf /etc/pig/conf.my_cluster 50

2. 启动

pig -x mapred

会自动去读取hadoop主目录下conf目录的配置文件

二. Hive安装

1. 安装

yum install hadoop-hive hadoop-hive-metastore hadoop-hive-server

2. 使用mysql

hive默认使用apache derby数据库存储元数据，这边修改为mysql

a. 安装MySQL JDBC Connector

wget http://mysql.ntu.edu.tw/Downloads/Connector-J/mysql-connector-java-5.1.18.tar.gz -P /usr/local/src
cd /usr/local/src
tar zxvf mysql-connector-java-5.1.18.tar.gz
cp mysql-connector-java-5.1.18/mysql-connector-java-5.1.18-bin.jar /usr/lib/hive/lib/

b. 创建数据库和配置相关信息

mysql> create database hive;
Query OK, 1 row affected (0.04 sec)
mysql> use hive;
Database changed
mysql> source /usr/lib/hive/scripts/metastore/upgrade/mysql/hive-schema-0.7.0.mysql.sql;

创建数据库，初始化数据

mysql> grant all on hive.* to hive@'%' identified by 'password';
mysql> flush privileges;

赋予权限

3. 配置文件

配置文件为/etc/hive/conf/hive-site.xml

javax.jdo.option.ConnectionURL：连接的数据库
javax.jdo.option.ConnectionUserName：用户名
javax.jdo.option.ConnectionPassword：密码

a. 安装配置

alternatives --display hive-conf

复制配置文件

cp -r /etc/hive/conf.dist /etc/hive/conf.my_cluster

安装配置文件

alternatives --install /etc/hive/conf hive-conf /etc/hive/conf.my_cluster 50

查看新配置

alternatives --display hive-conf

b. 修改配置文件

 
 
vi /etc/hive/conf/hive-site.xml  
<property> 
  <name>javax.jdo.option.ConnectionURL</name> 
  <value>jdbc:mysql://MYHOST/hive</value> 
</property> 
 
<property> 
  <name>javax.jdo.option.ConnectionDriverName</name> 
  <value>com.mysql.jdbc.Driver</value> 
</property> 
 
<property> 
  <name>javax.jdo.option.ConnectionUserName</name> 
  <value>hive</value> 
</property> 
 
<property> 
  <name>javax.jdo.option.ConnectionPassword</name> 
  <value>password</value> 
</property> 
 
<property> 
  <name>datanucleus.autoCreateSchema</name> 
  <value>false</value> 
</property> 
 
<property> 
  <name>datanucleus.fixedDatastore</name> 
  <value>true</value> 
</property> 

将MYHOST和password修改为相应的值。

连接测试

hive

4. 开机启动

chkconfig hadoop-hive-metastore off

chkconfig hadoop-hive-server on