hadoop2.2完全分布式集群+hive+mysql存储元数据配置

一直在忙公司的项目,也没时间学些东西,最近刚闲下来就学一学hive和hbase的东东,本次只讲述hadoop完全分布式环境下用mysql存储元数据的hive的配置

完全分布式集群环境

virtualBox

centos6.4mini     hadoop-master     192.168.1.252    master

centos6.4mini     hadoop-slave1      192.168.1.251    slave

机子配置不太好 只能两个节点了

1.jdk6+版本安装配置 安装步骤略 

2.mysql安装 执行命令yum install mysql-server下载安装好即可,启动mysql服务 service mysqld start,设置root密码,mysqladmin -u root -p password 123456,

3.hive-0.13.1版本 解压到指定目录(/home/yufan/program/hive),

打开hive下conf文件夹,复制一份hive-default.xml.templete文件到当前目录并且重命名为hive-site.xml，打开hive-site.xml，进行简单配置,如下

<property> 
<name>hive.metastore.local</name>
<value>true</value>
</property>

<property>
  <name>hive.exec.scratchdir</name>
  <value>/home/yufan/hivetmp/tmp</value>
  <description>Scratch space for Hive jobs</description>
</property>

<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/home/yufan/hivetmp/warehouse</value>
  <description>location of default database for the warehouse</description>
</property>

<property>
   <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://hadoop-master:3306/hive_db?createDatabaseIfNotExist=true</value>
  <description>JDBC connect string for a JDBC metastore</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
  <description>Driver class name for a JDBC metastore</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>root</value>
  <description>username to use against metastore database</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>123456</value>
  <description>password to use against metastore database</description>
</property>

保存以后讲该文件复制到hadoop的/etc/hadoop/下

在hive-en.sh.templete里边添加jdk和hadoop根目录路径

hive安装到master即可

作为测试环境以上配置够了,生产环境应该会更具业务配置更多.

5.在hadoop集群中格式化后启动集群，然后新建两文件夹作为hive数据缓存目录

hadoop fs -mkdir /home/yufan/hivetmp/tmp

hadoop fs -mkdir /home/yufan/hivetmp/warehouse

6.在/etc/profile文件中添加HIVE_HOME根路径配置,classpath中添加hive文件夹下lib路劲,在path中添加hive文件夹下bin路径,source /etc/profile重建文件使之生效

7.执行以下命令测试hive安装配置

@1.hive 此时会输出一大堆信息 等等。。。。

@2.hive>create database hive_yufan; 此时会提示OK 

@3.hive>show databases; 此时会输出hive_yufan

@4.hive>exit;退出

@5.mysql -u root -p 登陆mysql数据库 输入密码,

@6.mysql>show databases;此时会看到数据库hive_yufan以及mysql自带的数据库信息

@7.exit;

@8.浏览器中打开http://192.168.1.252:50070,再打开的网页界面中点击Browse the filesystem,会看到一个table,第一列是可点的,一次点进去是这样的

home/yufan/hivetmp/tmp和warehouse 这两路径在hadoop集群中新建过 而且在hive-site.xml中也曾配置过 是不是很眼熟啊？没错就是这个配置了，

点击warehouse之后就会看到刚才新建的数据库hive_yufan了

8.截图

以上是基本配置,后续学习继续添加，以备日后学习和回顾只用，有不足之处请指正