hive metastore mysql_hive-(1)使用Mysql作为Hive的metastore基本配置

本文详细介绍了如何将Hive与MySQL集成,作为Metastore的配置步骤。包括安装MySQL,设置HIVE_HOME环境变量,放入mysql-connector-java jar包,删除yarn的旧版jline.jar,创建Hive运行目录,修改hive-site.xml配置连接MySQL,以及初始化Hive schema,最后启动Hadoop和Hive。
摘要由CSDN通过智能技术生成

1 . 首先安装好Mysql,如何安装可参考https://www.cnblogs.com/ealenxie/p/9260051.html;下载好HIVE后,解压到 /application/apache-hive-1.2.2-bin

2 . 新增配置环境变量

#HIVE

export HIVE_HOME=/application/apache-hive-1.2.2-bin

#PATH

export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${MYSQL_HOME}/bin:${HIVE_HOME}/bin:$PATH

3 . 下载mysql-connector-java的jar包 : 将其放进去 /application/apache-hive-1.2.2-bin/lib/

4 . 检查yarn的lib是否有老版本的jline.jar,如果有就删除,然后执行

cp /application/apache-hive-1.2.2-bin/lib/jline-2.12.jar /application/hadoop-2.6.5/share/hadoop/yarn/lib/jline-2.12.jar

5 . 建立hive的相关运行和配置的目录 : 我这里是建立在 /home/cache/hive下面,再新建两个目录operation_logs,resources

即 : /home/cache/hive/operation_logs 和/home/cache/hive/resources

6 . 配置/application/apache-hive-1.2.2-bin/conf/hive-site.xml文件 ,注意hive里面默认是hive-default.xml.template ,复制为hive-site.xml;hive默认为derby数据库,需要把相关信息调整为mysql数据库。

1) . 将所有文件里面的所有的${system:java.io.tmpdir}/${system:user.name} 替换成 /home/cache/hive;${system:java.io.tmpdir}/${hive.session.id}_resources 替换成 /home/cache/hive/resources

2) . 修改(注意是修改)的配置信息如下:

javax.jdo.option.ConnectionURL

jdbc:mysql://localhost:3306/hive_mysql?createDatabaseIfNotExist=true

JDBC connect string fora JDBC metastore

javax.jdo.option.ConnectionDriverName

com.mysql.jdbc.Driver

Driver class name for aJDBC metastore

javax.jdo.option.ConnectionUserName

yourname

username to use againstmetastore database

javax.jdo.option.ConnectionPassword

yourpass

password to use againstmetastore database

7 . 配置/application/apache-hive-1.2.2-bin/conf/hive-env.sh文件,同理template :

# Set HADOOP_HOME to point to a specific hadoop installdirectory

export HADOOP_HOME=/application/hadoop-2.6.5# Hive Configuration Directory can be controlled by:

export HIVE_CONF_DIR=/application/apache-hive-1.2.2-bin/conf

8 . 首次启动初始化schema :

schematool -dbType mysql -initSchema

b1293cda5ea1fb9c0a004a5ae316fdba.png

9 . 启动hadoop,和hive :

cd /application/hadoop-2.6.5/sbin

start-dfs.shstart-yarn.shhive

6cc7a485d4dd7fdf9946bc870b8f0ac3.png

至此,使用Mysql作为Hive的metastore已经基本配置好了。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值