大数据BigData之如何配置hive连接mysql,把mysql作为元数据库?

如何配置hive连接mysql,把mysql作为元数据库?


1.增加mysql数据库的连接配置

<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
</property>

<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
  <description>Driver class name for a JDBC metastore</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>root</value>
  <description>username to use against metastore database</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>password</value>
  <description>password to use against metastore database</description>
</property>

2.修改临时文件夹的路径

找到以下2个配置,并改为正确的路径:

 <property> 
 <name>hive.exec.local.scratchdir</name>
 <value>/home/lee/iotmp</value>
 <description>Local scratch space for Hive jobs</description>
 </property>
 <property>
 <name>hive.downloaded.resources.dir</name>
 <value>/home/lee/iotmp</value>
 <description>Temporary local directory for added resources in the remote file system.</description>
 </property>

这里因为我当前用户是hduser,所以我在hduser的目录下创建一个iotmp文件夹,并授权:

$ mkdir -p /home/lee/iotmp 
$ chmod -R 775 /home/lee/iotmp

3.修改 hive-config.sh

进入到 hive 的 bin 目录下 …/hive/bin/

$ vi hive-config.sh

在该文件的最前面加入以下配置:

//你的JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 
//你的HADOOP_HOME
export HADOOP_HOME=/usr/local/hadoop
//你的HIVE_HOME
export HIVE_HOME=/usr/local/hive

4.下载MySQL JDBC驱动

$ wget http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.41/mysql-connector-java-5.1.41.jar

下载完后,把jar包复制到…/hive/lib目录下面


5.在HDFS中创建目录和设置权限

启动Hadoop,在Hadoop中创建hive需要用到的目录并设置好权限:

$ hadoop fs -mkdir /tmp
$ hadoop fs -mkdir -p /home/lee/hive/warehouse
$ hadoop fs -chmod g+w /tmp
$ hadoop fs -chmod g+w /home/lee/hive/warehouse

6.初始化元数据库

进入 你的hive lib 目录,我的是在/home/lee/hive/lib,初始化Hive元数据对应的MySQL数据库:

$ schematool -initSchema -dbType mysql
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值