hive mysql 配置文件_Hive安装与配置

1.什么是hive

Hive是基于Hadoop的数据仓库解决方案。由于Hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性,因此使用Hive构建的数据仓库也秉承了这些特性。

简单来说,Hive就是在Hadoop上架了一层SQL接口,可以将SQL翻译成MapReduce去Hadoop上执行,这样就使得数据开发和分析人员很方便的使用SQL来完成海量数据的统计和分析,而不必使用编程语言开发MapReduce那么麻烦。

579161deb9f6c3e9aca1e9e26f8ccd78.png

2. Hive安装与配置

2.1 下载hive安装文件

3c28aed29f1ca0d2bbf63bcde489b3dc.png

也可以从我的云盘下载   链接是:https://pan.baidu.com/s/1i5mTBEH 密码是:xbf

除此之外,由于hive是默认将元数据保存在本地内嵌的 Derby 数据库中,但是这种做法缺点也很明显,Derby不支持多会话连接,因此本文将选择mysql作为元数据存储。

需要下载mysql的jdbc,然后将下载后的jdbc放到hive安装包的lib目录下, 下载链接是:http://dev.mysql.com/downloads/connector/j/ ,也可以从上述云盘中获取。

2.2 安装mysql来替换默认的Derby数据库

2.3 修改配置文件

解压安装文件到指定的的文件夹 /opt/hive

tar -zxf apache-hive-2.1.0-bin.tar.gz -C  opt/hive

2.3.1  设置环境变量

vi /etc/profile

5c413154a2928db15938339e227e90c2.png

2.3.2  修改hive-site.xml文件

d59387dcb3d3cf87bc54961158860ea5.png

681aad5a2f306ff1639a13632144c027.png

2.3.3 修改hive-env.sh

cp hive-env.sh.template  hive-env.sh

vi  hive-env.sh

0eb13bbbef3aed6fe888f2021ab3187a.png

2.4 运行hive

运行hive之前首先要确保meta store服务已经启动,

nohup hive --service metastore > metastore.log 2>&1 &

177c4dffe7cc7c740a121449d5195d38.png

如果需要用到远程客户端(比如 Tableau)连接到hive数据库,还需要启动hive service

nohup hive --service hiveserver2 > hiveserver2.log 2>&1 &

e98ea96e1aeda266434ced9ae3b0890f.png

然后由于配置过环境变量,可以直接在命令行中输入hive

99454cf71f3bd19dd8078a448bf80e59.png

2.5 测试hive是否可以正确使用

2.5.1 创建测试表dep

bc10490974a02c5ca2cc26529f75b38a.png

2.5.2 通过Mysql查看创建的表

2dcd5423fc6342a99a3cfae265314d08.png

2.5.3 通过UI页面查看创建的数据位

访问 xxx.xxx.xxx.xxx:50070

9f64b7ff577bf4d95360bf0596b88555.png

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值