测试hive连接mysql_基于MySQL元数据的Hive的安装和简单测试

本文介绍了如何在Ubuntu环境下搭建Hive开发测试环境,重点是配置Hive连接MySQL作为元数据存储。首先,确保已安装Hadoop集群,然后下载并解压Hive包,设置环境变量,修改hive-env.xml和hive-site.xml配置数据库连接信息。接着,安装MySQL,创建数据库和用户。通过这些步骤,完成Hive与MySQL的集成,实现Hive的统计分析功能。
摘要由CSDN通过智能技术生成

hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换

引言: Hive是一种强大的数据仓库查询语言,,类似SQL,本文将介绍如何搭建Hive的开发测试环境。

1. 什么是Hive?

hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。

2. 按照Hive的准备条件

2.1 Hadoop集群环境已经安装完毕

2.2 本文使用Ubuntu做为开发环境(14.04)

3. 安装步骤

3.1 下载Hive包:apache-hive-0.13.1-bin.tar.gz

3.2 将其解压到/opt目录下

tar xzvf apache-hive-0.13.1-bin.tar.gz

3.3 设置环境变量

export HIVE_HOME=/opt/apache-hive-0.13

export PATH=$PATH:$HIVE_HOME/bin

export CLASSPATH=$CLASSPATH:$HIVE_HOME/bin

3.4. 修改hive-env.xml,复制hive-env.xml.template.

# Set HADOOP_HOME to point to a specific hadoop install directory

HADOOP_HOME=/opt/hadoop-1.2.1

# Hive Configuration Directory can be controlled by:

export HIVE_CONF_DIR=/opt/apache-hive-0.13/conf

3.5 修改hive-site.xml,主要修改数据库的连接信息.

hive.metastore.uris

thrift://127.0.0.1:9083

Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.

javax.jdo.option.ConnectionURL

jdbc:mysql://BladeStone-Laptop:3306/hive?createDatabaseIfNotExist=true

JDBC connect string for a JDBC metastore

javax.jdo.option.ConnectionDriverName

com.mysql.jdbc.Driver

Driver class name for a JDBC metastore

javax.jdo.option.ConnectionUserName

hive

username to use against metastore database

javax.jdo.option.ConnectionPassword

123456

password to use against metastore database

基于Hadoop集群的Hive安装

Hive内表和外表的区别

Hadoop + Hive + Map +reduce 集群安装部署

Hive本地独立模式安装

Hive学习之WordCount单词统计

3.6 安装mysql数据库

sudo apt-get install mysql-server

363ee5e3979bcfeb3a7900f2c30b1bc8.png

3.7 创建

9128269eae8466c6a1ecb0b8f1f5032a.png

3.8 在

fe786960c03946d6b33261275d740e33.png

更多详情见请继续阅读下一页的精彩内容:

logo.gif

本文原创发布php中文网,转载请注明出处,感谢您的尊重!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值