《大数据： Hive 关联MySQL数据库》

最新推荐文章于 2024-09-03 14:16:07 发布
最新推荐文章于 2024-09-03 14:16:07 发布
阅读量566 收藏
点赞数
分类专栏： 【 大数据：上篇 】
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yexiangCSDN/article/details/109078603
版权
【 大数据：上篇 】 专栏收录该内容
107 篇文章 35 订阅 ¥99.90 ¥299.90
订阅专栏
本文介绍了如何将Hive的默认数据库从derby切换到MySQL，包括derby的特性、Hive与MySQL的关联步骤、配置Hive-site.xml、初始化数据库、数据操作及数据存储位置的查看。通过将元数据存储在MySQL，实现了多客户端访问的支持。
摘要由CSDN通过智能技术生成

一、Hive 默认的数据库 derby

继上篇 我们在hive 中操作一下，语法后面说，这篇主要讲如何和Mysql数据库关联起来，derby数据库只简单介绍，我们并不会去用这玩意，非常的不好用，主要是和Mysql关联，用Mysql数据库

  • derby是使用Java语言编写的一个微型，常用于内嵌在Java中的数据库
  • derby同一个数据库的实例文件不支持多个客户端同时访问

1. Hive 命令进入客户端什么也不做退出，会生成一个目录 metastore_db 这个就是hive默认的 derby数据库，还有一个log文件，是在运行hive的当前目录下生成的

yexiang@hadoop2:<hive>$ pwd
/home/yexiang/hive

yexiang@hadoop2:<hive>$ hive
SLF4J: Class path
了解本专栏 订阅专栏 解锁全文
大数据DataX（四）：MySQL导入到Hive
Lansonli（蓝深李）的博客
02-19 1108
MysqlReader插件实现了从Mysql读取数据。简而言之，MysqlReader通过JDBC连接器连接到远程的Mysql数据库，并根据用户配置的信息生成查询SELECT SQL语句，然后发送到远程Mysql数据库，并将该SQL执行返回结果使用DataX自定义的数据类型拼装为抽象的数据集，并传递给下游Writer处理。将MySQL的数据导入到Hive中使用到的“MysqlReader”和“hdfswriter”两个插件，先将mysql数据导入到HDFS中，创建Hive表映射对应的路径即可。
hive与mysql关联_Hive安装以及和Mysql关联
weixin_35249165的博客
02-07 302
一、Hive的安装地址1．Hive官网地址http://hive.apache.org/2．文档查看地址https://cwiki.apache.org/confluence/display/Hive/GettingStarted3．下载地址http://archive.apache.org/dist/hive/4．github地址https://github.com/apache/hive二、H...
Hive学习之路 （三）Hive元数据信息对应MySQL数据库表
weixin_33946020的博客
04-03 437
概述 Hive 的元数据信息通常存储在关系型数据库中，常用MySQL数据库作为元数据库管理。上一篇hive的安装也是将元数据信息存放在MySQL数据库中。 Hive的元数据信息在MySQL数据中有57张表 一、存储Hive版本的元数据表（VERSION）  VERSION   -- 查询版本信息 该表比较简单，但很重要。 VER_ID SCHEMA_VERSION...
HIVE与mysql
xq_iris的专栏
02-03 1062
hive是一个基于Hadoop的数据仓库平台
数据仓库中mysql,hive,hdfs,mapreduce之间的关系
Arthur_Holmes的博客
10-10 578
         交流中发现很多hive转行的开发者都不是特别清楚，hive既然是数据仓库，那为什么还需要mysql数据库，还需要hdfs呢，熟悉三者之间的关系是作为一个合格的hive数据仓库开发者必须掌握的技能  一.什么是Hive与其特点        官网介绍：The Apache Hive ™ data warehouse software facilit...
hive-mysql的关系（Hive集成Mysql作为元数据）
01-04 355
Hive是一个基于Hadoop的数据仓库平台。通过hive，我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语言：HQL，能 够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。 Hive是Facebook 2008年8月刚开源的一个数据仓库框...
大数据导论大数据导论大数据导论
10-29
H2O）托管管理（比如：Apache Hadoop Benchmarking）安全管理（常用的有 Gateway）大数据系统部署（可以看下 Apache Ambari）搜索引擎架构（学习或者企业都建议使用 Lucene 搜索引擎）多种数据库的演变（MySQL/...
大数据组件hive的安装步骤
12-04
6. 将MySQL JDBC驱动复制到Hive的lib目录下，以便Hive可以连接到MySQL数据库。 7. 配置Hive使用MySQL作为其元数据库（Metastore），需要创建并配置hive-site.xml文件，设置相关属性如连接数据库的URL、驱动名、...
大数据：数据仓库设计
Xiao Miao的博客
05-09 6344
数据仓库设计
hive和mysql的关系
岚风尘雨吾独醉、
09-05 1654
一直都有一个误区 mysql中存的是hive的数据 实际上mysql存的是hive的元数据 ：数据库，表格名，数据地址等等 人生真的寂寞如雪啊
数据仓库之Hive与MySQL关系
weixin_43854618的博客
08-05 2828
Hive可以分析结构化数据，它提供了一种HiveSQL来帮助用户处理数据，HiveSQL会转化成MapReduce程序，因为MapReduce效率是基于磁盘的，所以效率会比较低。但是它在离线数据处理方面还是有优势的，可以处理数据量非常大的数据，所以数据仓库的离线部分还是会基于Hive做计算的。 Hive与MySQL关系：在配置Hive之后一般都会安装和配置MySQL，那它们到底什么关系呢？如果默认不配置mysql的话，hive的元数据是存储在微型数据库Derby中，真正的数据是存储在HDFS上。 先来说一下
Hive 和 MySQL的联用
qq_45044477的博客
04-23 825
Hive 和 MySQL 是两种不同的数据库系统，它们在数据存储和计算方面有着不同的特点和适用场景。但是，你可以通过一些方法将它们联合使用，以满足特定的需求或场景。
hive连接MySQL
weixin_44794718的博客
12-26 1490
启动服务 service mysql start 进入MySQL mysql -uroot -p 然后接下以下操作 mysql> create user hive identified by 'hive'; //创建一个用户名为hive，密码为hive的数据 mysql> create database hive; //创建一个叫做hive的数据库 mysql> gra...
HIVE与mysql的关系 hive常用命令整理 hive与hdfs整合过程
zhanggf的博客
12-04 7402
一、HIVE与mysql的关系 Hive是一个基于Hadoop的数据仓库平台。通过hive，我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语言：HQL，能 够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。 Hive是Facebook 2008年8月刚开源的一个数据仓库框架，其系统目标与 Pig 有相似之处，但它有一些Pig目前还不支持的
Hive整合MySQL
最新发布
qq_45115959的博客
09-03 1970
在Xshell窗口中开启另一个窗口开启Hive（两个窗口都可以操作Hive，没有出现异常）配置主要是root用户 + 密码，在任何主机上都能登录MySQL数据库。若因为安装失败或者其他原因，MySQL需要卸载重装，可参考以下内容。初始化Hive元数据库（修改为采用MySQL存储元数据）将MySQL的JDBC驱动拷贝到Hive的lib目录下。查看元数据库中存储的表中列相关信息。查看MySQL数据的存储位置。查看安装过的MySQL相关包。查看元数据库中存储的库信息。查看元数据库中存储的表信息。
hive与mysql的连接
surge
12-10 2346
由于hive的内嵌安装方式是将元数据存储在derby中，每次打开时候都会在其当前工作目录下创建一个derby文件和一个m**文件很不方便，而且这种方式是单用户连接模式，所以我们用hive的本地安装模式，即将hive的元数据存储到mysql中。   首先我们安装mysql,这里我用的是yum安装          yum install mysql-server   (mysql的服务器)  ...
mysql和hive实现关联查询_hive的关联查询
weixin_42493720的博客
01-19 953
在hive中没有外键和主键之分。但是可以进行多表关联查询(值关联)。只要这两个值相等就可以作为关联条件，其实在mysql中也是支持。mysql中的关联查询left join左连接right join右连接innerjoin全连接、内连接============t_userid name1 zs2 ls3 wwCREATETABLEt_user(id int,name string) ROW FOR...
HIVE的搭建配置及关联MySQL
扶醉的博客
04-03 2121
概念： Hive是由Facebook实现并开源。是基于Hadoop的一个数据仓库工具，可以将结构化的数据映射为一张数据库表，并提供HQL（Hive SQL）查询功能。其底层数据时存储在HDFS上。Hive的本质是将SQL语句转换为MapReduce任务运行，使部署需MapReduce的用户很方便地利用HQL处理和计算HDFS上的结构化数据，使用于离线的批量数据计算。 一、下载 前提： 配置好...
hive与mysql安装配置
云计算?
01-04 185
一，安装MySQL sudo apt-get install mysql-server 可能还要 sudo apt-get install mysq 首先用root登陆给hive用户赋予权限 $mysql -u root -p111111 mysql&gt; GRANT ALL PRIVILEGES ON *.* TO hive@localhost IDENTIFIED BY "h...
Hive入门所需：mysql-connector-java-5.1.47-bin.jar软件指南
总结来说，mysql-connector-java-5.1.47-bin.jar是一个关键组件，使得Java应用程序能够与MySQL数据库进行交互，特别是在大数据环境下，通过Hive与MySQL的交互场景中，它提供了不可或缺的连接能力。理解上述知识点...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

HarkerYX

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值