系列教程｜Apahce Doris ODBC 外表使用指南之 Ubuntu下 MySQL 外表使用方法及配置（二）...

最新推荐文章于 2024-09-24 16:25:52 发布

ApacheDoris

最新推荐文章于 2024-09-24 16:25:52 发布

阅读量475

点赞数

文章标签： linux mysql 数据库 java centos

本文链接：https://blog.csdn.net/ucanuup_/article/details/122362758

版权

之前写了在Centos下Apache Doris 外表使用方法及注意实现，但是不少用户是使用ubuntu系统，在这个系统下很多用户遇到ODBC外表导致BE服务宕机的问题，对此我专门在ubuntu 18.04下进行了测试。

1.软件环境

操作系统：ubuntu 18.04
Apache Doris ：0.15
mysql 数据库：8.0.27-0ubuntu0.20.04.1 for Linux on x86_64
UnixODBC：2.3.4
Mysql Connector ODBC ：5.3.13、8.0.11、8.0.26

2.安装ODBC驱动

首先我们安装unixODBC驱动、这里直接给出驱动的下载地址及安装命令

sudo wget ftp://ftp.unixodbc.org/pub/unixODBC/unixODBC-2.3.4.tar.gz 
tar -xvzf unixODBC-2.3.4.tar.gz 
cd unixODBC-2.3.4/
sudo ./configure --prefix=/usr/local/unixODBC-2.3.7 --includedir=/usr/include --libdir=/usr/lib -bindir=/usr/bin --sysconfdir=/etc
make
sudo make install

安装成功后，unixODBC所需的头文件都被安装到了/usr/inlucde下，编译好的库文件安装到了/usr/lib下，与unixODBC相关的可执行文件安装到了/usr/bin下，配置文件放到了/etc下。

验证安装是否成功

# odbcinst -j
unixODBC 2.3.4
DRIVERS............: /etc/odbcinst.ini
SYSTEM DATA SOURCES: /etc/odbc.ini
FILE DATA SOURCES..: /etc/ODBCDataSources
USER DATA SOURCES..: /root/.odbc.ini
SQLULEN Size.......: 8
SQLLEN Size........: 8
SQLSETPOSIROW Size.: 8

3.安装Mysql ODBC驱动

这里我默认你是知道Mysql的安装方法，或者你已经有了Mysql数据库 ，对Mysql的安装配置就不在讲了，如果这块不清楚，请去百度。

从mysql 站点下载对应的驱动

https://dev.mysql.com/downloads/connector/odbc/

我下载的是8.0.26、8.0.11、5.3.13

mysql-connector-odbc-8.0.26-linux-glibc2.12-x86-64bit.tar.gz

下载后解压，我这里为了测试方便，直接将解压后的目录重命名使用了，没有将这个目录下的bin和lib拷贝到/usr/local/目录下，具体的操作命令：

tar zxvf mysql-connector-odbc-8.0.26-linux-glibc2.12-x86-64bit.tar.gz
mv mysql-connector-odbc-8.0.26-linux-glibc2.12-x86-64bit mysql-odbc-8.0.26

注册Mysql驱动

myodbc-installer -a -d -n "MySQL ODBC 8.0.26 Unicode Driver" -t "Driver=/root/mysql-odbc-8.0.26/lib/libmyodbc8w.so"
myodbc-installer -a -d -n "MySQL ODBC 8.0.26 ANSI Driver" -t "Driver=/root/mysql-odbc-8.0.26/lib/libmyodbc8a.so"

然后查看是否注册成功

使用这个命令：myodbc-installer -d -l

MySQL ODBC 5.0 Unicode Driver
MySQL ODBC 5.0 ANSI Driver
MySQL ODBC 8.0 Unicode Driver
MySQL ODBC 8.0
MySQL ODBC 8.0.26 Unicode Driver
MySQL ODBC 8.0.26 ANSI Driver

这里我安装了上面说的三个版本的驱动，另外两个版本的驱动安装方式一样

4.验证通过ODBC访问Mysql

我们去配置ODBC访问Mysql的参数

编辑/etc/odbc.ini文件，加入下面的内容，将信息替换成你自己的

[mysql]
Description     = Data source MySQL
Driver          = MySQL ODBC 8.0 Unicode Driver
Server          = localhost
Host            = localhost
Database        = demo
Port            = 3306
User            = root
Password        = zhangfeng

然后我们通过：

isql -v mysql

isql -v mysql
+---------------------------------------+
| Connected!                            |
|                                       |
| sql-statement                         |
| help [tablename]                      |
| quit                                  |
|                                       |
+---------------------------------------+

说明我们ODBC配置成功

5.测试Apache Doris ODBC外表

Doris的安装配置参考我的博客： Apache Doris安装部署，或者官网的文档

首先我们在Mysql数据库建了一个demo库及相应的表

CREATE TABLE `test_cdc` (
  `id` int NOT NULL AUTO_INCREMENT,
  `name` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=91234 DEFAULT CHARSET=utf8mb4;

对应的测试数据

INSERT INTO `test_cdc` VALUES (123, 'this is a update');
INSERT INTO `test_cdc` VALUES (1212, '测试flink CDC');
INSERT INTO `test_cdc` VALUES (1234, '这是测试');
INSERT INTO `test_cdc` VALUES (11233, 'zhangfeng_1');
INSERT INTO `test_cdc` VALUES (21233, 'zhangfeng_2');
INSERT INTO `test_cdc` VALUES (31233, 'zhangfeng_3');
INSERT INTO `test_cdc` VALUES (41233, 'zhangfeng_4');
INSERT INTO `test_cdc` VALUES (51233, 'zhangfeng_5');
INSERT INTO `test_cdc` VALUES (61233, 'zhangfeng_6');
INSERT INTO `test_cdc` VALUES (71233, 'zhangfeng_7');
INSERT INTO `test_cdc` VALUES (81233, 'zhangfeng_8');
INSERT INTO `test_cdc` VALUES (91233, 'zhangfeng_9');

下面建Doris的ODBC外表，这里我们是通过ODBC_Resource来创建ODBC外表，这也是推荐的方式，这样ODBC resource是可以复用

首先我们在BE节点的conf/odbcinst.ini，添加我们的刚才注册的8.0.26的ODBC驱动（红框标识的部分）

首先我们创建resource

 CREATE EXTERNAL RESOURCE `mysql_8_0_26`
 PROPERTIES (
"host" = "localhost",
 "port" = "3306",
 "user" = "root",
 "password" = "zhangfeng",
 "database" = "demo",
 "table" = "test_cdc",
 "driver" = "MySQL ODBC 8.0.26",  --注意这里的名称要和我们上面红框标识部分的[]里的名称一致
 "odbc_type" = "mysql",
 "type" = "odbc_catalog"
 );

基于这个resource创建ODBC外表

CREATE EXTERNAL TABLE `test_odbc_8_0_26` (
  `id` int NOT NULL ,
  `name` varchar(255) null
) ENGINE=ODBC
COMMENT "ODBC"
PROPERTIES (
"odbc_catalog_resource" = "mysql_8_0_26", --这里的名称就是我们上面定义的resource的名称
"database" = "demo",
"table" = "test_cdc"
);

一切显示正常，下面是见证奇迹的时候，我们执行查询外表操作

select * from test_odbc_8_0_26;
ERROR 1064 (HY000): errCode = 2, detailMessage = there is no scanNode Backend. [10002: in black list(io.grpc.StatusRuntimeException: UNAVAILABLE: Network closed for unknown reason)]

这个时候显示BE节点挂了，我们通过show backends命令去查看也是显示BE节点挂了

查看BE的日志

显示是因为ODBC问题导致BE宕机，因为之前我在centos是没问题的（但是版本不是这个是8.0.11），这里考虑可能是版本不匹配的问题。后来询问了社区这块的开发者，得到的答案也确实是这个问题，那么我们换一个版本试试，这个时候我首先想到的我不在使用8.x版本的驱动，使用5.x试试，关于5.x的驱动安装，我就不在详细讲解了，和8.x的安装方法一样，参考上面的部分

下面我们开始测试5.3.13版本的驱动对Apache Doris外表是否正常，我们首先启动这个BE节点

关于5.3.13的ODBC驱动安装、注册及Doris BE节点的配置请参考上面的部分 ，我们直接进入测试环节

从下图的测试来看一切正常

这个时候我在想，我在centos下8.0.11都是正常的，在ubuntu下这个版本是不是也是正常的呢，所以我又去测试了8.0.11这个版本，从测试来看也是正常的，其他的我就没再去做测试，可能是8.0.26这个版本太新了，还有就是Linux的各种都需要手动配置，这就需要你对这些非常熟悉，针对Doris这个ODBC外表问题出现异常，基本都是你使用的驱动版本不对，换个版本在重试

最后针对Ubuntu下的Apache Doris Mysql ODBC外表的使用Mysql ODBC驱动的版本，推荐： 5.3.13和8.0.11这两个版本 ，你也可以自己尝试其他版本

本文分享自微信公众号 - ApacheDoris（gh_80d448709a68）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“ OSC源创计划 ”，欢迎正在阅读的你也加入，一起分享。