StarRocks的外部表

顾名思义，外部表指的是保存在其他数据源中的数据表，而 StartRocks 只保存表对应的元数据，并直接向外部表所在数据源发起查询。目前 StarRocks 已支持的第三方数据源包括 MySQL、Elasticsearch、Hive、StarRocks、Apache Iceberg 和 Apache Hudi。
本文着重介绍两个外部表：MySQL 外部表和 Elasticsearch 外部表。

MySQL 外部表

在介绍 MySQL 外部表前，我们先来思考两个问题：

1. 为什么不把表建在 StarRocks 内部？
2. 为什么应用不直接读 MySQL 上的表？

第一个问题，StarRocks 还没有实现真正的 Update 操作，对于需要频繁执行 Update 或 Delete 操作的表放在 MySQL 比较合适。第二个问题，如果表在 MySQL 上，StarRocks 中的其它表没办法直接和 MySQL 中的表关联。
因此，通过外部表可以很好地解决上述两个问题。

在 StarRocks 中创建外部表时，需要确保 MySQL 数据源中该表已经存在。
下面是创建外部表的示例：

CREATE EXTERNAL TABLE mysql_external_table
(
    k1 DATE,
    k2 INT,
    k3 SMALLINT,
    k4 VARCHAR(2048),
    k5 DATETIME
)
ENGINE=mysql
PROPERTIES
(
    "host" = "127.0.0.1",
    "port" = "3306",
    "user" = "mysql_user",
    "password" = "mysql_passwd",
    "database" = "mysql_db_test",
    "table" = "mysql_table_test"
);

参数说明：

• host：MySQL 的连接地址
• port：MySQL 的连接端口号
• user：MySQL 登陆的用户名
• password：MySQL 登陆的密码
• database：MySQL 相关数据库名
• table：MySQL 相关数据表名
  

ES 外部表

将 StarRocks 的分布式查询规划能力和 ES(Elasticsearch) 的全文检索能力相结合，可以提供更完善的 OLAP 分析场景解决方案：

1. ES 中的多 index 分布式 Join 查询
2. StarRocks 和 ES 中的表联合查询，更复杂的全文检索过滤

下面是建表的示例：

CREATE EXTERNAL TABLE elastic_search_external_table
(
    k1 DATE,
    k2 INT,
    k3 SMALLINT,
    k4 VARCHAR(2048),
    k5 DATETIME
)
ENGINE=ELASTICSEARCH
PARTITION BY RANGE(k1)
()
PROPERTIES (
    "hosts" = "http://192.168.0.1:8200,http://192.168.0.2:8200",
    "user" = "root",
    "password" = "root",
    "index" = "tindex",
    "type" = "doc"
);

参数说明：

• host：ES 集群连接地址，可指定一个或多个，StarRocks 通过这个地址获取到 ES 版本号、index 的 shard 分布信息
• user：开启 basic 认证 的 ES 集群的用户名，需要确保该用户有访问 /cluster/state/ nodes/http 等路径权限和对 index 的读权限
• password：对应用户的密码信息
• index：StarRocks 中的表对应的 ES 的 index 名字，可以是 alias
• type：指定 index 的 type，默认是 doc
• transport：内部保留，默认为 http

关于 ES 外部表更多详细的介绍，请参看这两篇文档：外部表、Doris On ES 。