【Doris Weekly & FAQ】2021.06.21~2021.07.04

最新推荐文章于 2024-06-13 11:33:50 发布

ApacheDoris

最新推荐文章于 2024-06-13 11:33:50 发布

阅读量205

点赞数

文章标签： java 数据库分布式 mysql linux

本文链接：https://blog.csdn.net/ucanuup_/article/details/119142264

版权

观众朋友们：

下午好！

欢迎收看【Doris近日要闻】~本次为您带来的是2021年06月21日～2021年07月04日的双周总结。

从本期开始，Doris 社区周报将新增 FAQ 环节。我们会在社区论坛、Github ISSUE、Dev邮件组以及微信用户群中挑选一些主要问题并在 FAQ 环节中进行解答。

Dev 邮件组：dev@doris.apache.org
Github Issue：https://github.com/apache/incubator-doris/issues
社区论坛地址：http://ai.baidu.com/forum/topic/list/209/0/167

感谢 wangbo 的提议。Doris社区也在不断完善用户体验和问题反馈方式，如果你有相关建议或意见，欢迎通过以上途径和我们联系

▼

1. 统计数据

共18位作者提交了33个Commit。感谢以下作者的贡献：

Mingyu Chen, jiafeng.zhang, EmmyMiao87, stdpain, Xinyi Zou, Stalary, Pxl, Hao Tan, xinghuayu007, wudi, wangbo, qiye, luozenglin, Zhengguo Yang, Yingchun Lai, Jinyuan, HappenLee, GeoffreyStark

最近2周，共修改新增代码行9054，删除代码行1012。

▼

2. 主要进展

2.1 新增功能

https://github.com/apache/incubator-doris/pull/6045
SHOW PROC "/statistic" 支持查看已损坏副本。
https://github.com/apache/incubator-doris/pull/5787
FE端在增加副本调度的详细信息监控指标。
https://github.com/apache/incubator-doris/pull/6069
BE端增加系统负载（Load）的监控指标。
https://github.com/apache/incubator-doris/pull/6110
新增 show create routine load 功能用于导出routine load 的创建语句。

2.2 Bug修复

https://github.com/apache/incubator-doris/pull/6070
修复使用httpv2时，spring的最大上传文件设置不正确的问题。
https://github.com/apache/incubator-doris/pull/6070
修复在 ARM 上编译部署的一些问题，增加ARM环境编译文档。
https://github.com/apache/incubator-doris/pull/6054
修复select into outfile 导出成parquet 文件的功能空指针问题。
https://github.com/apache/incubator-doris/pull/6081
修复be端 bloom filter 的一个逻辑问题。
https://github.com/apache/incubator-doris/pull/6087
修复某些情况下，使用spark load时分桶不正确的问题。
https://github.com/apache/incubator-doris/pull/5915
修复Export作业超时后，错误信息显示为 UNKNOWN 的问题。
https://github.com/apache/incubator-doris/pull/6053
修复不同数据，相同的表名可能导致动态分区的调度展示信息被覆盖的问题。
https://github.com/apache/incubator-doris/pull/6120
修复某些情况下，schema change作业可能导致BE宕机的问题。
https://github.com/apache/incubator-doris/pull/6128
修复动态分区调度展示信息中，副本数显示错误的问题。
https://github.com/apache/incubator-doris/pull/6136
修复某些情况下，回放元数据空指针异常的问题。

2.3 功能改进

https://github.com/apache/incubator-doris/pull/5947
支持查看多个历史的Backup和Restore作业。
https://github.com/apache/incubator-doris/pull/6089
优化字符串类型在存储层的读取效率。
https://github.com/apache/incubator-doris/pull/6030
使用delete语句时预先检查时间列的格式，防止出现delete超时失败的问题。
https://github.com/apache/incubator-doris/pull/5934
Flink Doris Connector 支持设置数据写入到Doris的时间间隔。
https://github.com/apache/incubator-doris/pull/6083
查询优化器支持提取宽泛公共表达式进行数据预过滤。

2.4 文档

https://github.com/apache/incubator-doris/pull/6056
新增 Ubuntu 环境下，BE调试开发指南。

▼

3. FAQ

Q：

使用 Stream Load 访问 FE 的公网地址导入数据，被重定向到内网 IP？

A：

当 stream load 的连接目标为FE的http端口时，FE仅会随机选择一台BE节点做http 307 redirect 操作，因此用户的请求实际是发送给FE指派的某一个BE的。而redirect返回的是BE的ip，也即内网IP。所以如果你是通过FE的公网IP发送的请求，很有可能因为redirect到内网地址而无法连接。

通常的做法，一种是确保自己能够访问内网IP地址，或者是给所有BE上层假设一个负载均衡，然后直接将 stream load 请求发送到负载均衡器上，由负载均衡将请求透传到BE节点。

Q：

查询报错：Failed to get scan range, no queryable replica found in tablet: xxxx

A：

这种情况是因为对应的 tablet 没有找到可以查询的副本，通常原因可能是 BE 宕机、副本缺失等。可以先通过 `show tablet tablet_id` 语句，然后执行后面的 `show proc` 语句，查看这个 tablet 对应的副本信息，检查副本是否完整。同时还可以通过 `show proc "/cluster_balance"` 信息来查询集群内副本调度和修复的进度。

Q：

FE启动失败，fe.log中一直滚动 "wait catalog to be ready. FE type UNKNOWN"

A：

这种问题通常有两个原因：

1. 本次FE启动时获取到的本机IP和上次启动不一致，通常是因为没有正确设置 `priority_network` 而导致 FE 启动时匹配到了错误的 IP 地址。需修改 `priority_network` 后重启 FE。

2. 集群内多数 Follower FE 节点未启动。比如有 3 个 Follower，只启动了一个。此时需要将另外至少一个 FE 也启动，FE 可选举组方能选举出 Master 已提供服务。

如果以上情况都不能解决，可以按照 Doris 官网文档中的元数据运维文档进行恢复：

http://doris.incubator.apache.org/master/zh-CN/administrator-guide/operation/metadata-operation.html

-- END --

【往期回顾】