6.Apache Kylin 查询报错 Coprocessor resource limit exceeded: scanned bytes exceeds threshold

最新推荐文章于 2023-02-01 08:57:42 发布
最新推荐文章于 2023-02-01 08:57:42 发布
阅读量471 收藏 1
点赞数 1
分类专栏： # Apache Kylin 文章标签： kylin
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39945938/article/details/113974924
版权

一、问题

在kylin页面执行查询语句时报错 Coprocessor resource limit exceeded: scanned bytes 3221248531 exceeds threshold 3221225472

  1. 版本：

kylin 2.6.1

  1. 查询语句：
select distinct control_zone from VIEW_CUBE_3U_FLIGHT_ROUTE_20210204 LIMIT 1000
  1. 报错日志：
2021-02-23 10:09:51,600 DEBUG [kylin-coproc--pool6-t19009] util.CompressionUtils:71 : Original: 1442146 bytes. Decompressed: 2614724 bytes. Time: 32
2021-02-23 10:09:51,601 DEBUG [Query 21153f41-718d-3ed4-25de-84efe2681b85-90] gtrecord.SortMergedPartitionResultIterator:76 : Using SortMergedPartitionResultIterator to merge 1 partition results out of 1 partitions
2021-02-23 10:09:51,699 ERROR [Query f016ce8c-1464-8253-dc32-0943c54a36b8-597117] service.QueryService:510 : Exception while executing query
java.sql.SQLException: Error while executing SQL "select distinct control_zone from VIEW_CUBE_3U_FLIGHT_ROUTE_20210204
LIMIT 1000": Coprocessor resource limit exceeded: scanned bytes 3221248531 exceeds threshold 3221225472
	at org.apache.calcite.avatica.Helper.createException(Helper.java:56)
	at org.apache.calcite.avatica.Helper.createException(Helper.java:41)
	at org.apache.calcite.avatica.AvaticaStatement.executeInternal(AvaticaStatement.java:156)
	at org.apache.calcite.avatica.AvaticaStatement.executeQuery(AvaticaStatement.java:218)
	at org.apache.kylin.rest.service.QueryService.executeRequest(QueryService.java:938)
	at org.apache.kylin.rest.service.QueryService.queryWithSqlMassage(QueryService.java:641)
	at org.apache.kylin.rest.service.QueryService.query(QueryService.java:208)
	at org.apache.kylin.rest.service.QueryService.queryAndUpdateCache(QueryService.java:468)
	at org.apache.kylin.rest.service.QueryService.doQueryWithCache(QueryService.java:429)
	at org.apache.kylin.rest.service.QueryService.doQueryWithCache(QueryService.java:367)
	at org.apache.kylin.rest.controller.QueryController.query(QueryController.java:87)
	at sun.reflect.GeneratedMethodAccessor146.invoke(Unknown Source)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.springframework.web.method.support.InvocableHandlerMethod.doInvoke(InvocableHandlerMethod.java:205)
	at org.springframework.web.method.support.InvocableHandlerMethod.invokeForRequest(InvocableHandlerMethod.java:133)
	at org.springframework.web.servlet.mvc.method.annotation.ServletInvocableHandlerMethod.invokeAndHandle(ServletInvocableHandlerMethod.java:97)
	at org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandlerAdapter.invokeHandlerMethod(RequestMappingHandlerAdapter.java:827)
	at org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandlerAdapter.handleInternal(RequestMappingHandlerAdapter.java:738)
	at org.springframework.web.servlet.mvc.method.AbstractHandlerMethodAdapter.handle(AbstractHandlerMethodAdapter.java:85)
	at org.springframework.web.servlet.DispatcherServlet.doDispatch(DispatcherServlet.java:967)
	at org.springframework.web.servlet.DispatcherServlet.doService(DispatcherServlet.java:901)
	at org.springframework.web.servlet.FrameworkServlet.processRequest(FrameworkServlet.java:970)
	at org.springframework.web.servlet.FrameworkServlet.doPost(FrameworkServlet.java:872)
	at javax.servlet.http.HttpServlet.service(HttpServlet.java:661)
	at org.springframework.web.servlet.FrameworkServlet.service(FrameworkServlet.java:846)
	at javax.servlet.http.HttpServlet.service(HttpServlet.java:742)
	at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:231)
	at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:166)
	at org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:52)
	at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:193)
	at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:166)
	at org.springframework.security.web.FilterChainProxy$VirtualFilterChain.doFilter(FilterChainProxy.java:317)
	at org.springframework.security.web.access.intercept.FilterSecurityInterceptor.invoke(FilterSecurityInterceptor.java:127)
	at org.springframework.security.web.access.intercept.FilterSecurityInterceptor.doFilter(FilterSecurityInterceptor.java:91)
	at org.springframework.security.web.FilterChainProxy$VirtualFilterChain.doFilter(FilterChainProxy.java:331)
	at org.springframework.security.web.access.ExceptionTranslationFilter.doFilter(ExceptionTranslationFilter.java:114)
	at org.springframework.security.web.FilterChainProxy$VirtualFilterChain.doFilter(FilterChainProxy.java:331)
	at org.springframework.security.web.session.SessionManagementFilter.doFilter(SessionManagementFilter.java:137)
	at org.springframework.security.web.FilterChainProxy$VirtualFilterChain.doFilter(FilterChainProxy.java:331)
	at org.springframework.security.web.authentication.AnonymousAuthenticationFilter.doFilter(AnonymousAuthenticationFilter.java:111)
	at org.springframework.security.web.FilterChainProxy$VirtualFilterChain.doFilter(FilterChainProxy.java:331)
	at org.springframework.security.web.servletapi.SecurityContextHolderAwareRequestFilter.doFilter(SecurityContextHolderAwareRequestFilter.java:170)
	at org.springframework.security.web.FilterChainProxy$VirtualFilterChain.doFilter(FilterChainProxy.java:331)
	at org.springframework.security.web.savedrequest.RequestCacheAwareFilter.doFilter(RequestCacheAwareFilter.java:63)
	at org.springframework.security.web.FilterChainProxy$VirtualFilterChain.doFilter(FilterChainProxy.java:331)
	at org.springframework.security.web.authentication.www.BasicAuthenticationFilter.doFilterInternal(BasicAuthenticationFilter.java:215)
	at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:107)
	at org.springframework.security.web.FilterChainProxy$VirtualFilterChain.doFilter(FilterChainProxy.java:331)
	at org.springframework.security.web.authentication.AbstractAuthenticationProcessingFilter.doFilter(AbstractAuthenticationProcessingFilter.java:200)
	at org.springframework.security.web.FilterChainProxy$VirtualFilterChain.doFilter(FilterChainProxy.java:331)
	at org.springframework.security.web.authentication.logout.LogoutFilter.doFilter(LogoutFilter.java:116)
	at org.springframework.security.web.FilterChainProxy$VirtualFilterChain.doFilter(FilterChainProxy.java:331)
	at org.springframework.security.web.header.HeaderWriterFilter.doFilterInternal(HeaderWriterFilter.java:64)
	at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:107)
	at org.springframework.security.web.FilterChainProxy$VirtualFilterChain.doFilter(FilterChainProxy.java:331)
	at org.springframework.security.web.context.request.async.WebAsyncManagerIntegrationFilter.doFilterInternal(WebAsyncManagerIntegrationFilter.java:56)
	at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:107)
	at org.springframework.security.web.FilterChainProxy$VirtualFilterChain.doFilter(FilterChainProxy.java:331)
	at org.springframework.security.web.context.SecurityContextPersistenceFilter.doFilter(SecurityContextPersistenceFilter.java:105)
	at org.springframework.security.web.FilterChainProxy$VirtualFilterChain.doFilter(FilterChainProxy.java:331)
	at org.springframework.security.web.FilterChainProxy.doFilterInternal(FilterChainProxy.java:214)
	at org.springframework.security.web.FilterChainProxy.doFilter(FilterChainProxy.java:177)
	at org.springframework.web.filter.DelegatingFilterProxy.invokeDelegate(DelegatingFilterProxy.java:346)
	at org.springframework.web.filter.DelegatingFilterProxy.doFilter(DelegatingFilterProxy.java:262)
	at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:193)
	at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:166)
	at com.thetransactioncompany.cors.CORSFilter.doFilter(CORSFilter.java:209)
	at com.thetransactioncompany.cors.CORSFilter.doFilter(CORSFilter.java:244)
	at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:193)
	at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:166)
	at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:198)
	at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:96)
	at org.apache.catalina.authenticator.AuthenticatorBase.invoke(AuthenticatorBase.java:493)
	at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:140)
	at org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:81)
	at org.apache.catalina.valves.AbstractAccessLogValve.invoke(AbstractAccessLogValve.java:650)
	at org.apache.catalina.core.StandardEngineValve.invoke(StandardEngineValve.java:87)
	at org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:342)
	at org.apache.coyote.http11.Http11Processor.service(Http11Processor.java:800)
	at org.apache.coyote.AbstractProcessorLight.process(AbstractProcessorLight.java:66)
	at org.apache.coyote.AbstractProtocol$ConnectionHandler.process(AbstractProtocol.java:806)
	at org.apache.tomcat.util.net.NioEndpoint$SocketProcessor.doRun(NioEndpoint.java:1498)
	at org.apache.tomcat.util.net.SocketProcessorBase.run(SocketProcessorBase.java:49)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
	at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
	at java.lang.Thread.run(Thread.java:748)
Caused by: org.apache.kylin.common.exceptions.ResourceLimitExceededException: Coprocessor resource limit exceeded: scanned bytes 3221248531 exceeds threshold 3221225472
	at org.apache.kylin.storage.hbase.cube.v2.CubeHBaseEndpointRPC.getCoprocessorException(CubeHBaseEndpointRPC.java:402)
	at org.apache.kylin.storage.hbase.cube.v2.CubeHBaseEndpointRPC.access$200(CubeHBaseEndpointRPC.java:75)
	at org.apache.kylin.storage.hbase.cube.v2.CubeHBaseEndpointRPC$1$2.update(CubeHBaseEndpointRPC.java:268)
	at org.apache.kylin.storage.hbase.cube.v2.CubeHBaseEndpointRPC$1$2.update(CubeHBaseEndpointRPC.java:253)
	at org.apache.hadoop.hbase.client.HTable$12.call(HTable.java:1000)
	at java.util.concurrent.FutureTask.run(FutureTask.java:266)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)

二、解决

kylin jira里找到一些有用信息
https://issues.apache.org/jira/browse/KYLIN-2438

这里提到了1个参数

kylin.storage.partition.max-scan-bytes

去官网查了查，发现这个值的默认值就是日志里提示的阈值
在这里插入图片描述
kylin.properties

## The maximum number of bytes each coprocessor is allowed to scan.
## To allow arbitrary large scan, you can set it to 0.
#kylin.storage.partition.max-scan-bytes=3221225472

每个协处理器允许扫描的最大值，允许任意大小的scan，可以设置为0

根据配置文件里的提示，设置为0，查询已可以返回结果

总结：

查询返回的字节数超过了默认值

PS:kylin不适合查明细的场景，以后查询明细需要考虑一下Apache Doris、Clickhouse

终回首
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Kylin有关HBase的协处理器
xiaozhaoshigedasb的博客
06-11 2503
org.apache.hadoop.hbase.DoNotRetryIOException: org.apache.hadoop .hbase.DoNotRetryIOException: Coprocessor passed deadline! Maybe server is overloaded at org.apache.kylin.storage.hbase.cube.v2...
apache kylin4.0.1 源码编译所需jar包
02-25
apache-kylin-4.0.1 源码所需jar包，一键打包。 只包含jar，不包括js相关内容 内部列表： kylin-shaded-guava-3.1.0.jar commons-configuration-1.6.jar RoaringBitmap-0.7.36-os-kylin-r1.jar commons-compiler-...
Kylin入门实战(数据源添加 + Model定义 + Cube构建 + 结果查询 + 查询限制)
Bulut0907
02-01 1246
新建model第一步：定义model信息第二步：定义model的表如果维度表太大，比如大于300MB，则不要对该维度表进行snapshot。导致不能直接查询该维度表，和不能从该维度表定义Cube的衍生维度字段两个表的join字段类型必须一致再点击Next，进入下一步第三步：选择model的维度字段第四步：选择model的度量字段第五步：model的分区和条件过滤设置由于我们的Hive测试表不是分区表，所以不用定义事实表的分区字段信息，进行的是全量数据构建。
kylin sql查询验证
奋斗的小鸟专栏
09-25 3693
  SQL查询验证（Insight） 查询限制 仅支持SELECT查询 为了避免从服务器到客户端产生巨大的网络流量，beta版中的扫描范围阀值被设置为1,000,000。 beta版中，SQL在cube中无法找到的数据将不会重定向到Hive   SQL查询验证 选择窗口最上方的Insight标签，输入SQL语句查询上面步骤创建的Streaming Table，点击S...
可能是全网最深度的 Apache Kylin 查询剖析
chuiqi5871的博客
07-05 111
自 6 月 6 日开始“征文赢首届 Kylin Data Summit 门票”活动以来，投稿的小伙伴络绎不绝，大家对 Kylin 的热爱与分享精神让我们燃到不行～ 绝对重磅的第一篇投稿文章终于来啦！相信关注本号已久的粉丝对如何在 Kylin 里使用 SQL 进行查询已经再熟悉不过，但你...
Apache Kylin权威指南2.6　SQL参考
weixin_34417183的博客
05-02 482
2.6　SQL参考 Apache Kylin支持标准SQL作为查询语言，但是SQL有很多变体，Kylin支持的只是SQL所有变体中的一个子集，并不是支持所有现存的SQL语句和语法。用户在使用Kylin之前，需要对Kylin所支持的SQL有一个了解，以避免走弯路。 首先，Kylin作为OLAP引擎，只支持查询，而不支持其他操作，如插入、更新等，即所有的S...
apache-kylin-v3.1.0.zip
09-11
Apache Kylin是一个开源的、分布式的分析型数据仓库，提供Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由 eBay 开发并贡献至开源社区。它能在亚秒内查询巨大的表。
CVE-2020-13925 Apache Kylin 远程命令执行漏洞.md
04-12
CVE-2020-13925 Apache Kylin 远程命令执行漏洞
Apache Kylin分析型数据仓库.rar
最新发布
07-04
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的...
Apache Kylin-Hadoop上的大规模联机分析平台.ppt
05-11
Apache Kylin-Hadoop上的大规模联机分析平台.pptApache Kylin-Hadoop上的大规模联机分析平台.pptApache Kylin-Hadoop上的大规模联机分析平台.pptApache Kylin-Hadoop上的大规模联机分析平台.pptApache Kylin-Hadoop...
记一次Apache Kylin的慢查询排查及优化
skyyws的博客
08-21 804
目前业务在使用Kylin的时候反馈查询很慢，直接超时了（超时时间设置的为5min），在日志中获取了相应的SQL以及Cube之后发现： SQL扫描了不到2个月的数据，500多G大小，26亿的记录数； SQL中涉及到了4个count distinct计算（bitmap）； 当前集群环境如下： Kylin服务器2台，部署了2个节点，都是all； HBase集群服务器4台，每台部署了2个regionserver； Kylin版本为2.6.6； 该cube设置的合并时间为7天/28天，Storage情况如下所
kylin报错unknownProtocolException: No registered coprocessor service found for name CubeVisitService
Interest1_wyt的博客
07-04 750
今天用kylin查询一些之前的数据时，遇到如下的报错： org.apache.hadoop.hbase.exceptions.UnknownProtocolException: org.apache.hadoop.hbase.exceptions.UnknownProtocolException: No registered coprocessor service found for name CubeVisitService in region KYLIN_EMTOBY544R,,16250247485
Kylin运维中遇到的问题分享
h952520296的博客
07-23 950
版本kylin3.10 Hdfs3 Hive2.1Hbase2.1 问题一： reset metadata后导入失败
Apache Kylin高级部分之JDBC访问方式
weixin_36630761的博客
11-14 277
转：http://blog.csdn.net/jiangshouzhuang/article/details/53823234 Kylin提供了标准的ODBC和JDBC接口，能够和传统BI工具进行很好的集成。分析师们可以用他们最熟悉的工具来享受Kylin带来的快速。 本章节介绍通过Java程序调用Kylin的JDBC接口访问Kylin的Cube数据。 首先我们来看一下连接Kyli
Flink on YARN（下）：常见问题与排查思路
要记得输出！
03-28 1145
简介： 上篇分享了基于 FLIP-6 重构后的资源调度模型介绍 Flink on YARN 应用启动全流程，本文将根据社区大群反馈，解答客户端和 Flink Cluster 的常见问题，分享相关问题的排查思路。 作者：杨弢（搏远） Flink 支持 Standalone 独立部署和 YARN、Kubernetes、Mesos 等集群部署模式，其中 YARN 集群部署模式在国内的应用越来越广泛。Flink 社区将推出 Flink on YARN 应用解读系列文章，分为上、下两篇。上篇分享了基于 FLIP-.
kylin 2.3.0部署和遇到问题整理
wuzhilon88的专栏
03-28 5276
一、    部署kylin环境1.      部署的环境准备         Kylin2.3.0 默认支持spark2.1版本，对版本的spark 2.2 兼容存在问题。2.      下载最新的tar最新下载地址apache-kylin-2.3.0-hbase1x-bin.tar.gz3.      解压缩，配置kylin环境a)      配置kylin jvm 大小setenv.shKyl...
Kylin使用Spark构建Cube
微信搜：import_bigdata，大数据领域硬核原创作者
05-16 1724
Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至...
使用kylin踩过的坑
热门推荐
似水流年
05-03 2万+
转载：http://www.th7.cn/db/mssql/201609/206145.shtml 我的kylin.properties配置：  ### SERVICE ### # Kylin server mode, valid value [all, query, job] kyin.server.mode=all # Optional information for the own
java连接kylin数据库表
奋斗的小鸟专栏
09-27 2811
一，访问kylin数据库表 访问数据表有两种方式，一种是通过kylin标准JDBC驱动，一种是通过kylin API接口。下面分别予以介绍。 A，标准JDBC驱动方式 首先需要在项目中引入kylin-jdbc-2.1.0.jar（该文件在apache kylin安装包lib目录下） 使用jdbc驱动并返回结果集示例代码如下： import java.sql.Connection; im...
----------------------------------------------------------------------- [ERROR] Failed to execute goal on project ranger-kylin-plugin: Could not resolve dependencies for project org.apache.ranger:ranger-kylin-plugin:jar:2.1.0: Failed to collect dependencies at org.apache.kylin:kylin-server-base:jar:2.6.4 -> org.apache.kylin:kylin-query:jar:2.6.4 -> org.apache.kylin:kylin-datasource-sdk:jar:2.6.4 -> org.apache.calcite:calcite-linq4j:jar:1.16.0-kylin-r2: Failed to read artifact descriptor for org.apache.calcite:calcite-linq4j:jar:1.16.0-kylin-r2: Could not transfer artifact org.apache.calcite:calcite-linq4j:pom:1.16.0-kylin-r2 from/to maven-default-http-blocker (http://0.0.0.0/): Blocked mirror for repositories: [spring-snapshots (http://repo.spring.io/libs-snapshot, default, releases+snapshots), conjars (http://conjars.org/repo/, default, releases+snapshots), kyligence (http://repository.kyligence.io/repository/maven-public/, default, releases+snapshots)] -> [Help 1]怎么解决
06-07
这个错误是由于Maven在下载依赖时遇到了问题导致的。看起来Maven无法从中央仓库或其他指定的镜像仓库下载某些依赖项。 你可以尝试以下几个步骤来解决这个问题： 1. 检查你的Maven配置文件（settings.xml）是否配置...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值