kylin4.0.3升级问题

话接前文：

kylin升级(3.0.1-＞kylin-4.0.3)-CSDN博客文章浏览阅读941次，点赞29次，收藏12次。原本的cube太多了，换其他OLAP数据库太麻烦。相比之下，升级是一个很好的选择（官网有说明内存降低和构建时间更快的原因）。，导致经常内存溢出，kylin挂掉。设置了查询缓存在memcached，但没有解决根本的问题。kylin4 只需要资源探测和 cubing 两个步骤，就可以完成构建；并且，服务器内存也没之前高，这里就不截图了。第一个是zookeeper的路径，不要和旧版本冲突了。在旧版的kylin运行备份命令。将旧的备份文件迁移到新的kylin节点。运行后会有提示，显示备份的文件在哪里。https://blog.csdn.net/qq_40209679/article/details/135387553

        在实际操作过程中，往往出现了在测试上没遇到的问题，下面是升级后遇到的问题，几乎都会遇到，我的如下。

1 元数据问题

       

        由于正式平台上往往程序会更多，在测试中，我的model只有几个，cube也是。这么少的数量下没有问题。但正式平台上，我发现通过我前文的方式进行元数据传输，model少了。具体少了多少不便透漏。但差不多有5%左右。

原因推测：

        由上面的截图可以看到，我的hbase备份到本地是没出现问题的。那么问题很可能出现在scp命令执行的时候（我忘记压缩传输），发现了少量的error信息。正是由于小文件太多，网络传输难免会全部成功。

       一定要压缩后传输！！！

2 大程序运行问题

        在kylin3.0.1中，我发现一个程序运行时间为60min左右。我想，升级后的计算引擎由MR==>Yarn，时间应该会变短，我预估的时间为25min。但在实际运行中出现了错误，通过观察日志，发现了下面的问题（我筛选了一下）：

Caused by: java.lang.IllegalStateException: Spark context stopped while waiting for backend
overrideConf : {spark.executor.memory=3456MB, spark.executor.memoryOverhead=692MB}
2024-01-05 23:42:41,316 ERROR [rpc-server-22-2] client.TransportClient : Failed to send RPC RPC 7489718939143010467 to /ip:port: java.nio.channels.ClosedChannelException
java.nio.channels.ClosedChannelException
2024-01-05 23:42:41,317 ERROR [rpc-server-22-2] cluster.YarnSchedulerBackend$YarnSchedulerEndpoint : Sending RequestExecutors(Map(),Map(),Map(),Set()) to AM was unsuccessful
java.io.IOException: Failed to send RPC RPC 7489718939143010467 to /ip:port: java.nio.channels.ClosedChannelException

        IP和端口部分我已经隐藏，并且替换成了ip:port。

        出现这个问题说明了：

• 网络问题 

        网络方面通过我的检查，已经排除，毕竟网络有问题其他程序为什么能运行成功。

• 资源问题

        这是我在kylin官网找到的一句话

        我想，既然能自动调参，为什么会出现资源问题。然后看到yarn上面的信息，发现了，想到了kylin能调节spark参数，不代表yarn会给你通过。后面查阅资料，在yarn-site.xml添加上了如下配置。

<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

        解释一下，这两个配置是与YARN（Yet Another Resource Negotiator）资源管理器的节点管理器（NodeManager）相关的配置项。它们用于控制NodeManager是否启用物理内存（pmem）和虚拟内存（vmem）检查。

        重启yarn。然后这个比较大的程序运行成功！！！

3 新的问题

        程序是运行成功了，但竟然运行了80min!!!，和我预估的30min内差距过大。运行时我看到了内存和cpu和带宽疯狂上升。通过spark ui页面发现，spark的job接近10000个。而在kylin3中，这个cube大小只有几百M。但kylin4运行完后，发现cube大小竟然有接近20G！！！震惊了。

        后面这个问题解决后会更新上。

4 注意事项

        由于我的kylin.properties并没有复制，到了除了上一篇文章注意的配置还有忘记修改的。

kylin.source.hive.database-for-flat-table=
kylin.engine.spark-conf.spark.yarn.queue=

        前面一个是kylin运行的时候一些临时表的存储路径，最好是在hive里面建一个库来保存，不然全部到default里面就太乱了。

        后面一个是spark运行在yarn的队列，如果设置了一定要修改。一般也不会直接用default队列。

        当然，如果是测试环境都无所谓

后面我将持续进行修改或更新，更新或解决这些问题。