大数据
文章平均质量分 66
csa121
这个作者很懒,什么都没留下…
展开
-
StarRocks列转行函数unnest
在使用StarRocks引擎做数据开发时,会遇到一些列转行的场景,可以使用unnest函数原创 2023-03-09 18:05:04 · 1881 阅读 · 0 评论 -
flink checkpoint超时问题排查方法
一般来讲,checkpoint配置10s-60s都是合理的,默认的超时时间是600s,在业务逻辑不复杂的情况下,极少会出现超时的情况如果发生了超时。就需要先定位到具体的机器和进程。然后再根据业务场景排查具体是什么问题引起的超时。flink集群和上下游组件正常运行的情况下,由于业务逻辑处理或者数据问题导致超时的概率应该在99%以上,所以在排除系统问题的情况下,直接从业务逻辑定位问题是正确的方向。排查思路分3步:1. 先找到超时的subtask序号如果超时正在发生,可以直接在这里看到超时的那一条原创 2021-08-05 15:07:12 · 2746 阅读 · 0 评论 -
flume1.8在线上业务中的使用和总结
什么是flume?flume是一个日志采集、聚合和传输的系统 作用是什么?作用就是将业务集群上各个机器上的日志收集起来,对数据做集中处理。部署文档最新版的flume1.8,请参官网 http://flume.apache.org/FlumeUserGuide.html 的使用说明,真的很详细。网上也有flume1.7的搭建教程,Google一下就可以,搭建过程...原创 2018-02-27 20:37:05 · 1795 阅读 · 0 评论