![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
feng_JK
心灵是有逻辑的,理性对此一无所知。
展开
-
Flink集成Redis组件,使用异步IO能完全解决性能瓶颈问题?
基于上述的问题,我们先来对异步IO有个大致的认识,了解的同学可以选择跳过。流计算系统中经常需要与外部系统(Redis、MySQL等)进行交互,我们通常的做法如向数据库发送用户a的查询请求,然后等待结果返回,在这之前,我们的程序无法发送用户b的查询请求。这是一种同步访问方式,如下图所示。图中棕色的长条表示等待时间,可以发现网络等待时间极大地阻碍了吞吐和延迟。为了解决同步访问的问题,异步模...原创 2020-05-02 10:46:39 · 2562 阅读 · 15 评论 -
Airflow填坑 - 生产环境实战,开始时间与周期的设置
对于Airflow的介绍、作用,在此不做赘述,以下是本人在工作中,对于Airflow的使用和一些填坑,希望对您有所帮助。首先,介绍一下需求在大数据处理阶段,也就是数据的ETL,我们通过公司自己开发的平台,将各个业务流程模型化,模型 = 输入算子 + 数据处理算子(SQL化,底层为sparksql) + 输出算子,类似于这种模型,代表一个个的业务,对于开发者来说,当然比较方便,但在客户公司去...原创 2019-07-31 17:12:41 · 11288 阅读 · 18 评论