2021年08月_csdn-延

12月 08月 07月 06月

原创 azkaban 调度任务一直处于preparing状态

原因: azkaban注册的执行器节点数据出现混乱解决方法:1. 停止当前azkaban服务(azkaban-execute 和 azkaban web server)2. 清除azkaban的executes表数据(清除之前表中此时存在除正常节点和激活状态为1的外的其它数据)3. 开启azkaban-execute服务4. 将azkaban的executes表的active值更新为15. 开启azkaban web server服务done....

2021-08-15 23:56:54 2160

转载大数据平台数据处理之Lambda架构和Kappa架构

首先我们来看一个典型的互联网大数据平台的架构，如下图所示：在这张架构图中，大数据平台里面向用户的在线业务处理组件用褐色标示出来，这部分是属于互联网在线应用的部分，其他蓝色的部分属于大数据相关组件，使用开源大数据产品或者自己开发相关大数据组件。你可以看到，大数据平台由上到下，可分为三个部分：数据采集、数据处理、数据输出与展示。数据采集将应用程序产生的数据和日志等同步到大数据系统中，由于数据源不同，这里的数据同步系统实际上是多个相关系统的组合。数据库同步通常用 Sqoop，日志同步可以选择

2021-08-15 23:42:50 2775

转载图文解说Flink的应用场景和功能

一 Flink是什么Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见的集群环境中运行，并能以内存速度和任意规模进行计算。二为什么要选择Flink流式处理的特点是无界和实时的，不需要针对整个数据集进行处理，而是对系统传输的每个数据执行操作，因此流数据处理能更真实的反应我们的生活和工作方式；通常用在实时处理方面。我们工作的目标是低延迟的、高吞吐的、高可用的实时应用。三哪些行业需要处理流数据电商

2021-08-15 23:38:15 12126

转载 IaaS、PaaS、SaaS、DaaS都是什么？现在怎么样了？看完这篇文章你就明白了！

导读：本文将详细科普云计算的概念、云服务的发展现状，并逐一介绍各种云服务模式（IaaS、PaaS、SaaS、DaaS），建议收藏！01 云计算的概念云是一种服务，可以像使用水、电、煤那样按需使用、灵活付费，使用者只需关注服务本身。云计算的资源是动态扩展且虚拟化的，通过互联网提供，终端用户不需要了解云中基础设施的细节，不必具有专业的云技术知识，也无须直接进行控制，只要关注自身真正需要什么样的资源以及如何通过网络来获得相应的服务即可。按照服务划分，云计算可以分为IaaS、

2021-08-15 23:32:36 7291 1