- 博客(21)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 定时任务报警通知解决方案详解
定时任务现在在业务数据处理中的比重越来越重，如果业务数据处理失败了，需要及时通知到业务方，本文阐述各种自建、开源、商业化的报警通知解决方案
2022-08-30 17:49:08
872
1
原创 如何可视化编写和编排你的k8s任务
阿里任务调度SchedulerX和云原生结合，重磅推出可视化k8s任务，针对脚本使用者，屏蔽了容器服务的细节，不用构建镜像就可以让不熟悉容器的同学（比如运维和运营同学）玩转k8s Job，受益容器服务带来的降本增效福利。针对容器使用者，SchedulerX不但完全兼容原生的k8s Job，还能支持历史执行记录、日志服务、重跑任务、报警监控、可视化任务编排等能力，为企业级应用保驾护航......
2022-07-11 17:22:13
5715
原创 通过容器服务sidecar方式接入定时任务SchedulerX
SchedulerX是阿里巴巴自研的一站式分布式任务调度平台，通过该文章，不需要对业务和镜像进行改造，只需要在Kubernetes的deployment文件（Pod、Deployment、StatefulSet、Job等都支持）中新增一个sidecar配置，就可以将定时任务托管到SchedulerX平台，拥有白屏运维、可视化和监控报警能力。
2022-04-25 10:19:51
544
转载 企业级分布式批处理方案
在企业级大数据量批处理需求场景中，如何通过分布式方式来有效地提升处理效率。本文将就常见批处理框架Spring Batch与SchdulerX进行比较讨论。同时基于阿里巴巴分布式任务调度平台SchedulerX2.0，实现一个分布式并行批处理方案，展示其相关的功能特性。
2022-04-01 20:26:23
1229
原创 Spring Cloud Alibaba定时任务
Spring Cloud Alibaba定时任务是阿里巴巴开发的一款低延时、高可用、可视化的任务调度产品（定时、任务依赖编排、分布式跑批），支持日志服务、监控大盘、报警监控。
2022-03-25 20:15:27
4308
原创 通过阿里任务调度Schedulerx2.0的可抢占任务优先级队列进行应用限流
1. 前言Schedulerx2.0是一套分布式的任务调度+计算框架。作为一套分布式计算引擎，用户经常需要资源管理的需求，当前schedulerx仅仅支持单个任务实例的管控（比如单机子任务并发数、拉模型全局子任务并发数等），这一点是远远不够的。比如某一时刻大量任务要触发，用户资源不够，当前是无法管控的。业内任务调度系统一般都focus在任务调度上，资源管理会借助第三方系统（比如mesos, yarn），这类系统的执行单元worker都是由调度平台管控的。这一点和schedulerx还是不一样的，sch
2022-03-11 19:59:37
417
转载 阿里任务调度SchedulerX2.0和阿里云大数据任务结合
简介在schedulerx可支持定时调度dataworks任务，并将dataworks任务与其他业务定时任务进行在schedulerx上进行混合依赖编排完成相应的定期业务数据处理。接入指南客户端接入步骤：1、schedulerx客户端升级至1.3.4及以上版本2、配置具备访问dataworks（需开通企业版）的用户AK/SK# dataworks访问的账户信息配置spring.schedulerx2.aliyunAccessKey=阿里云账号AKspring.scheduler
2022-03-11 15:41:04
1347
原创 Schedulerx2.0工作流支持数据传输
1. 前言Schedulerx2.0是阿里中间件自研的基于akka架构的新一代分布式任务调度平台，提供定时、任务编排、分布式跑批等功能，具有高可靠、海量任务、秒级调度等能力。Schedulerx2.0提供可视化的工作流进行任务编排，该文章将详细介绍如何使用schedulerx2.0的工作流进行上下游任务的数据传输。2. 接口介绍2.1 支持的执行方式和任务类型当前只有java任务支持数据传输，网格计算请使用MapReduce模型进行数据传输。2.2 返回执行结果/** *
2022-03-11 15:37:57
250
原创 阿里巴巴任务调度SchedulerX2.0支持一次性任务
应用场景未来固定时间点跑一次，任务自动销毁。常见场景订单超时未支付自动关闭 定时日历提醒优势精准时刻SchedulerX的一次性任务与延时消息相比，没有固定延迟多少时间或者在多少天内的限制，可以支持到未来任意时间点，使用简单。丰富的任务类型SchedulerX一次性任务可以适用所有任务类型，比如java、http、shell任务。也可以适用所有分布式模型，比如单机、广播、分片、MapReduce等。可视化运维SchedulerX的一次性任务，和其他任务一样，有可视化的界面
2022-03-11 15:35:35
1367
1
原创 通过阿里任务调度SchedulerX2.0的日志服务来分析分布式场景下的业务问题
功能简介在当前微服务和容器化越来越流行的情况下，机器数量太多、没有权限登录容器，成为了业务同学无法快速定位业务失败的痛点。可视化白屏日志工具，越来越成为了企业的刚需。阿里巴巴分布式任务调度系统SchedulerX2.0的日志服务，可以让业务方不需要修改一行代码，只需要增加一个log4j/logback的配置，即可在控制台看到每次任务调度（包括分布式任务）的业务日志，方便排查问题。使用限制开通专业版需要开通专业版，在应用管理里，高级配置下，改成专业版，开启日志服务，如下图日志保存时
2022-03-11 15:28:17
1056
原创 任务调度Schedulerx2.0分布式计算原理&最佳实践
通过schedulerx2.0提供的分布式编程模型，简单几行代码就能将海量任务进行分布式跑批。这篇文章介绍schedulerx2.0分布式计算原理和最佳实践，相信看完这篇文章，大家都能写出高效率的分布式作业，说不定速度能提升好几倍:)
2022-03-11 15:17:46
1506
原创 任务调度Schedulerx2.0分布式模型——广播模型
Hrecommend==========recommendation in mapreduce job基于hadoop mapreduce作业的分布式推荐算法框架(A distributed recommendation algorithm framework based on hadoop mapreduce job)目标（goal）：1) 和mahout做对比，提高分布
2022-03-11 15:09:00
383
原创 任务调度Schedulerx2.0分布式计算之MapReduce模型
1. 前言SchedulerX2.0自研轻量级分布式MapReduce模型，通过一个map方法就能将海量数据分布式到多台机器上分布式执行，随着业务方的深入使用，又提出了更多的需求，比如：监听所有子任务完成的事件 处理所有子任务返回的订单号 汇总结果进行工作流数据传输2. 简介MapReduce模型是Map模型的扩展，废弃了postProcess方法，新增reduce接口，需要实现MapReduceJobProcessor。MapReduce模型只有一个reduce，所有子任务完成后会执
2022-03-11 15:04:54
3342
原创 Akka in Schedulerx2.0
前言 Schedulerx2.0是阿里中间件自研的基于akka架构的新一代分布式任务调度平台，提供定时、任务编排、分布式跑批等功能，具有高可靠、海量任务、秒级调度等能力。 本篇文章以Schedulerx2.0为例子，介绍akka的应用场景，希望能给同样从事分布式系统开发的同学一些启发。
2022-03-09 18:09:23
441
原创 阿里巴巴任务调度SchedulerX2.0兼容XXL-JOB
阿里巴巴任务调度SchedulerX2.0兼容XXL-JOB任务接口，支持@XxlJob新注解和@JobHandler老注解方式，用户不需要修改一行代码，即可以将XXL-JOB任务在SchedulerX2.0平台上托管。
2022-03-09 17:21:07
4176
1
原创 阿里巴巴任务调度SchedulerX2.0兼容ElasticJob
阿里巴巴任务调度SchedulerX2.0兼容开源ElasticJob任务接口，用户不需要修改一行代码，即可以将ElasticJob任务在SchedulerX2.0平台上托管，享有低成本、免运维、可视化、报警监控等能力。
2022-03-09 17:12:29
3946
原创 Openstack添加compute node
背景：上一篇文章讲了Openstack Controller node的安装和配置，和控制节点相比，compute node的安装和配置就非常简单了1、准备工作Compute node的准备工作和Controller node一样，具体参考上一篇《CentOS下搭建openstack集群》的准备工作这里再补充一点，确保所有机器，包括网关机和所有openstack cluster
2013-10-14 15:22:40
3037
原创 CentOS下搭建openstack集群
背景：Openstack是实现服务器虚拟化的一个有力工具，本文以RedHat的openstack版本RDO为例，简述openstack的安装和配置过程，以防以后自己忘记，以及给想配置Openstak的网友一些启发。Openstack安装简单，但是配置非常复杂，不同机器会遇到不同问题，笔者安装配置过程遇到问题无数，就不一一赘述了。1、工作流程我们所在实验室在一个公网范围内，我们搭建的
2013-10-14 14:03:02
5142
2
原创 借助hadoop streaming，使用C++编写MapReduce程序
#g++ Mapper.cpp -o Mapper#g++ Reducer.cpp -o Reducerhadoop streaming是一个hadoop的工具，可以使用户使用其他语言编写mapreduce程序，用户只需要提供Mapper和Reducer，就可以执行Map/Reduce作业相关资料请看hadoop streaming官方文档1、下面以实现WordCount为例
2013-09-16 14:29:29
1857
原创 Linux下使用eclipse调试hadoop程序
1、准备工作首先下载一个hadoop的稳定版本，我使用的是hadoop-1.1.2下载jdk1.6下载ant，我使用的是apache-ant-1.9.2安装eclipse2、创建hadoop工程，修改配置解压hadoop-1.1.2.tar到一个指定文件夹新建一个java project，选择hadoop-1.1.2文件夹即可修改conf文件夹下几个xml的
2013-09-10 15:31:53
1093
JSP网上购物系统 网上书店
2009-09-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人