●架构设计
关注
分享
扫一扫
文章平均质量分 81
代立冬
StayHungryStayFoolish外功修行内功修神
展开
-
Apache DolphinScheduler 1.3.2 发布，架构升级，性能提升 2~3 倍
引言大数据任务调度作为大数据建设中的核心基础设施，在经过社区用户们长期的使用中，不少用户对调度也提出了很多新的要求，为此，Apache DolphinScheduler(Incubating)经过长达 5 个多月的辛苦努力， 终于发布了 1.3.2 正式版本。DolphinScheduler-1.3.2 有超过 30 名贡献者参与开发，性能较 1.2 版本有 2 ~ 3 倍的提升，相对 1.2 版本，1.3.x 增加了诸如 K8s支持、多目录管理等重要的新特性和新的任务类型。1.3.x 重要的改动如下.原创 2020-09-10 14:40:58 · 3276 阅读 · 1 评论 -
从开源使用者到Apache PPMC之路
近日, 观远数据联合创始人&首席架构师吴宝琪, 作为Apache DolphinScheduler 的PPMC（项目管理委员会）成员参加了Apache DolphinScheduler 的首届用户大会, 并在大会上做了《从开源使用者到Apache PPMC之路》的分享。Apache软件基金会创建于1999年，是专门为支持开源软件项目而创办的一个非营利性组织，也是世界上最...转载 2019-11-24 19:54:22 · 1724 阅读 · 0 评论 -
易观推出免费版本方舟Argo，同时开源SDK及调度
易观推出了免费版本方舟Argo，Argo是国内唯一的一款免费的可以私有化部署的用户行为分析平台，可以私有化对接自己的各种内部系统，它的商业版本已经在招商银行、当当、首汽等客户大面积使用了。别人都是免费版到商业版，我们是先做商业版在做靠谱的免费版，初心真的是想把数据能力平民化，同时配合数据采集SDK开源和支持多活分布式的ETL调度工具开源，让更多的人可以把数据用起来。在筹划的时候，公司也没有指望能...原创 2019-03-01 23:02:37 · 3392 阅读 · 0 评论 -
分布式工作流任务调度系统Easy Scheduler正式开源
Easy Scheduler大数据工作流调度系统已经开源，欢迎下载交流 https://github.com/analysys/EasySchedulerEasy Scheduler for Big Data设计特点： 一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。其主要目标如下：以DAG图的方...原创 2019-03-29 23:56:37 · 4153 阅读 · 1 评论 -
持续改进中——Easy Scheduler 1.0.1版本来了
持续改进中——Easy Scheduler 1.0.1版本来了背景在多位技术小伙伴的努力下，经过近2年的研发迭代、内部业务剥离及重构，也经历一批种子用户试用一段时间后，EasyScheduler终于迎来了第一个正式开源迭代发布版本 – 1.0.1，免编译版本下载地址 – 1.0.1相信做过数据处理的伙伴们对开源的调度系统如oozie、azkaban、airflow应该都不陌生，在使用这些调...原创 2019-04-17 10:54:37 · 1872 阅读 · 1 评论 -
开源分布式工作流任务调度系统Easy Scheduler Release 1.0.2发布
Easy Scheduler Release 1.0.2Easy Scheduler 1.0.2是1.x系列中的第三个版本。此版本增加了调度开放接口、worker分组(指定任务运行的机器组)、任务流程及服务监控以及对oracle、clickhouse等支持，具体如下：新特性：[EasyScheduler-79] 调度通过token方式对外开放接口，可以通过api进行操作[EasySche...原创 2019-04-26 20:08:20 · 1195 阅读 · 0 评论 -
Easy Scheduler 1.0.3 发布，分布式工作流任务调度系统
Easy Scheduler Release 1.0.3Easy Scheduler 1.0.3是1.x系列中的第四个版本。新特性：[EasyScheduler-254] 流程定义删除和批量删除[EasyScheduler-347] 任务依赖增加“今日”[EasyScheduler-273]sql任务添加title[EasyScheduler-247]API在线文档[EasySch...原创 2019-05-28 08:26:44 · 1243 阅读 · 1 评论 -
分布式任务调度EasyScheduler贡献代码流程
首先从远端仓库https://github.com/analysys/EasyScheduler.git fork一份代码到自己的仓库中远端仓库中目前有三个分支：master 正常交付分支发布稳定版本以后，将稳定版本分支的代码合并到master上。dev 日常开发分支日常dev开发分支，新提交的代码都可以pull request到这个分支上。branch-1....原创 2019-07-05 11:20:26 · 2195 阅读 · 0 评论 -
分布式工作流任务调度系统 Easy Scheduler 1.1.0 预览版发布
Easy Scheduler Release 1.1.0-PreviewEasy Scheduler 1.1.0-Preview是1.x系列中的第六个版本。新特性：[EasyScheduler-391] run a process under a specified tenement user[EasyScheduler-288] Feature/qiye_weixin[EasySch...原创 2019-07-16 17:35:44 · 1065 阅读 · 0 评论 -
现在Easy Scheduler想贡献给Apache基金会，我们做了一份问卷看下大家的想法，也请大家积极参与，谢谢！
感谢各位伙伴们长期以来的持续关注和贡献，现在Easy Scheduler想贡献给Apache基金会，我们做了一份问卷看下大家的想法，也请大家积极参与，谢谢！https://wj.qq.com/s2/4190958/5588/也欢迎大家直接去https://github.com/analysys/EasyScheduler/issues/638 进行投票...原创 2019-08-02 17:41:16 · 872 阅读 · 0 评论 -
Easy Scheduler 1.1.0 Release发布，分布式工作流任务调度系统
Easy Scheduler Release 1.1.0Easy Scheduler 1.1.0是1.1.x系列中的第一个版本。新特性：[EasyScheduler-391] run a process under a specified tenement user[EasyScheduler-288] Feature/qiye_weixin[EasyScheduler-189] Ke...原创 2019-08-08 08:06:15 · 1327 阅读 · 0 评论 -
大数据工作流任务调度--有向无环图(DAG)之拓扑排序
拓扑排序(Topological Sorting)维基百科上拓扑排序的定义为:对于任何有向无环图(DAG)而言，其拓扑排序为其所有结点的一个线性排序(同一个有向图可能存在多个这样的结点排序)。该排序满足这样的条件——对于图中的任意两个结点U和V，若存在一条有向边从U指向V，则在拓扑排序中U一定出现在V前面。通俗来讲：拓扑排序是一个有向无环图(DAG)的所有顶点的线性序列, 该序列必须满足两个...原创 2019-01-20 22:47:02 · 7328 阅读 · 2 评论 -
大数据分析的下一代架构--IOTA架构设计实践[下]
IOTA架构提出背景大数据3.0时代以前，Lambda数据架构成为大数据公司必备的架构，它解决了大数据离线处理和实时数据处理的需求。典型的Lambda架构如下：Lambda架构的核心思想是：数据从底层的数据源开始，经过各样的格式进入大数据平台，然后分成两条线进行计算。一条线是进入流式计算平台，去计算实时的一些指标；另一条线进入批量数据处理离线计算平台，去计算T+1的相关业务指标，这些指标需...原创 2018-12-31 20:59:53 · 5036 阅读 · 0 评论 -
承载每天10万级任务的数据调度系统的架构是如何设计的
EasyScheduler大数据调度系统架构分享导语EasyScheduler是易观平台自主研发的大数据分布式调度系统。主要解决数据研发ETL 错综复杂的依赖关系，而不能直观监控任务健康状态等问题。EasyScheduler以DAG流式的方式将Task组装起来，可实时监控任务的运行状态，同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作。背景任务调度系统在大数据平台当中是一个核心的...原创 2018-12-13 20:01:57 · 35488 阅读 · 16 评论 -
架构中常见的开源模块
分布式协同: Zookeeper 负载均衡: LVS（Layer 4）, HAProxy（Layer 4、 7）, Nginx（Layer 7） 虚拟化: LXC、KVM、Xen HA：Keepalived、Heartbeat 分布式缓存: Memcache, Redis 消息队列: Kafka/MetaQ, Beanstalkd、Gearman、etc 监控原创 2015-06-11 22:50:30 · 1753 阅读 · 0 评论 -
Tumblr：150亿月浏览量背后的架构挑战
Tumblr：150亿月浏览量背后的架构挑战2013/04/08 · IT技术, 开发 · 9.9K 阅读 · HBase, Tumblr,架构 英文原文：High Scalability，编译：CSDN导读：和许多新兴的网站一样，著名的轻博客服务Tumblr在急速发展中面临了系统架构的瓶颈。每天5亿次浏览量，峰值每秒4万次请求，每天3TB新的数据存储，超过转载 2015-08-05 11:47:30 · 1548 阅读 · 0 评论 -
千万级规模高性能、高并发的网络架构经验分享
千万级规模高性能、高并发的网络架构经验分享主 题 ：INTO100沙龙时间 ：2015年11月21日下午地点 ：梦想加联合办公空间分享人：卫向军（毕业于北京邮电大学，现任微博平台架构师，先后在微软、金山云、新浪微博从事技术研发工作，专注于系统架构设计、音视频通讯系统、分布式文件系统和数据挖掘等领域。）架构以及我理解中架构的本质在开始谈我对架构本质的理解之前，转载 2015-12-21 23:02:59 · 2487 阅读 · 1 评论 -
网站防刷方案
目录[-]网站防刷方案网站重复请求解决方案Mr. Neo Chen (netkiller), 陈景峰(BG7NYT)1. 访问网站所涉及环节2. 浏览器款控制方案3. CDN 与 反向代理4. 网络设备控制方法5. 服务器上做控制5.1. 操作系统部分提示5.2. WEB 服务器部分6. 通过程序控制访问行为提示7. 总结网站防刷方案 网站重复请求解决方转载 2015-08-19 22:15:05 · 1962 阅读 · 0 评论 -
架构设计文档提纲简描
提纲很简单的：一、概述二、目的三、项目背景四、系统建设目标五、参考资料六、架构设计6.1 架构分析6.2 设计思想6.3 架构体系6.4 系统视图6.5 模块划分6.5.1 模块描述6.5.2 模块接口原创 2016-04-24 01:10:36 · 2498 阅读 · 0 评论 -
架构设计要点
1.尽可能地了解需求，系统层面适用开闭原则2.低耦合，避免一个子系统的问题波及整个大系统3.面向接口，业务数据的共享以接口服务方式开放出来，并尽量简单，避免依赖4.技术选型，选择能把握的成熟技术，前期充分测试，避免性能问题，多参考同类产品的架构5.数据库设计，关键点改动说明6.文档的重要性7.取舍问题，高性能，易用性，稳定性，可扩展性，可维护性，还有安全性往往不可兼得8原创 2014-12-29 22:39:57 · 1510 阅读 · 0 评论 -
数据库拆分的几种方式
数据库做拆分的几种方式：1．按功能划分（垂直切分）将不同功能相关的表放到不同的数据库中，这样做的好处是非常直观。但当某一部分的功能其数据量或性能要求超出了可控的范围，就需要继续对其进行深入的再切分。2．按表中某一字段值的范围划分（水平切分）当伴随着某一个表的数据量越来越大，以至于不能承受的时候，就需要对它进行进一步的切分。一种选择是根据key 的范围来做切分，譬如ID 为 1-10000的放到A上原创 2016-05-04 00:22:39 · 6796 阅读 · 0 评论 -
各大互联网公司架构演进之路汇总
各大互联网公司架构演进之路汇总大型网站架构演化历程大型网站架构技术一览Web支付宝和蚂蚁花呗的技术架构及实践支付宝的高可用与容灾架构演进聚划算架构演进和系统优化 （视频+PPT）淘宝交易系统演进之路 （专访）淘宝数据魔方技术架构解析淘宝技术发展历程和架构经验分享（视频+PPT）（2.3日更新）高德——快速转型时期的稳定性架构实践（视频+PPT）（2.3日更新）秒杀系统架构分析与实战腾讯社区搜索架构转载 2016-04-24 00:55:12 · 2814 阅读 · 0 评论 -
大数据分析的下一代架构--IOTA架构[上]
IOTA是什么？你是否为下一代大数据架构做好准备？经过这么多年的发展，已经从大数据1.0的BI/Datawarehouse时代，经过大数据2.0的Web/APP过渡，进入到了IOT的大数据3.0时代，而随之而来的是数据架构的变化。▌Lambda架构在过去Lambda数据架构成为每一个公司大数据平台必备的架构，它解决了一个公司大数据批量离线处理和实时数据处理的需求。一个典型的Lam...原创 2018-04-22 07:37:51 · 7903 阅读 · 3 评论 -
如何给系统升级
系统的升级涉及各个架构组件，细节很多。长时间野蛮成长使老系统积累了很多问题。 系统升级则意味着需要repair之前埋下的雷，那为何还要升级，可以考虑以下几个方面成熟老系统常见问题：1. 缺乏文档这应该是大小公司都存在的问题。文档会极大降低开发效率，并且互联网项目的特点是易变和追求速度，详细文档不是很好的方案。这就要求方案和细节设计上的合理性和不要做 “精巧”方案。结构化设计原创 2015-06-07 00:10:27 · 1024 阅读 · 0 评论