自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

数据之路

专注数据架构 外功修行,内功修神

  • 博客(293)
  • 资源 (3)
  • 论坛 (1)
  • 收藏
  • 关注

转载 【喜讯】Apache DolphinScheduler 荣获 “2020 年度十大开源新锐项目”

经 10000+ 开发者公开票选,20+专家评审、10+ 主编团打分,历经数月打磨,11 月 19 日,由InfoQ 发起并组织的【2020中国技术力量年度榜单评选】结果正式揭晓。2020 年度十大开源新锐项目、2020 年度十大开源杰出贡献人物、2020 年度十大云原生创新技术方案以及 2020 年度十大云原生行业落地典范四大榜单,其中 2020 年度十大开源新锐项目囊括了最近三年内,开源领域活跃度最高、最具创新性和发展潜质的项目,年度开源新锐项目评选受欢迎程度更是成为四大榜单之最。Apa...

2020-11-22 17:17:31 120

原创 Apache DolphinScheduler 1.3.2 发布,架构升级,性能提升 2~3 倍

引言大数据任务调度作为大数据建设中的核心基础设施,在经过社区用户们长期的使用中,不少用户对调度也提出了很多新的要求,为此,Apache DolphinScheduler(Incubating)经过长达 5 个多月的辛苦努力, 终于发布了 1.3.2 正式版本。DolphinScheduler-1.3.2 有超过 30 名贡献者参与开发,性能较 1.2 版本有 2 ~ 3 倍的提升,相对 1.2 版本,1.3.x 增加了诸如 K8s支持、多目录管理等重要的新特性和新的任务类型。1.3.x 重要的改动如下.

2020-09-10 14:40:58 733

原创 Apache DolphinScheduler(海豚调度) - 1.3 系列核心表结构剖析

Apache DolphinScheduler 是一个分布式去中心化,易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。近日,伯毅同学给社区贡献了工作流核心表结构的剖析文章,非常细致,喜欢的伙伴请转走1. 工作流总体存储结构在 dolphinscheduler 库中创建的所有工作流定义(模板)都保存在 t_ds_process_definition 表中.该数据库表结构如下表所示:序号字段类型描述1id

2020-07-03 17:10:30 2742

原创 大数据工作流任务调度--有向无环图(DAG)之拓扑排序

拓扑排序(Topological Sorting)维基百科上拓扑排序的定义为:对于任何有向无环图(DAG)而言,其拓扑排序为其所有结点的一个线性排序(同一个有向图可能存在多个这样的结点排序)。该排序满足这样的条件——对于图中的任意两个结点U和V,若存在一条有向边从U指向V,则在拓扑排序中U一定出现在V前面。通俗来讲:拓扑排序是一个有向无环图(DAG)的所有顶点的线性序列, 该序列必须满足两个...

2019-01-20 22:47:02 4737 2

原创 大数据分析的下一代架构--IOTA架构设计实践[下]

IOTA架构提出背景大数据3.0时代以前,Lambda数据架构成为大数据公司必备的架构,它解决了大数据离线处理和实时数据处理的需求。典型的Lambda架构如下:Lambda架构的核心思想是:数据从底层的数据源开始,经过各样的格式进入大数据平台,然后分成两条线进行计算。一条线是进入流式计算平台,去计算实时的一些指标;另一条线进入批量数据处理离线计算平台,去计算T+1的相关业务指标,这些指标需...

2018-12-31 20:59:53 3777

原创 承载每天10万级任务的数据调度系统的架构是如何设计的

EasyScheduler大数据调度系统架构分享导语EasyScheduler是易观平台自主研发的大数据分布式调度系统。主要解决数据研发ETL 错综复杂的依赖关系,而不能直观监控任务健康状态等问题。EasyScheduler以DAG流式的方式将Task组装起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作。背景任务调度系统在大数据平台当中是一个核心的...

2018-12-13 20:01:57 32944 16

原创 成为 Apache 贡献者,So easy!

1 缘起大概是今年4月份的时候,忽然间看到ShardingSphere毕业的消息,其中也顺带提到了我们的主角DolpshinScheduler,于是去Github看了看,堆积的PR不多,在Apache孵化器中的JAVA项目中活跃度居然排行第一!对于我来讲,活跃度是我判断社区是否能够长久发展的一个很重要的因素,也是决定我是否要参与到贡献中来的一个点,我参与的apache项目也是有好几个了,也有遇到过那种PR堆积特别多,提交了PR长久没人review,...

2020-10-19 10:23:40 244 3

原创 【安全通报】DolphinScheduler 漏洞情况说明及处理

Apache DolphinScheduler 社区邮件列表最近通告了 2 个漏洞,考虑到有很多用户并未订阅此邮件列表,我们特地在此进行情况说明:CVE-2020-11974[1]漏洞 (CVE-2020-11974[1]) 是与 mysql connectorj 远程执⾏代码漏洞有关,mysql connectorj 漏洞详情请参见:https://securityonline.info/mysql-connectorj-remote-code-execution-vulnerability/

2020-09-16 10:06:40 283

原创 Git下载加速

方法一(推荐)前期的准备:首先自己将代理开启,系统代理模式改为全局模式1.设置Git的代理方式git config --global http.proxy http://127.0.0.1:1080git config --global https.proxy https://127.0.0.1:1080git config --global http.proxy 'socks5://127.0.0.1:1080' git config --global https.proxy '

2020-08-26 15:46:32 181

原创 Apache DolphinScheduler 诞生记

Apache DolphinScheduler 诞生记DolphinScheduler,简称”DS”, 中文名 “小海豚调度”(海豚聪明、人性化,又左右脑可互相换班,终生不用睡觉)。希望 DolphinScheduler 就像它的名字一样,成为一个“开箱即用”的灵活易用的调度系统。1概述DAG 全称Directed Acyclic Graph,简称DAG。工作流中的Task任务以有向无环图的形式组装起来,从入度为零的节点进行拓扑遍历,直到无后继节点为止。Apache DolphinScheduler

2020-08-03 18:11:44 1399

原创 美女 Committer 手把手教你部署 Apache DolphinScheduler 单机版

还在为如何部署Apache DolphinScheduler 发愁么?自上篇《美女 Committer 手把手教你使用海豚调度》的视频发布后,受到社区伙伴们的热烈欢迎。但个别小伙伴在部署这块还是遇到了一点儿小麻烦,本次特地再次邀请美女 Committer - 陈兴春为社区录制如何部署 DolphinScheduler 单机版本,之所以是单机版本,是因为想让大家能够尽快感受 DolphinScheduler 的能力,让小白也可以轻松部署 DS ,充分贯彻 DolphinScheduler 的 Slogan:调

2020-07-29 19:13:20 753 2

原创 本周六 Apache DolphinScheduler & Doris 将联合线上 Meetup

活动背景 2020年,大数据成为国家基建的一个重要组成,大数据在越来越多的领域展现威力。随着大数据的应用场景越来越多,大家对数据的响应速度和数据加工工作流的方便程度也提出了更高的要求。在这种背景下,相信做过大数据的技术小伙伴应该对 Apache 一词不会陌生,Apache 基金会旗下拥有被广泛使用的众多开源软件,本次特地邀请到 2 个本土的 Apache 大数据应用项目的开发者来一起分享解决数据响应速度和数据工作流任务调度方面的开源技术,一起为中国开源献力。Apache Doris(Incubating

2020-07-21 12:15:53 596

原创 金灿灿的季节 - Apache DolphinScheduler收获5位新Committer
原力计划

在这个金灿灿的收获季节,经过ApacheDolphinSchedulerPPMC们的推荐和投票,ApacheDolphinScheduler收获了5位新Committer。他们是:nauu(朱凯)、Rubik-W(温合民)、gabrywu、liwenhe1993、clay4444。对于成为Committer,小伙伴们说道:朱凯:非常荣幸能够成为DolphinSchedule的Committer。这既是一份喜悦,也是一份责任。我将以终为始,继续打怪升级,助力DS早日毕业...

2020-05-28 19:07:52 546

原创 直播回放:DolphinScheduler 1.3.0新特性与Roadmap路线,700多人在线

Apache DolphinScheduler社区于2020-05-26 19:30进行了社区情况介绍和新特性及Roadmap路线分享,本次线上直播有700多人在线,没来得及观看的伙伴请收看回放呐具体内容请参见回放地址:【Apache DolphinScheduler新特性及Roadmap】DolphinScheduler(Incubating) 1.3.0新特性及Roadmap路线直播内容介绍本次直播主要包括以下内容:1、DolphinScheduler社区情况介绍2、缘何.

2020-05-28 11:38:49 720

转载 弄明白CMS和G1,就靠这一篇了

在开始介绍CMS和G1前,我们可以剧透几点:根据不同分代的特点,收集器可能不同。有些收集器可以同时用于新生代和老年代,而有些时候,则需要分别为新生代或老年代选用合适的收集器。一般来说,新生代收集器的收集频率较高,应选用性能高效的收集器;而老年代收集器收集次数相对较少,对空间较为敏感,应当避免选择基于复制算法的收集器。 在垃圾收集执行的时刻,应用程序需要暂停运行。 可以串行收集,也可以并行收...

2020-04-14 13:38:15 1161

转载 使用 DolphinScheduler 调度 Kylin 构建

原创 史少锋@Kyligence apachekylin 前天01 背景Apache Kylin 是一个支持海量大数据的在线分析引擎,需要离线或流式地从Apache Hive, Apache Kafka加载数据。通常当上游数据准备好以后,用户需要使用Kylin的Web界面或API触发以生成数据加载的任务。为了让整个工作流自动化起来,需要结合一些任务调度平台,如Oozie,Linux cront...

2020-02-29 23:09:19 2898

原创 Apache DolphinScheduler集群部署方案

集群部署(Cluster)DolphinScheduler集群部署分为后端部署和前端部署两部分:1、后端部署1.1 : 基础软件安装(必装项请自行安装)PostgreSQL (8.2.15+) or Mysql (5.6或者5.7系列) : 两者任选其一即可JDK (1.8+) : 必装,请安装好后在/etc/profile下配置 JAVA_HOME 及 PATH 变量ZooK...

2020-02-25 12:35:52 1862

原创 Apache DolphinScheduler 单机部署方案

单机部署(Standalone)DolphinScheduler单机部署分为后端部署和前端部署两部分:1、后端部署1.1 : 基础软件安装(必装项请自行安装)PostgreSQL (8.2.15+) or Mysql (5.6或者5.7系列) : 两者任选其一即可JDK (1.8+) : 必装,请安装好后在/etc/profile下配置 JAVA_HOME 及 PATH 变量Z...

2020-02-25 12:32:21 2758 2

原创 Apache DolphinScheduler 1.2.1发布,可视化工作流任务调度系统

Apache DolphinScheduler 1.2.1发布,可视化工作流任务调度系统​Apache DolphinScheduler 于2020年2月24日正式发布 1.2.1 版,发布内容如下:新特性:[#1497] 通过 API 创建的工作流在前端展示时自动调整布局。 [#747] Worker server 运行日志脱敏。 [#1635] 配置文件适当合并。 [#154...

2020-02-25 12:21:43 3255 4

转载 logback日志配置说明

常用配置说明1:<?xml version="1.0" encoding="UTF-8"?><!--scan:当此属性设置为true时,配置文件如果发生改变,将会被重新加载,默认值为true。scanPeriod:设置监测配置文件是否有修改的时间间隔,如果没有给出时间单位,默认单位是毫秒当scan为true时,此属性生效。默认的时间间隔为1分钟。debug:当此属性...

2020-02-01 19:33:20 423

翻译 Code Review应该关注哪些点?

Code Review应该关注什么?注意:当我们考虑以下点时,应当始终遵循Code Review标准。设计Code Review中最重要的一个点就是把握住变更中的整体设计。变更中各个部分的代码交互是否正常?整个改动是否属于你负责的代码库?是否和你系统中其他部分交互正常?现在是否是添加整个功能的恰当时间?功能性开发者在这个变更中想做什么? 开发人员打算为该代码的用户带来什么好处?(这里”用...

2019-12-31 20:48:24 513

原创 Error:java: javacTask: source release 8 requires target release 1.8异常处理

Error:java: javacTask: source release 8 requires target release 1.8编译无问题,运行时报错:环境:JDK Version: 1.8.0_171IDE: IntelliJ Idea 2018IntelliJ SDK Setting解决:1、将Target Bytecode Version设为1.8 。2、如果项目使用...

2019-12-24 16:16:32 368

转载 10分钟,快速搞懂RFM用户分析模型

月月针对全量用户上线活动,运营、设计、产品、研发全情投入,好努力却无从追溯效果?预算有限、想策划高ROI方案?在寻求以上问题的解决办法中,RFM用户价值分层模型一定会上榜,因为它是常见的精细化运营方法论。RFM客户价值模型是一种有着几十年发展和应用的业务分析模型。通过一个客户的近期购买行为(R)、购买的总体频率(F)以及消费总金额(M)三项指标来描述该客户的价值状况,依据这三项指标划分为6...

2019-12-17 22:17:11 1834

原创 Apache ShardingSphere & DolphinScheduler将举行联合meetup

您是否想加入Apache社区并成为某个项目的Committer或PPMC,拥有一个apache邮箱呢?你是否知道apache社区的Committer也可以是非代码贡献者?本联合meetup旨在让对开源有兴趣的伙伴们有机会加入到社区中来,成为一份子,让自己的青春热血留下永久痕迹,让自己的代码(或者文档、或者issue等)才华绽放出璀璨的光芒!活动介绍如今,开源在中国遍地开花,开源之势不可挡,...

2019-11-24 22:44:22 380

转载 从开源使用者到Apache PPMC之路

近日, 观远数据联合创始人&首席架构师吴宝琪, 作为Apache DolphinScheduler 的PPMC(项目管理委员会)成员参加了Apache DolphinScheduler 的首届用户大会, 并在大会上做了《从开源使用者到Apache PPMC之路》的分享。Apache软件基金会创建于1999年,是专门为支持开源软件项目而创办的一个非营利性组织,也是世界上最...

2019-11-24 19:54:22 659

原创 Apache DolphinScheduler的官网正式上线了

DolphinScheduler的官网正式上线了: https://dolphinscheduler.apache.org , 后续的文档都将直接维护在官网上哈!特此告知,欢迎关注!

2019-10-14 17:17:01 2474

原创 全票通过!易观开源项目DolphinScheduler进入Apache孵化器

全票通过!易观开源项目DolphinScheduler进入Apache孵化器美国时间2019年8月29日,易观开源的分布式任务调度引擎DolphinScheduler(原EasyScheduler)正式通过顶级开源组织Apache基金会的投票决议,以全票通过的优秀表现正式成为Apache孵化器项目!根据Apache基金会邮件列表显示,在包含11个约...

2019-09-17 07:26:30 4420 2

原创 第三届易观算法大赛 -- OLAP Session分析(5万奖金)

OLAP Session分析赛题背景 Session,即会话,是指在指定的时间段内在您的网站/H5/小程序/APP上发生的一系列用户行为的集合。例如,一次会话可以包含多个页面浏览、交互事件等。Session 是具备时间属...

2019-09-11 19:35:47 341

原创 数据增长之线索培育升级

B2B增长之线索培育升级数据驱动增长讲的大部分都是如何通过渠道质量优化与转化率优化最大能力去挖掘商机,然而增长不仅有拉新,因为增长负责人要关注的是整体业务增长,比如销售漏斗与客户数,资金流和团队效能等,就数字营销领域来说,增长除了拉新之外,还有很重要的一个指标就是促活,当有一定数量的用户的时候,促活的力量要大于拉新,如果我们把新用户与老用户的生命周期价值拉成时间线,会发现随着时间的推移,新用户会...

2019-09-04 14:04:32 315

原创 Easy Scheduler 1.1.0 Release发布,分布式工作流任务调度系统

Easy Scheduler Release 1.1.0Easy Scheduler 1.1.0是1.1.x系列中的第一个版本。新特性:[EasyScheduler-391] run a process under a specified tenement user[EasyScheduler-288] Feature/qiye_weixin[EasyScheduler-189] Ke...

2019-08-08 08:06:15 935

原创 现在Easy Scheduler想贡献给Apache基金会,我们做了一份问卷看下大家的想法,也请大家积极参与,谢谢!

感谢各位伙伴们长期以来的持续关注和贡献,现在Easy Scheduler想贡献给Apache基金会,我们做了一份问卷看下大家的想法,也请大家积极参与,谢谢!https://wj.qq.com/s2/4190958/5588/也欢迎大家直接去https://github.com/analysys/EasyScheduler/issues/638 进行投票...

2019-08-02 17:41:16 606

原创 分布式工作流任务调度系统 Easy Scheduler 1.1.0 预览版发布

Easy Scheduler Release 1.1.0-PreviewEasy Scheduler 1.1.0-Preview是1.x系列中的第六个版本。新特性:[EasyScheduler-391] run a process under a specified tenement user[EasyScheduler-288] Feature/qiye_weixin[EasySch...

2019-07-16 17:35:44 667

原创 分布式任务调度EasyScheduler贡献代码流程

首先从远端仓库https://github.com/analysys/EasyScheduler.git fork一份代码到自己的仓库中远端仓库中目前有三个分支:master 正常交付分支发布稳定版本以后,将稳定版本分支的代码合并到master上。dev 日常开发分支日常dev开发分支,新提交的代码都可以pull request到这个分支上。branch-1....

2019-07-05 11:20:26 1092

原创 开源分布式工作流任务调度系统EasyScheduler自定义任务插件开发

任务插件开发提醒:目前任务插件开发暂不支持热部署基于SHELL的任务基于YARN的计算(参见MapReduceTask)需要在 cn.escheduler.server.worker.task 下的 TaskManager 类中创建自定义任务(也需在TaskType注册对应的任务类型)需要继承cn.escheduler.server.worker.task 下的 AbstractYar...

2019-06-13 17:43:05 887

转载 数据分析方法论之常用分析思路

对于一款App来讲,市场渠道人员比较关注渠道的获客质量,经常会用到渠道分析;运营人员比较关注用户在产品内的行为信息,通常会用到用户分群,进行针对性运营;产品人员则关注产品功能的使用情况以及核心流程的转化情况。那么如何实现所有业务人员的数据需求。我们以有帐号体系产品的注册为核心流程为例,一般产品的注册流程为:输入手机号 -> 获取验证码 -> 输入验证码 -> 点击注册 -&g...

2019-06-01 23:03:44 994 1

原创 Easy Scheduler 1.0.3 发布,分布式工作流任务调度系统

Easy Scheduler Release 1.0.3Easy Scheduler 1.0.3是1.x系列中的第四个版本。新特性:[EasyScheduler-254] 流程定义删除和批量删除[EasyScheduler-347] 任务依赖增加“今日”[EasyScheduler-273]sql任务添加title[EasyScheduler-247]API在线文档[EasySch...

2019-05-28 08:26:44 952 1

转载 大数据分析常用去重算法分析『HyperLogLog 篇』

大数据分析常用去重算法分析『HyperLogLog 篇』在上篇推送中,Kyligence 大数据工程师陶加涛为大家介绍了利用 Roaring Bitmap 来进行精确去重。虽然这种算法能大大地减少存储开销,但是随着数据量的增大,它依然面临着存储上的压力。在本篇推送中将要介绍的 HyperLogLog(下称 HLL)是一种非精确的去重算法,它的特点是具有非常优异的空间复杂度(几乎可以达到常数级别)...

2019-05-09 11:35:44 1218

原创 开源分布式工作流任务调度系统Easy Scheduler Release 1.0.2发布

Easy Scheduler Release 1.0.2Easy Scheduler 1.0.2是1.x系列中的第三个版本。此版本增加了调度开放接口、worker分组(指定任务运行的机器组)、任务流程及服务监控以及对oracle、clickhouse等支持,具体如下:新特性:[EasyScheduler-79] 调度通过token方式对外开放接口,可以通过api进行操作[EasySche...

2019-04-26 20:08:20 832

原创 持续改进中——Easy Scheduler 1.0.1版本来了

持续改进中——Easy Scheduler 1.0.1版本来了背景在多位技术小伙伴的努力下,经过近2年的研发迭代、内部业务剥离及重构,也经历一批种子用户试用一段时间后,EasyScheduler终于迎来了第一个正式开源迭代发布版本 – 1.0.1,免编译版本下载地址 – 1.0.1相信做过数据处理的伙伴们对开源的调度系统如oozie、azkaban、airflow应该都不陌生,在使用这些调...

2019-04-17 10:54:37 1512 1

原创 分布式工作流任务调度系统Easy Scheduler正式开源

Easy Scheduler大数据工作流调度系统已经开源,欢迎下载交流 https://github.com/analysys/EasySchedulerEasy Scheduler for Big Data设计特点: 一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。其主要目标如下:以DAG图的方...

2019-03-29 23:56:37 3255 1

正则表达式验证工具.exe

正则表达式验证工具 验证正则正确与否的利器 验证java、javascript等等,非常棒的软件,推荐下

2013-03-28

GIAC架构大会-承载每天万级任务的调度系统架构是如何设计的.pdf

承载每天万级任务的调度系统架构是如何设计的 分布式任务调度系统如何设计? 开源分布式任务调度系统介绍

2019-07-07

ippicv_linux_20151201.tgz

Ubuntu16.04安装OpenCV3.2.0过程中,在cmake下载过程中可能会出现 ICV:DOWNLONDING ippicv_linux_20151201.tgz 但是一直下载不下来,自己可以手动下载,把压缩包放到opencv3.2.0->ippic->Download下

2018-04-07

代立冬的留言板

发表于 2020-01-02 最后回复 2020-01-02

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除