Hamake(工作流调度器)
Hamake(工作流调度器)
涂作权的博客
To do what I want to do!
展开
-
工作流调度系统介绍,常见工作流调度系统对比,azkaban与Oozie对比,Azkaban介绍与特性(来自学习笔记)
1. 工作流调度器azkaban1.1 概述1.1.1为什么需要工作流调度系统一个完整的数据分析系统通常都是由大量任务单元组成:shell脚本程序,java程序,mapreduce程序、hive脚本等各任务单元之间存在时间先后及前后依赖关系为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行;例如,我们可能有这样一个需求,某个业务系统每天产生20G原始数据,我们每天都要对其进行处理,转载 2017-06-14 15:45:33 · 6328 阅读 · 1 评论 -
IDEA快捷键设置,选择Eclipse风格的快捷键,自动补全快捷键,关闭当前窗口快捷键Ctrl+W,自动导入设置,引入外部的jar的方式,设置项目字体,设置项目字符集,Maven的方式获取jar
1.设置成Eclipse的快捷键 选择默认快捷键类型 设置成了Eclipse风格的快捷键之后,但是还是有一些快捷键是有冲突的。2、修改自动补全的快捷键 在搜索框中输入Completion,找到Main Menu –> Code –> Completion–>右键选中快捷键位Alt + 斜杠的快捷键,然后移除这个快捷键–>右键选中Basic–>Add keybord shutcut,然后在尾原创 2017-06-16 19:35:41 · 26442 阅读 · 2 评论 -
Scala方法定义,方法和函数的区别,将方法转换成函数
1. 定义方法和函数1.1. 定义方法 方法的返回值类型可以不写,编译器可以自动推断出来,但是对于递归函数,必须指定返回类型1.2. 定义函数 1.3.方法和函数的区别在函数式编程语言中,函数是“头等公民”,它可以像任何其他数据类型一样被传递和操作 案例:首先定义一个方法,再定义一个函数,然后将函数传递到方法里面 package cn.toto.scala/** * Created b原创 2017-06-27 21:39:36 · 11267 阅读 · 5 评论