Azkaban
Gloria_bing
hadoop,java,爬虫,视频地址破解,视频,redis,产品设计分析
展开
-
Azkaban成功搭建环境的过程
1、先将下载下来 2、将压缩包上传到hadoop的NameNode上 3、用tar xvf azkaban-0.10.tar.gz解压 4、设置HADOOP_HOME环境变量: export HADOOP_HOME=:$HADOOP_HOME:/home/hadoop/azkaban-0.10/test/jobs 为azkaban解压到的绝对路径 5、进入到azkaba原创 2013-03-27 16:37:11 · 3844 阅读 · 4 评论 -
Azkaban源码阅读之AzkabanApplication
Azkaban是一个Hadoop批处理调度器,可以通过访问其前台展示页面来进行部署、运行job等操作。 //IndexServlet.java @Override protected void doPost(HttpServletRequest req, HttpServletResponse resp) throws ServletEx原创 2013-03-26 15:25:41 · 2219 阅读 · 0 评论 -
Azkaban源码阅读之CachingFlowManager
CachingFlowManager这部分为Azkaban在管理job中cache管理这一部分。 public CachingFlowManager(FlowManager baseManager, final int cacheSize) { this.baseManager = baseManager; this.flowCache原创 2013-03-26 16:27:18 · 1705 阅读 · 0 评论 -
Azkaban文档
这个文档假定你已经通过quit start部分了解Azkaban的基础的部分 Jobs和配置 Azkaban jobs是主要的代码加上配置的值。配置是按照的格式存储在属性文件当中的。这些job文件可以通过手动编写文本文件创建或者通过用户界面进行创建。许多配置参数都是你的job的自定义配置,但是也有许多可以激活job功能的标准参数。这些参数将会在下面的部分进行描述说明。 a翻译 2013-03-25 10:49:27 · 5362 阅读 · 1 评论 -
Azkaban的快速搭建
一、独立部署 通过以下命令来启动Azkaban: 注: 这个部分为绝对路径 然后即可用浏览器访问http://localhost:8081 (若将azkaban部署到服务器上,则 localhost为服务器的IP地址) 二、在Tomcat中部署 在解压缩后的dist目录下有一个预置的war文件。这个文件可以使用标准方法在Tomcat或任何servlet容器翻译 2013-03-14 18:51:32 · 4285 阅读 · 0 评论 -
Azkaban2配置过程
Azkaban2配置过程 azkaban2所需环境:jdk1.6、ant、jetty、hadoop、ssl证书 通过http://azkaban.github.io/azkaban2/downloads.html下载 一、JDK1.6安装,并配置环境变量 二、Jetty配置 1、下载jetty的tar包,并将其解压到/etc/目录下 2、设置JETTY_HOME环境变量 三原创 2013-10-07 20:41:36 · 3882 阅读 · 4 评论 -
Azkaban2官方配置文档
最近工作实在是太忙了,我把之前翻译的官方的文档先放上来吧,希望对大家有所帮助~ 介绍 Azkaban2新功能: 1、Web UI 2、简单工作流上传 3、更容易设置job的依赖关系 4、调度工作流 5、权限设置 6、Kill和restart工作流 7、模块化和插件化 8、日志和设计工作流和job 搭建 Azkaban2是相当容易搭建的,尽管它比azkaban要进行更多的插件原创 2013-10-07 20:24:59 · 4419 阅读 · 0 评论