工作杂记
Gloria_bing
hadoop,java,爬虫,视频地址破解,视频,redis,产品设计分析
展开
-
Log4j.xml学习
日志在每个项目中都占有非常重要的地位,它可以记录程序运行的每个过程,便于观察项目的运行状态和定位出错位置。 <param name="ConversionPattern" value="[%d{yyyy-MM-dd HH:mm:ss,SSS}] [%t] %-5p %c %x - %m%n" />原创 2013-02-19 14:44:40 · 1269 阅读 · 0 评论 -
Azkaban文档
这个文档假定你已经通过quit start部分了解Azkaban的基础的部分Jobs和配置 Azkaban jobs是主要的代码加上配置的值。配置是按照的格式存储在属性文件当中的。这些job文件可以通过手动编写文本文件创建或者通过用户界面进行创建。许多配置参数都是你的job的自定义配置,但是也有许多可以激活job功能的标准参数。这些参数将会在下面的部分进行描述说明。a翻译 2013-03-25 10:49:27 · 5430 阅读 · 1 评论 -
Azkaban源码阅读之AzkabanApplication
Azkaban是一个Hadoop批处理调度器,可以通过访问其前台展示页面来进行部署、运行job等操作。//IndexServlet.java @Override protected void doPost(HttpServletRequest req, HttpServletResponse resp) throws ServletEx原创 2013-03-26 15:25:41 · 2273 阅读 · 0 评论 -
Azkaban源码阅读之CachingFlowManager
CachingFlowManager这部分为Azkaban在管理job中cache管理这一部分。 public CachingFlowManager(FlowManager baseManager, final int cacheSize) { this.baseManager = baseManager; this.flowCache原创 2013-03-26 16:27:18 · 1765 阅读 · 0 评论 -
Azkaban的快速搭建
一、独立部署通过以下命令来启动Azkaban:注: 这个部分为绝对路径然后即可用浏览器访问http://localhost:8081 (若将azkaban部署到服务器上,则 localhost为服务器的IP地址)二、在Tomcat中部署在解压缩后的dist目录下有一个预置的war文件。这个文件可以使用标准方法在Tomcat或任何servlet容器翻译 2013-03-14 18:51:32 · 4356 阅读 · 0 评论 -
Azkaban成功搭建环境的过程
1、先将下载下来2、将压缩包上传到hadoop的NameNode上3、用tar xvf azkaban-0.10.tar.gz解压4、设置HADOOP_HOME环境变量:export HADOOP_HOME=:$HADOOP_HOME:/home/hadoop/azkaban-0.10/test/jobs 为azkaban解压到的绝对路径5、进入到azkaba原创 2013-03-27 16:37:11 · 3924 阅读 · 4 评论 -
Cron 表达式详解和案例
1. cron表达式格式:{秒数} {分钟} {小时} {日期} {月份} {星期} {年份(可为空)}2. cron表达式各占位符解释:{秒数} ==> 允许值范围: 0~59 ,不允许为空值,若值不合法,调度器将抛出SchedulerException异常"*" 代表每隔1秒钟触发;"," 代表在指定的秒数触发,比如"0,15,45"代表0秒、15秒和45秒时触发任转载 2013-04-01 11:19:39 · 987 阅读 · 0 评论