- 博客(3)
- 资源 (1)
- 收藏
- 关注
原创 获取原生mapreduce程序、sqoop、hive提交的jobId
项目中需要获取sqoop、hive和mapreduce程序提交到hadoop集群的jobId,以此来跟踪执行的状态,经过对这几种方式提交命令的调研,追踪了部分源代码,得到了一些获取这三种提交到hadoop的jobId的方案。
2015-02-28 14:30:25 7059 1
原创 一次购买火车票的思考
一次在阿里旅行上购买火车票之后的感想,对比360抢票软件、网易火车票等软件,联想到技术中的通过增加一层来消除耦合的解决方案。
2015-02-28 14:18:26 2286
原创 Azkaban使用的两个设计模式
最近看了看azkaban的代码,发现有两个设计模式比较巧妙,一个是在webServer端处理用户请求的servlet的类结构,一个是在execServer中使用的观察者模式。1、webServer端的servlet的层次结构如下图,下面是webServer提供的所有的servlet信息:AbstractAzkabanServlet类继承自HttpServlet,我们一般
2015-02-11 18:24:32 3155 1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人