allen的博客

之前我的一篇博客是模拟日志收集到hdfs上面（详情见：http://blog.csdn.net/qq_20641565/article/details/52807776）以及Azkaban的安装（详情见：http://blog.csdn.net/qq_20641565/article/details/52814048），现在用java编写mapreduce程序通过Azkaban进行调度，编写四个简单

今天在虚拟机上面配置了一个Azkaban的任务调度器，这是由Linkedin公司开源的一个大批量工作流任务调度器(任务量不大的话crontab和hadoop的jobController 结合起来也可以实现任务的调度)；下面我们来部署下Azkaban：1.需要下载三个包 azkaban-web-server-2.5.0.tar.gz azkaban-executor-server-2.5.0.t

azkaban是一个开源的调度工具,可能需要自己修改源码或者自己调用azkaban后台提供的restFul接口进行定制化的开发,在azkaban的官方文档上有接口的详细文档,具体参考:http://azkaban.github.io/azkaban/docs/latest/#ajax-api测试代码如下: 1.SSLUtil 绕过ssl认证的工具类注意: 如果不绕过ssl认证可以自己导入证书,通过

记录一下，下次遇到可以更快解决：1.hive 遇到问题：Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient