hadoop
Gloria_bing
hadoop,java,爬虫,视频地址破解,视频,redis,产品设计分析
展开
-
Azkaban的快速搭建
一、独立部署 通过以下命令来启动Azkaban: 注: 这个部分为绝对路径 然后即可用浏览器访问http://localhost:8081 (若将azkaban部署到服务器上,则 localhost为服务器的IP地址) 二、在Tomcat中部署 在解压缩后的dist目录下有一个预置的war文件。这个文件可以使用标准方法在Tomcat或任何servlet容器翻译 2013-03-14 18:51:32 · 4361 阅读 · 0 评论 -
Azkaban成功搭建环境的过程
1、先将下载下来 2、将压缩包上传到hadoop的NameNode上 3、用tar xvf azkaban-0.10.tar.gz解压 4、设置HADOOP_HOME环境变量: export HADOOP_HOME=:$HADOOP_HOME:/home/hadoop/azkaban-0.10/test/jobs 为azkaban解压到的绝对路径 5、进入到azkaba原创 2013-03-27 16:37:11 · 3929 阅读 · 4 评论 -
Azkaban源码阅读之CachingFlowManager
CachingFlowManager这部分为Azkaban在管理job中cache管理这一部分。 public CachingFlowManager(FlowManager baseManager, final int cacheSize) { this.baseManager = baseManager; this.flowCache原创 2013-03-26 16:27:18 · 1771 阅读 · 0 评论 -
Azkaban源码阅读之AzkabanApplication
Azkaban是一个Hadoop批处理调度器,可以通过访问其前台展示页面来进行部署、运行job等操作。 //IndexServlet.java @Override protected void doPost(HttpServletRequest req, HttpServletResponse resp) throws ServletEx原创 2013-03-26 15:25:41 · 2285 阅读 · 0 评论 -
Azkaban文档
这个文档假定你已经通过quit start部分了解Azkaban的基础的部分 Jobs和配置 Azkaban jobs是主要的代码加上配置的值。配置是按照的格式存储在属性文件当中的。这些job文件可以通过手动编写文本文件创建或者通过用户界面进行创建。许多配置参数都是你的job的自定义配置,但是也有许多可以激活job功能的标准参数。这些参数将会在下面的部分进行描述说明。 a翻译 2013-03-25 10:49:27 · 5434 阅读 · 1 评论 -
[整理学习]Hadoop基本文件操作命令
假设Hadoop的安装目录HADOOP_HOME为/home/hadoop 启动与关闭 启动HADOOP 1. 进入HADOOP_HOME目录。 2. 执行sh bin/start-all.sh 关闭HADOOP 1. 进入HADOOP_HOME目录。 2. 执行sh bin/stop-all.sh 文件操作原创 2013-06-28 15:41:15 · 1342 阅读 · 0 评论