![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
程序猿小飞
做好自己该做的事。
展开
-
集群namenode和datanode的丢失找回
如果namenode丢失操作如下: 在hadoop-2.7.3的bin目录下: 格式化:hadoop namenode -format 查看状态:jps 停止hdfs:stop-dfs.sh 开始hdfs:start-dfs.sh jps 如果DataNode丢失: Hadoop-2.7.3下的tmp文件夹操作: cd /tmp/dfs/name/current vim VERSION ...原创 2018-12-27 16:57:03 · 1082 阅读 · 0 评论 -
azkaban的安装部署
azkaban介绍 为什么需要工作流调度系统 一个完整的数据分析系统通常都是由大量任务单元组成: shell脚本程序,java程序,mapreduce程序、hive脚本等 各任务单元之间存在时间先后及前后依赖关系 为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行; 例如,我们可能有这样一个需求,某个业务系统每天产生20G原始数据,我们每天都要对其进行处理,处理步骤如下所示: 1...转载 2019-01-22 14:49:41 · 95 阅读 · 0 评论