![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
myrainblues
这个作者很懒,什么都没留下…
展开
-
hadoop2.0.4安装
转载自:http://f.dataguru.cn/thread-156841-1-1.html 之前,hadoop2.04测试环境搭建成功了一半,估计是由于参考文档都是按1.0配置有关。今天狠下心参照英文说明进行2.05版本的安装。 1:规划 centOS6.4上搭建hadoop2.05环境,java版本7UP21 192.168.100.171 linux1 (nameno转载 2013-12-11 14:17:12 · 974 阅读 · 0 评论 -
hadoop-2.2.0 分布式安装
转载自:http://blog.csdn.net/myboyliu2007/article/details/18900371#t1 目录(?)[+] hadoop安装包:hadoop-2.2.0.tar.gz 操作系统: CentOS6.4 jdk版本: jdk1.7.0_21 1. 配置namenode和datanode 配置成功的关转载 2014-03-25 18:10:23 · 1264 阅读 · 0 评论 -
spark on yarn 开发(begin)
这个是根据 董西成老师的 博客实验,然后自己写了一遍,中间遇到一些问题,索性记录下来。 其实是个很简单的 wordcount类,不过有了这些类,其他的代码,往里面慢慢填就行了。 package org.apache.spark import org.apache.spark._ import SparkContext._ object WordCount { ///apps原创 2015-01-06 13:37:44 · 3949 阅读 · 1 评论 -
hive_exception 已经处理处理
java.io.IOException: org.apache.hadoop.yarn.exceptions.ApplicationNotFoundException: Application with id 'application_1420343843586_0052' doesn't exist in RM. at org.apache.hadoop.yarn.server原创 2015-01-04 15:46:52 · 5165 阅读 · 4 评论 -
Oozie工作流程定义详解
Oozie工作流程定义详解 更多0 Oozie工作流程定义是一个DAG(Directed Acyclical Graphs)图,它由控制流节点(Control Flow Nodes)或动作节点(Action Nodes)组成,各个节点又是通过表征转移的箭线(transitions arrows)互相连通。对于工作流一般对应存在流程定义语言,例如jBPM是jPDL,大转载 2015-02-27 11:38:14 · 1565 阅读 · 0 评论 -
Hadoop 权限管理
如下图,hadoop访问控制分为两级,其中ServiceLevel Authorization为系统级,用于控制是否可以访问指定的服务,例如用户/组是否可以向集群提交Job,它是最基础的访问控制,优先于文件权限和mapred队列权限验证。Access Control on Job Queues在job调度策略层之上,控制mapred队列的权限。DFSPermmision用户控制文件权限。目前版本中转载 2015-03-06 10:55:10 · 578 阅读 · 0 评论