hadoop
myrainblues
这个作者很懒,什么都没留下…
展开
-
hadoop2.0.4安装
转载自:http://f.dataguru.cn/thread-156841-1-1.html之前,hadoop2.04测试环境搭建成功了一半,估计是由于参考文档都是按1.0配置有关。今天狠下心参照英文说明进行2.05版本的安装。1:规划centOS6.4上搭建hadoop2.05环境,java版本7UP21192.168.100.171 linux1 (nameno转载 2013-12-11 14:17:12 · 983 阅读 · 0 评论 -
hadoop-2.2.0 分布式安装
转载自:http://blog.csdn.net/myboyliu2007/article/details/18900371#t1目录(?)[+]hadoop安装包:hadoop-2.2.0.tar.gz操作系统: CentOS6.4jdk版本: jdk1.7.0_211. 配置namenode和datanode 配置成功的关转载 2014-03-25 18:10:23 · 1270 阅读 · 0 评论 -
spark on yarn 开发(begin)
这个是根据 董西成老师的 博客实验,然后自己写了一遍,中间遇到一些问题,索性记录下来。其实是个很简单的 wordcount类,不过有了这些类,其他的代码,往里面慢慢填就行了。package org.apache.sparkimport org.apache.spark._import SparkContext._object WordCount { ///apps原创 2015-01-06 13:37:44 · 3955 阅读 · 1 评论 -
hive_exception 已经处理处理
java.io.IOException: org.apache.hadoop.yarn.exceptions.ApplicationNotFoundException: Application with id 'application_1420343843586_0052' doesn't exist in RM. at org.apache.hadoop.yarn.server原创 2015-01-04 15:46:52 · 5180 阅读 · 4 评论 -
Oozie工作流程定义详解
Oozie工作流程定义详解更多0 Oozie工作流程定义是一个DAG(Directed Acyclical Graphs)图,它由控制流节点(Control Flow Nodes)或动作节点(Action Nodes)组成,各个节点又是通过表征转移的箭线(transitionsarrows)互相连通。对于工作流一般对应存在流程定义语言,例如jBPM是jPDL,大转载 2015-02-27 11:38:14 · 1578 阅读 · 0 评论 -
Hadoop 权限管理
如下图,hadoop访问控制分为两级,其中ServiceLevel Authorization为系统级,用于控制是否可以访问指定的服务,例如用户/组是否可以向集群提交Job,它是最基础的访问控制,优先于文件权限和mapred队列权限验证。Access Control on Job Queues在job调度策略层之上,控制mapred队列的权限。DFSPermmision用户控制文件权限。目前版本中转载 2015-03-06 10:55:10 · 587 阅读 · 0 评论