Hadoop-0.20.0源代码分析（01）

最新推荐文章于 2022-04-03 11:23:48 发布
最新推荐文章于 2022-04-03 11:23:48 发布
阅读量1.6w 收藏 28
点赞数
分类专栏： Open Source 文章标签： 代码分析 hadoop mapreduce login null user
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shirdrn/article/details/4569702
版权
本文深入剖析Hadoop框架中UserGroupInformation抽象类，介绍其在HDFS安全性和用户权限管理中的作用，包括获取当前用户线程信息、用户登录、读取配置信息等功能，并探讨与javax.security.auth.Subject类的关系。
摘要由CSDN通过智能技术生成

Hadoop 框架是两个模型实现的有机整合，亦即Hadoop分布式文件系统（HDFS）与MapReduce并行编程模型，也就是说，Hadoop框架要能够提供的基本功能就是，在存储系统HDFS上进行MapReduce并行计算，所以，如果想要了解Hadoop框架的工作原理和运行机制，主要从这两个方面着手。

其实，Hadoop中MapReduce并行计算应该是在HDFS实现的，因此了解计算所基于HDFS应该是入口点，当对HDFS有了一定的了解，就能够知道这样一个并行计算平台能够提供哪些进行计算的基础要素。

当然，在了解HDFS之前，应该先熟悉一下Hadoop对文件系统FS是如何实现的，都提供了哪些操作。在org.apache.hadoop.fs包中，提供了文件系统的高层抽象（FileSystem类），基于该抽象的文件系统，可以来实现满足实际需要的文件系统实现类，例如用来在本地存储原生文件的文件系统（RawLocalFileSystem），例如一个文件系统之上可以存在其它一些类型的文件系统（基于校验和的文件系统ChecksumFileSystem类就是这样的，ChecksumFileSystem extends FilterFileSystem，FilterFileSystem是一个最基本的文件系统实现）。

我在阅读源代码的过程中，首先从与org.apache.hadoop.fs包中文件系统相关的其它包org.apache.hadoop.security开始。

org.apache.hadoop.security包中的一些类涉及到文件系统中用户的信息，例如用户权限等等。所以，为了能够深入了解文件系统和方便阅读源代码，就应该了解与文件系统相关的安全支持，实际上也就是位于Hadoop源代码中org.apache.hadoop.security包中实现。

下面org.apache.hadoop.security包中类的继承关系：

最低0.47元/天 解锁文章
千与
关注
专栏目录
Hadoop-0.20.0源代码分析（02）
千与的专栏
09-19 6391
UserGroupInformation类定义了一个与文件系统相关的用户和组信息抽象的内容，Hadoop框架实现了一个基于Unix系统的用户和组信息的实现类UnixUserGroupInformation，该类继承自UserGroupInformation抽象类。从UserGroupInformation抽象类与其子类UnixUserGroupInformation的属性字段可以看出，抽象类所
hadoop-0.20.0.tar
09-11
Hadoop 是一个实现了 MapReduce 计算模型的开源分布式并行编程框架，借助于 Hadoop, 程序员可以轻松地编写分布式并行程序，将其运行于计算机集群上，完成海量数据的计算。
Hadoop-0.20.0源代码分析（12）
千与的专栏
09-26 3796
在org.apache.hadoop.ipc包中，Server类是一个抽象类，抽象了IPC模型中Server端的基本行为。下面对RPC类进行阅读分析。RPC类给出了一个简单的RPC机制，它的协议是基于一个Java接口，协议界定，所有的参数和返回类型必须是下面之一：1、一个基本类型：boolean、byte、char、short、int、long、float、double，或void；2
【Hadoop】Hadoop0.20.2的安装
编程记录，亲测有效
01-25 4554
Hadoop现时官网值提供1.x版本与2.x版本，而且力推2.x版本，然而现在市面上大多数书籍与资料都是经典的hadoop-0.20.2.tar.gz版本，据说，其属于Hadoop1.x版本体系，Hadoop1.x版本的安装是大同小异，区别于Hadoop2.x完全推翻重写。 不过我觉得还是从现在具有大多数研究的Hadoop0.20.2学起，在官方网站上已经删除了这个2010年的历史版本下载了。不
hadoop-0.20.0分布式部署
星月菩提的专栏
08-03 1113
1.   前言 Hadoop 是一个实现了 MapReduce 计算模型的开源分布式并行编程框架,借助于 Hadoop, 程序员可以轻松地编写分布式并行程序，将其运行于计算机集群上，完成海量数据的计算。在本文档中，详细介绍了如何部署Hadoop 分布式运行环境，如何让程序分布式运行于多台普通的计算机上等内容（在这里用的是VMware虚拟的linux系统）。而hadoop又分为单机（非分布式）
hadoop0.20.0第一个例子
杨航的专栏
12-09 340
这是Hadoop学习全程记录第2篇，在这篇里我将介绍一下如何在Eclipse下写第一个MapReduce程序。  新说明一下我的开发环境：  操作系统：在windows下使用wubi安装了ubuntu 10.10  hadoop版本：hadoop-0.20.2.tar.gz  Eclipse版本：eclipse-jee-helios-SR1-linux-gtk.tar.gz
hdfs-over-ftp-hadoop-0.20.0.rar_ftp_ftpoverhdfs_hdfs文件传入ftp_java
09-14
压缩包子文件 "hdfs-over-ftp-hadoop-0.20.0" 没有提供具体的文件名，但我们可以假设它包含了源代码、文档、配置文件等，这些内容可能包括： 1. **源代码**：实现了FTP与HDFS交互的Java类和库，可能包括FTP服务器的...
Hadoop-0.20.0源代码分析（04）
千与的专栏
09-21 7303
前面，分析了org.apache.hadoop.fs.Filesystem抽象类，我们已经了解到，要实现一个最基本的文件系统都需要包含哪些要点。下面具体到某个实现Filesystem的具体实现类，基于该抽象类Filesystem派生的类的继承关系： ◦org.apache.hadoop.fs.FileSystem (implements java.io.Closeable)
Hadoop-0.20.0源代码分析（07）
千与的专栏
09-22 5422
前面分析了与操作系统有关的Shell命令，它们用于与操作系统进行命令行方式的交互。在Hadoop中，自定义了FileSystem文件系统，这是基于Unix操作系统之上的文件系统，为了方便对FileSystem的管理，通过org.apache.hadoop.fs.FsShell类定义了对Hadoop FileSystem文件系统进行命令行方式管理的命令实现。先给出对Hadoop文件系统进行管理的
1.7)hadoop学习之常见的错误以及解决方案
qq_614617158的博客
08-18 745
1）防火墙没关闭、或者没有启动 YARN INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032 2）主机名称配置错误 3）IP 地址配置错误 4）ssh 没有配置好 5）root 用户和 atguigu 两个用户启动集群不统一 6）配置文件修改不细心 7）不识别主机名称 java.net.UnknownHostException: hadoop102: hadoop102 at java.n
Hadoop UserGroupInformation详解
gezooo的专栏
04-03 6960
hadoop UserGroupInformation研究了很多次，每次都是朦朦胧胧，这一次花了一些力气，终于是搞明白了。 下面大概了解下面Java的认证相关框架 JAAS 认证和授权框架，只要负责用户的认证和权限。 SASL client 和 server之间认证的框架 GSS 是sasl的一个provider,也就是实现了sasl框架 参考JAAS/GSS-API/SASL/Kerberos简介 | NoSQL漫谈 网上关于high level介绍的还比较多，可以搜索一些，但是要真正理解Us
hivecontex释放mysql连接_通过beeline连接到hive时，自动关闭连接了
weixin_36165398的博客
01-21 610
这个server2的log... 41 more2016-05-05 08:36:02,911 WARN [main]: hive.metastore (HiveMetaStoreClient.java:open(439)) - set_ugi() not successful, Likely cause: new client talking to old server. Continuing...
HQL - HiveQL
coder_oyang的博客
02-23 338
use namespace dba_ns; #选定数据库 set user_write_ugi:hdfs://nmg01-xxxx-hdfs.dmop.xxxxx.com:54310/app/ecom/fcr/bigdata_dump/user_feature/=xx,xxxxxxx; #赋值：用户名，密码 insert overwrite directory 'hdfs://nmg01-xxxx...
metastore作用_Hive metastore整体代码分析及详解
weixin_27966471的博客
12-24 1487
从上一篇对Hive metastore表结构的简要分析中，我再根据数据设计的实体对象，再进行整个代码结构的总结。那么我们先打开metadata的目录，其目录结构：可以看到，整个hivemeta的目录包含metastore(客户端与服务端调用逻辑)、events(事件目录包含table生命周期中的检查、权限认证等listener实现)、hooks(这里的hooks仅包含了jdo connection...
Hive metastore整体代码分析及详解
weixin_34217711的博客
02-24 769
　　从上一篇对Hive metastore表结构的简要分析中，我再根据数据设计的实体对象，再进行整个代码结构的总结。那么我们先打开metadata的目录，其目录结构： 　　可以看到，整个hivemeta的目录包含metastore(客户端与服务端调用逻辑）、events（事件目录包含table生命周期中的检查、权限认证等listener实现）、hooks（这里的hooks仅包含了jdo conn...
Hive Metastore 连接报错
weixin_30652897的博客
06-04 2765
背景 项目中需要通过一些自定义的组件来操控hive的元数据，于是使用了remote方式来存储hive元数据，使用一个服务后台作为gateway，由它来控制hive元数据。 现象 在windows上连接hive metastore的时候，无端的会报NullPointerException，非常费解。 分析 看了代码后发现，连接后会获取本地用户所在的用户组信息（org.apache.hado...
Hadoop认证Kerberos--UserGroupInformation.doAs
热门推荐
虾哔哔的博客
11-01 1万+
在访问带有kerberos认证的hadoop生态圈服务时，必须带上keytab文件认证。 常用的代码： String userCode="user1"; String keytabPath = "./user1.keytab"; System.setProperty("java.security.krb5.kdc", kdc); System.setProperty("java.secur...
hadoop源码解析之RPC分析
公众号[大数据技术与应用实战]，分享大数据实战案例
03-02 2592
前言 准备工作 Hadoop rpc实现流程 定义接口 实现接口 启动一个server 构建一个client的代理 执行相应的方法 Server底层实现 内部类介绍 Call Connection Handler Listener Reader Responder Server的启动 接收请求 Reader线程读取数据 Handler线程处理请求 客户端实现 获取代理 发送请求 总结前言因为hado
Hadoop-0.20.0：从HDFS与MapReduce理解Hadoop框架
在Hadoop-0.20.0版本中，Hadoop框架的设计目标是将这两种技术有机融合，以便在大规模分布式环境中高效处理大数据。 首先，理解Hadoop的工作原理，关键在于掌握HDFS。HDFS是Hadoop架构中的基石，它负责存储海量数据...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值