hadoop漏洞_挖掘分布式系统——Hadoop的漏洞

Hadoop及其安全模型概述

Hadoop简述

Hadoop是一款由Apache基金会推出的分布式系统框架,它通过著名的 MapReduce 算法进行分布式处理。这个框架被Adobe,Last fm,EBay,Yahoo等知名公司使用着。它极大地精简化程序员进行分布式计算时所需的操作,用户大概通过如下步骤在hadoop中实现分布式处理:用户创建一个处理键值的map函数

产生了一套中间键/值

reduce函数合并中间值并把他们关联到对应的键

虽说hadoop是免费且开源的,它还是分出了许多发行版,以下是三个最受欢迎的发行版:

幸运的是,这三个版本都是基于Hadoop的,所以它们都大同小异。

这副图大致描述了Hadoop在大数据框架中的位置:

显而易见,Hadoop在大数据环境中负责最底层的操作。图中的MapReduce负责数据处理。HDFS则是一种特殊的文件系统,其用来存储Hadoop里的数据。而在这两者之上的Yarn是Hadoop集群的资源管理器。

安全模型

身份验证

默认情况下,Hadoop集群不强制管理员添加身份验证。就算开了默认的身份验证(但是没有用Kerberos),它也只是简单地检查一下登陆的用户及其所在组是合法的。

有些时候,由于管理员疏忽,验证可能只会在部分模块打开。下面的配置文件分别描述了不同情况:

全部都需认证:

hadoop.security.authentication

simple

core-default.xml

只在Web接口验证:

hadoop.http.authentication.type

simple

core-default.xml

可匿名登陆:

hadoop.http.authentication.simple.anonymous.allowed

simple

core-default.xml

只在Yarn上开启身份验证:

yarn.timeline-service.http-authentication.simple.anonymous.allowed

simple

core-default.xml

不仅如此,每个Hadoop组件都有自己的认证模块,这无疑大大提升了防御的复杂度。

就拿HDFS来说,它同时支持*nix式权限(user/group/other)和ACL(2.5后加入)

!

数据保护

默认情况下(不开Kerberos),传输及存储的数据不会被加密保护。不过我们这里主要来谈一谈开启加密的状况,我们大致可以分成两种:传输加密:

在NameNode会

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值