企业级大数据安全架构(二)安全方案

作者:楼高

1 Knox访问控制

Apache Knox是一个为Apache Hadoop部署提供交互的应用网关,通过其REST
API和用户友好的UI,为所有与Hadoop集群的REST和HTTP交互提供了统一的访问点。Knox不仅仅是一个访问网关,它还具备强大的访问控制功能,可以精确管理用户对Hadoop资源的访问权限。另外,Knox与企业常用的身份管理和单点登录(SSO)系统集成,使得企业可以直接使用现有的身份验证系统,将其身份用于访问Hadoop集群,无需复杂的认证步骤,为企业数据安全提供了更高的便利性和保障性。
Knox 网关为多个 Hadoop 集群提供安全性,具有以下优点:

  • 简化访问 :通过将 Kerberos 封装到群集中来扩展 Hadoop 的 REST/HTTP 服务。
  • 提高安全性 :暴露 Hadoop 的 REST/HTTP 服务,而不会透露网络细节,提供 SSL 开箱即用。
  • 集中控制 :集中执行 REST API安全性,将请求路由到多个 Hadoop 集群。
  • 企业集成 :支持 LDAP,AD,SSO,SAML 等认证系统。

![在这里插入图片描述](https://img-
blog.csdnimg.cn/direct/1a2d5da40e404a64b192da05e857fe23.png#pic_center)典型安全流程:防火墙,通过
Knox 网关路由
Knox 可以与两个不安全的 Hadoop 集群和 Kerberos 安全集群一起使用。在采用 Kerberos 安全集群的企业解决方案中,Apache
Knox Gateway 提供了企业安全解决方案:

  • 与企业身份管理解决方案相结合
  • 保护 Hadoop 集群部署的细节(主机和端口从最终用户隐藏)
  • 简化客户需要交互的服务数量

2数据授权与管理

现在解决大数据平台中的第二个隐患即保护大数据平台中资源安全,资源包括数据资源(HDFS、HIVE、HBASE等),系统资源包括YARN资源队列等,虽然这些系统都有各自的权限管理功能,但是比较分散比较原始,此时我们需要引入Ranger统一管理配置
Apache Ranger是一个用来在Hadoop平台上进行监控,启动服务,以及全方位数据安全访问管理的安全框架。
Ranger愿景是在Apache
Hadoop生态系统中提供全面的安全管理。随着企业业务的扩展,企业可能在多用户环境中运行多个工作任务,这就要求Hadoop内的数据安全性需要扩展为同时支持多种不同的需求进行数据访问,同时还需要提供一个可以对安全策略进行集中管理,配置和监控用户访问的框架。Ranger由此产生。

2.1 Ranger目标

(1)允许用户使用Web UI或者Rest API对所有和安全相关的任务进行集中化的管理
(2)允许用户使用一个管理工具对操作Hadoop体系中的组件和工具的行为进行细粒度的授权
(3)支持Hadoop体系中各个组件的授权认证标准
(4)增强了对不同业务场景需求的授权方法支持,例如基于角色的授权或者基于属性的授权
(5)支持对Hadoop组件所涉及安全的审计行为的集中化管理

2.2 Ranger支持的框架

(1)Apache Hadoop
(2)Apache Hive
(3)Apache HBase
(4)APache Storm
(5)Apache Knox
(6)Apache Solr
(7)Apache Kafka
(8)NIFI
(9)YARN

2.3 Ranger架构

![在这里插入图片描述](https://img-
blog.csdnimg.cn/direct/440c34fc98d04c82a33633b2684d48c0.png#pic_center)

3 Kerberos认证机制

解决Hadoop服务的安全隐患我们的思路是引入Kerberos认证机制,通过集成Kerberos协议,就能够使用Kerberos用户代替服务器本地的Linux用户,让大数据平台中Hadoop相关服务全部使用Kerberos用户通过认证中心去认证,防止datanode
regionserver等组件冒充加入集群解决了服务端到服务端的认证,也解决了客户端到服务端的认证,提升平台的安全性
Kerberos 是一种网络认证协议,其设计目标是通过密钥系统为客户机 /
服务器应用程序提供强大的认证服务。该认证过程的实现不依赖于主机操作系统的认证,无需基于的信任,不要求网络上所有主机的物理安全,并假定网络上传送的数据包可以被任意地读取、修改和插入数据。在以上情况下,
Kerberos 作为一种可信任的第三方认证服务,是通过传统的密码技术(如:共享密钥)执行认证服务的。

最后整个框架是以Knox做代理访问,kerberos做前端验证,ldap做后端用户存储,Ranger做数据权限控制。

更多技术信息请查看云掣官网https://yunche.pro/?t=yrgw

接下来我将给各位同学划分一张学习计划表!

学习计划

那么问题又来了,作为萌新小白,我应该先学什么,再学什么?
既然你都问的这么直白了,我就告诉你,零基础应该从什么开始学起:

阶段一:初级网络安全工程师

接下来我将给大家安排一个为期1个月的网络安全初级计划,当你学完后,你基本可以从事一份网络安全相关的工作,比如渗透测试、Web渗透、安全服务、安全分析等岗位;其中,如果你等保模块学的好,还可以从事等保工程师。

综合薪资区间6k~15k

1、网络安全理论知识(2天)
①了解行业相关背景,前景,确定发展方向。
②学习网络安全相关法律法规。
③网络安全运营的概念。
④等保简介、等保规定、流程和规范。(非常重要)

2、渗透测试基础(1周)
①渗透测试的流程、分类、标准
②信息收集技术:主动/被动信息搜集、Nmap工具、Google Hacking
③漏洞扫描、漏洞利用、原理,利用方法、工具(MSF)、绕过IDS和反病毒侦察
④主机攻防演练:MS17-010、MS08-067、MS10-046、MS12-20等

3、操作系统基础(1周)
①Windows系统常见功能和命令
②Kali Linux系统常见功能和命令
③操作系统安全(系统入侵排查/系统加固基础)

4、计算机网络基础(1周)
①计算机网络基础、协议和架构
②网络通信原理、OSI模型、数据转发流程
③常见协议解析(HTTP、TCP/IP、ARP等)
④网络攻击技术与网络安全防御技术
⑤Web漏洞原理与防御:主动/被动攻击、DDOS攻击、CVE漏洞复现

5、数据库基础操作(2天)
①数据库基础
②SQL语言基础
③数据库安全加固

6、Web渗透(1周)
①HTML、CSS和JavaScript简介
②OWASP Top10
③Web漏洞扫描工具
④Web渗透工具:Nmap、BurpSuite、SQLMap、其他(菜刀、漏扫等)

那么,到此为止,已经耗时1个月左右。你已经成功成为了一名“脚本小子”。那么你还想接着往下探索吗?

阶段二:中级or高级网络安全工程师(看自己能力)

综合薪资区间15k~30k

7、脚本编程学习(4周)
在网络安全领域。是否具备编程能力是“脚本小子”和真正网络安全工程师的本质区别。在实际的渗透测试过程中,面对复杂多变的网络环境,当常用工具不能满足实际需求的时候,往往需要对现有工具进行扩展,或者编写符合我们要求的工具、自动化脚本,这个时候就需要具备一定的编程能力。在分秒必争的CTF竞赛中,想要高效地使用自制的脚本工具来实现各种目的,更是需要拥有编程能力。

零基础入门的同学,我建议选择脚本语言Python/PHP/Go/Java中的一种,对常用库进行编程学习
搭建开发环境和选择IDE,PHP环境推荐Wamp和XAMPP,IDE强烈推荐Sublime;

Python编程学习,学习内容包含:语法、正则、文件、 网络、多线程等常用库,推荐《Python核心编程》,没必要看完

用Python编写漏洞的exp,然后写一个简单的网络爬虫

PHP基本语法学习并书写一个简单的博客系统

熟悉MVC架构,并试着学习一个PHP框架或者Python框架 (可选)

了解Bootstrap的布局或者CSS。

阶段三:顶级网络安全工程师

如果你对网络安全入门感兴趣,那么你需要的话可以点击这里👉网络安全重磅福利:入门&进阶全套282G学习资源包免费分享!

学习资料分享

当然,只给予计划不给予学习资料的行为无异于耍流氓,这里给大家整理了一份【282G】的网络安全工程师从入门到精通的学习资料包,可点击下方二维码链接领取哦。

  • 9
    点赞
  • 23
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值