Hadoop 不需认证导致数据泄漏

       最近，有报导指全球Hadoop服务器因配置不安全导致大量数据泄漏，涉及使用 Hadoop 分布式文件系统(HDFS)的近 4500 台服务器，数据量高达 5120 TB (5.12 PB)，经分析，这批数据泄漏的近 4500 台 HDFS 服务器中以美国和中国为主。

　　互联网上暴露的 Hadoop 服务器如果没有配置认证均可能受影响，攻击者针对 HDFS 的攻击删除了大多数目录，并会添加一个名为「NODATA 4U_SECUREYOURSHIT」的新目录和「PLEASE_README」的目录，攻击者可能备份业务数据后在服务器上删除这部分数据，然后直接发送勒索邮件并索要勒索赎金。

　　该问题产生是由于管理员在配置失误所致，由于直接在云端上开放了 Hadoop 机器 HDFS 的 50070 web 端口及部分预设服务端口，骇客可以通过命令行操作多个目录下的数据，如进行删除操作，安全风险高。

　　用户可以透过人手方式检测端口是否开放到了公网。

　　Hadoop2.3-HA高可用集群环境搭建 http://www.linuxidc.com/Linux/2017-03/142155.htm

　　Hadoop项目之基于CentOS7的Cloudera 5.10.1(CDH)的安装部署 http://www.linuxidc.com/Linux/2017-04/143095.htm

　　Hadoop2.7.2集群搭建详解(高可用) http://www.linuxidc.com/Linux/2017-03/142052.htm

　　使用Ambari来部署Hadoop集群(搭建内网HDP源) http://www.linuxidc.com/Linux/2017-03/142136.htm

　　Ubuntu 14.04下Hadoop集群安装 http://www.linuxidc.com/Linux/2017-02/140783.htm

　　假如真的发生问题，可以进行以下修復措施：

　　安装完 Hadoop 集群后，进行安全加固：

　　按照安全最小化原则，禁止公网对这部分端口存取，如果因业务需要必须对外开放，请使用 ECS 提供的安全组策略指定存取 IP 存取端口业务，如无必要，关闭 Hadoop Web 管理页面;

　　开启服务级别身份验证，如 Kerberos 认证;

　　部署 Knox、Nginx 之类的反向代理系统，防止未经授权用户存取;

　　使用交换机或防火墙策略配置访问控制策略 (ACL)，将 Hadoop 预设开放的多个端口对公网全部禁止或限制可信任的 IP 地址才能存取包括 50070 以及 WebUI 等相关端口。