安全分析丨不要让你的数据湖变成数据沼泽

​现在信息随处可见，特别是一些大的数据公司，随手拈来的数据分析和数据报告，每年一度的数据总结和数据展示，也让我们看到了纷杂，凌乱的数据信息在经过整理之后得到一个有规律性的变化。

对于做网络安全的人来说，数据是至关重要的，目前数据的重要性也引起了大大小小公司的重视。作为网络安全界的传播者来说，悬镜希望给大家精彩的安全资讯。

今天悬镜小编就带您来看：您的数据是成了数据湖，还是数据沼泽？

---

当使用Hadoop从数据中查找洞察时，很容易陷入困境。 但这不会发生，这些提示可以帮助。

许多技术和安全团队，特别是在金融方面，正在一起运行数据湖项目，以使用Hadoop构建数据分析功能。

正在这样做的安全团队的目标是创建一个平台，让他们从类似的数据中获得有意义的及时的洞察，以帮助解决各种各样的问题。

这些问题包括在IT环境（例如资产，漏洞，配置和访问管理）中连续监控网络卫生因素，通过将日志跨越大型，繁琐的数据集（例如来自Web代理的数据集） ，Active Directory，DNS和NetFlow。

这种趋势的原因是安全团队的一些成员（通常是首席信息安全官和领导团队，控制管理者，安全操作，事件响应）已经认识到他们都在从重叠数据集的不同分析中寻找定制的洞察 。

例如，可以推进CISO执行通信与风险和审计功能的相同数据可以简化安全操作在监视和检测跨设备，用户和应用程序的恶意外部或内部活动的工作。

通过构建一个可以存储和启用此数据所需的所有分析的平台，安全团队希望整合所有安全解决方案的输出，并尽可能简化其技术堆栈。

通常，数据湖项目经历四个阶段：建立数据湖; 摄取数据; 数据分析; 提供洞察。 在每个阶段，数据分析的挑战成为前进的导航。

第一个是获得一个数据湖，它可以支持以正确的频率和速度提取相关数据集 - 并启用各种分析技术来生成相关的见解。

第二是建立和运行对这些数据集的有效分析。

第三个是以提供利益相关者需要的洞察力的方式做到这一点。

第四是为利益相关者提供一种与针对其关注点，决策和问责制定的信息进行交互的方式。

大多数项目在前两个阶段遇到问题。 下面是关于问题的原因分析。

阶段1问题：构建的问题

构建一个用于Hadoop数据分析的平台很难。 Hadoop不是单一的技术; 它是一个相当复杂的技术组件生态系统 - HDFS，Spark，Kafka，Yarn，Hive，HBase，Phoenix和Solr等等。

确定这个生态系统的什么组件相互之间很好相处是棘手的。 一些组件适用于某些用例，但不适用于其他组件。

首先，你需要知道如何连接彼此工作的部件来解决你所面临的问题范围。

然后，您需要知道何时达到这些联合零件的限制，以便进行您的分析。

在分析之前，你需要从几个不同的Hadoop分别的供应商来仔细考虑。

有时您会发现，您需要换出数据湖的底层部分以获得所需的性能（无论是数据采集还是数据科学家想要应用于数据的数学）。

这需要具有经验的昂贵的人，并且能够在发布新组件时快速进行实验，以实现更大的功能或性能改进。

如果你在内部建立一个数据湖，工作在一个最低可行的产品模型。 开发您需要的分析所需的功能，而不是试图构建一个平台，解决您可以想象的每个问题。

从一小部分问题开始，使用相对简单的数据集。 告诉你的同伴关于他们走下去，非生产和预算仔细的路径。

如果你沿着“购买”路线，烧烤厂商关于他们的承诺“数据湖一盒”。 数据分析工作流何时突破？ 随着您的规模和IT运营模式的变化，数据湖的可扩展性是多少？

阶段2问题：摄入消化不良

一旦你有一个数据湖，是时候采集数据。 通常情况下会犯两个错误。

首先：“让我们获取我们可以得到的所有数据，然后找出我们以后要做什么分析。

这导致了问题，因为迟早，CFO将需要从投资中看到一些价值（即洞察力）。

然后显而易见的是，数据集不是理想的生成有意义的洞察，所以预算削减或分析开始，但是不容易获得有价值的相关数据，你可以提供在时间压力下的见解 压倒性。

第二个错误是摄取没有很好策展，清理和理解的数据集。 结果是，你最终得到了一个数据沼泽，而不是一个数据湖。

这通常发生在Hadoop用于复制已有的特定数据分析方法时。 当IT操作团队没有时间移动在网络中最有用的数据时，也可能发生这种情况。

在采集数据进行分析时，有三个原则可以帮助您：

1.识别随时可用的数据，并以较低的成本实现快速的价值。

2.优先处理支持解决您知道的问题并且知道您可以解决的数据。

3.使用所需的最低数量的数据向许多利益相关者提供最大的洞察力。

例如，只有以下数据源可以实现很多功能：漏洞扫描，防病毒，Active Directory和配置管理数据库。

最后，如果你要花时间理解，清理和获取数据，那么值得确保你选择的数据集能够解决互补的问题，并为更容易解决更复杂的问题打下基础。

悬镜注：本文是悬镜安全编译报道，转载请联系授权，并保留出处链接，不得删减内容。联系方式：2897924296

@悬镜安全，悬镜是一款免费Linux服务器安全软件,拥有风险诊断、网站防护、服务器加固、安全运维、云监控、Webshell查杀等功能.网站安全、服务器安全,首选悬镜!

---

置顶悬镜安全实验室公众号，给你最新，最有料的资讯，安全技术干货。

有料丨有趣丨行业丨观点丨

关注悬镜安全实验室

了解最新产品动态