保护大数据的基本原理

该博客文章是基于安全专家和思想领袖Davi Ottenheimer在电子书《确保大数据安全的六个要素》系列的系列文章中的第一篇。 Davi在他的书中概述了保护大数据系统和应用程序的原理和主要挑战。 他使用一些有趣的趣闻轶事来做到这一点，无论您是白/灰/黑帽子，网络超级英雄，或者即使您根本不是安全专家，也都可以读这本书。

在第一章中，Davi尽可能地讨论大数据安全性的基本原理。 这是节选：

在这个新兴的3V引擎世界（体积，速度，变化）中，安全性的理由是双重的。 一方面， 通过在3V上运行 （您无法预测自己不知道的内容）可以提高安全性，另一方面， 安全性必须保护3V，以确保对这些引擎的信任 。 假设您可以信任3V引擎，则3V将产生更好的安全引擎。 与1905年的格罗弗制鞋厂灾难相比，很少有人能通过这种安全自动化手段来了解这种更快/更好的风险知识的情况。

在左侧，您可以看到灾难发生前的巨型工厂，几乎是整个城市街区。 在右侧，您可以看到工厂和马路对面的相邻建筑物变成了瓦砾和灰烬。

这个故事的背景来自另一个自动化技术的热潮。 1890年左右，由于美国人迫不及待地在全国范围内部署蒸汽机技术，安装了10万台锅炉。 在1880年至1890年的繁荣时期，已知有2,000多台锅炉造成了严重的灾难。 尽管在1800年代后期经历了数十年的死亡和破坏，格罗弗制鞋厂在1905年仍然发生了灾难性的爆炸，级联故障将整个建筑夷为平地，并将其烧成地面，工人被困在里面。

此示例有助于说明为什么受信任的3V引擎与3V引擎的性能优势一样重要（甚至不那么重要）。

与威胁工具相比，更快地发现威胁

真正的原因在于弄清楚如何使用大数据来提高安全性本身。 基于更多数据的可用性，许多人都在积极地研究更好的安全性范例和工具。 实际上，如果您购买了最新的安全产品，则很有可能在像MapR Converged Data Platform这样的大数据平台上运行该产品。 确实，根据Davi所说，“收集和分析尽可能多的数据的理由是需要更快地解决实际威胁和漏洞。”

MapR客户已经将其付诸实践。 从Terbium Labs的巧妙的“数字指纹数据库”获取客户数据和内容，到RiskIQ在外部威胁管理平台中出色地使用DNS，whois和其他元数据，新时代的安全服务提供商正在使用大数据（和元数据）饲料来抵抗高级威胁和不良行为者。

威胁情报源是新安全原理的一个很好的例子。 他们将MapR平台用作受信任的3V引擎，然后使用机器学习和高级分析来筛选大量数据馈送或对（暗）网络进行爬网。 如果这些提要中有一些微妙的或变相的危害迹象，则需要使用大数据引擎和先进的分析功能来检测给定的当今数据量。

Davi的观点是，成功取决于有效的算法以及基础数据平台的性能，可靠性和安全性。

改变业务和IT的整个架构

有了新技术和更好的数据，任何行业都可以快速发展。 戴维以农业为典范：

农业是一个行业如何利用新技术发展的一个很好的例子。 用拖拉机代替牛，然后查看筒仓中还有多少谷物。 现在将筒仓与汽车和电梯合并，然后再次进行测量。 最终，我们到达了一个世界，在这个世界上，每分钟有关田间投入和产出的数据都可以帮助提高农民的产量。

在果园上空飞行无人机并收集热图像，以预测农作物的产量或对水，肥料，农药的需求； 这些廉价的鸟瞰图和收集系统非常有吸引力，因为它们可以极大地增加知识。 作物除尘工作了吗？ 一种肥料以更低的成本更有效吗？ 杏仁能在干旱中生存吗？ 越来越多的大数据系统要求回答这些无数的业务问题。

如今，正在建立传统的农业发动机（柴油动力拖拉机）以不断监控数据并向种植者及其供应商提供反馈。 在这种情况下，有很多钱可以赚，整个市场都取决于准确的预测。 每个人都必须相信数据环境可以安全地防止遭受破坏或篡改。

如果3V引擎缺少确保数据完整性的方法，算法的好坏并不重要。 重要的是要知道如何防御打算中毒，操纵或攻击您的3V引擎的攻击者，并且要知道3V引擎具有适当的机制来赢得您的信任。 MapR开发人员在MapR融合数据平台上投入了很多思想和精力。

下次

在下一个关于该主题的博客文章中，我们将讨论保护HeavyD。 不，这不是嘻哈艺术家保镖的故事，它是Davi的书第2章： 保护大数据的六个要素的主题 。

对MapR的称赞。

参考和更多信息：

• 免费电子书– 保护大数据的六个要素
• 网络研讨会– 保护大数据的六个要素
• 安全共享大数据– O'Reilly
• 安全性问答：MapR Converge社区
• 感谢Lori Nelson King在撰写此博客方面的帮助

翻译自: https://www.javacodegeeks.com/2016/09/rationale-securing-big-data.html