逻辑谬误_大规模分布式计算的谬误

逻辑谬误

在过去的几年中，我们看到了高度分布式系统的问世。 具有许多服务器的群集的系统不再是世界上Google和Facebook的唯一领域，我们开始在企业中看到多节点和大数据系统。 例如，我不认为尼斯这样的公司（我工作的公司）不会发布基于hadoop的分析平台和解决方案， 这是我们在 5-6年前的上周所做的 。 因此，既然大型集群越来越普遍，我认为是时候反思一下分布式计算的谬误以及它们之间的相关性吧。 他们应该改变。 如果您不了解这些谬论，可以通过上面提到的链接查看列表并阅读我写的关于谬论的文章。 简而言之，这些是最初由彼得·德意志，汤姆·里昂等人于1991年2月起草的声明，关于我们在何时做出的失败假设

在分布式系统上工作，这些系统最终导致了谬误，使我们付出了沉重的代价。 因此，谬论有助于牢记分布式系统是不同的，即使过去了20年，它们似乎仍然成立。 但是，我认为，在使用更大的集群时，我们还应该考虑以下3个谬误，

• 实例是免费的
• 实例具有身份
• Map / Reduce是灵丹妙药

实例是免费的

大数据和noSQL时代的许多新技术带来了巨大的可扩展性。 如果发现性能问题，您可以（一个著名的Gradle曲词 ）添加另一台服务器。 在大多数情况下，甚至是事实，您确实可以添加更多服务器并获得更好的性能。 这些技术没有告诉您实例是有成本的。 更多实例意味着从管理工作的监视，配置等开始，总拥有成本会增加，并且硬件的运营成本也将增加； 托管解决方案中的租用空间和电力，或云环境中按小时计算的使用量。 因此，从开发的角度来看，解决方案很容易–添加更多硬件。 实际上，有时最好付出努力并优化代码/设计。 就在前一周，我们删除了系统数据流更改后不再需要的查询部分，从而使查询性能提高了10倍以上，这比增加2-3个节点来实现以下目标便宜得多相同的结果。

实例具有身份

我记得在侏罗纪时代的某个时候，我第一次建立网络（如果必须询问，则是Novell Netware 3.11），它只有一个服务器。 当然，该服务器受到了很多尊重。 它连接了一台打印机，有个名字，只有我能碰它。 一台服务器来统治所有客户端。 继续前进，我有服务器场，因此只是一个随机名称列表就成为一个问题，因此我们开始使用诸如神，单一麦芽（“您可以重新启动Macallan吗”）之类的主题。无论如何，这一切都很好而且很花哨，如果您从一个（可能是）大数据项目开始，那么您可能会想做类似的事情。 如果您很受诱惑–那就不要。 当您拥有数十台服务器时（当您拥有数百台或数千台服务器时，自然甚至更糟），您不再关心单个服务器。 您想将世界视为服务器类型的池。 您在hadoop集群中有一个数据节点池，一个应用程序服务器池，一个运行配置x的服务器池以及另一个配置y的服务器池。 您需要使用abiquo和/或Chef和/或ansible或类似产品之类的工具来管理这种混乱情况。 但是再说一遍，您不必太在意XYZ2011服务器，即使它今天在运行tomcat，明天也可以使其成为cassandra群集的一部分。 重要的是资源池中的角色，池的大小足以应付所需的容量。

Map / Reduce是灵丹妙药

Hadoop似乎是大型集群的VHS。 它可能不是最终的解决方案，但似乎确实是最受关注的解决方案–许多旧的供应商（例如IBM，Microsoft，Oracle等）和新的供应商（Hortonworks，Cloudera，Pivotal等）都提供了Hadoop。发行版和许多其他解决方案都提供了Hadoop适配器（Mongodb，Casandra，Vertica等）和Hadoop，而hadoop则是关于分布式文件系统的，而且是关于map / reduce的。 Google于2004年推出的 Map / Reduce是一种高效的算法，可以遍历大型分布式数据集而无需移动数据（地图），然后生成结果的汇总或合并（reduce）。 Map / Reduce很棒，它是适用于大量问题的非常有用的范例。 但是，它不是工具集中的唯一工具，因为当需要对数据进行多次迭代（例如，grpah处理）时，或者当您必须对数据进行多次增量更新而不必这样做时，map / reduce效率不高。无需触摸所有内容。 另外还有的临时报告的事（我可能会在博客分开）谷歌在解决了这些预凝胶 ， 过滤器和的Dremel在2009/2010现在世界其他地区正在播放追赶，因为它与地图做/减少几年前–但是即使解决方案还不成熟，您也应该记住它们即将到来

实例是免费的； 实例具有身份； 而map / reduce是灵丹妙药-这些是我在讨论大型集群时建议添加的分布式计算谬论。 我很高兴听到您的想法和/或想念我想念的其他事情

参考： Cirrus Minor博客上来自我们JCG合作伙伴 Arnon Rotem-Gal-Oz 的大规模分布式计算的谬误 。

翻译自: https://www.javacodegeeks.com/2013/05/fallacies-of-massively-distributed-computing.html

逻辑谬误