主成分分析中心化和标准化_复杂世界的去中心化分析

主成分分析中心化和标准化

2015年，斯坦·麦克里斯特（Stan McChrystal）将军出版了《 团队团队：复杂世界的新参与规则》 。 这是他适应世界的经验的顶点，而变化的速度比他负责领导的组织要快。 当他在2003年担任联合特种作战特遣部队司令时，他意识到他们的典型沟通方式正在失败。 敌人是一个分散的网络，可以快速移动，因此，他的组织的传统优势（设备，培训等）都没有关系。

他认为有必要将其部队重组为网络，将透明的沟通与权力下放的决策权相结合。 换句话说，应该尽可能快地在最低级别上做出决策，然后只有在那时，数据才应该流回到集中点。 随着组织变得更扁平，更灵活，信息孤岛被拆除，数据流动更快。

McChrystal注意到世界正在以前所未有的速度变化，因此意识到端点是最有价值的，也是大多数决策应该发生的地方。 这提示了问题：

如果您可以将小型团队的适应性，敏捷性和凝聚力与大型组织的力量和资源相结合，该怎么办？

当我与世界各地的组织合作时，我发现与麦克莱斯特将军观察到的问题类似的问题：
数据和信息被锁定在一个过时的集中模型中 。 其影响是，大多数组织的专业人员在需要时就没有所需的数据来做出最佳决策。 更糟糕的是，当今围绕大数据的大多数投资都没有解决这个问题，因为它们主要集中在降低存储成本或只是增加传统方法的数据管理上。 企业没有足够快地沿着大数据成熟度曲线移动：

尽管在大多数情况下它不是生死攸关的事情，但组织中的信息危机已达到顶峰。 公司还没有分散的分析方法来补充其集中式架构。 到现在为止 。

今天，我们宣布Quarks 。 一个开源的，轻量级的，嵌入式流分析运行时，专为边缘分析而设计。 它可以嵌入在设备，网关或实际上的任何位置，以在边缘本地分析事件。 有史以来第一次，分析将真正实现去中心化。 这将缩短获取见解的时间，同时仅通过将相关事件发送回集中位置来降低通信成本。 McChrystal将军为使复杂的现场业务现代化而做的事情 ， 我们正在为企业中的分析做 。

尽管许多人认为物联网（IoT）可能被夸大了，但我会提出相反的看法； 我们才刚刚开始意识到完全连接的世界的巨大潜力。 一些数据点：

1. 物联网将在2019年为全球经济增加1.7万亿美元的价值。（来源：Business Insider）
2. 到2020年，全球连接的设备将从130亿增长到290亿。（来源：IDC）
3. 82％的企业决策者表示，物联网对他们的企业具有战略意义。 （来源：IDC）
4. 虽然每天生成EB级的IoT数据，但其中88％的数据未使用。 （来源：IBM Research）

尽管有这个明显的机会，但大多数企业仍受到与传输数据进行集中分析相关的成本和时间滞后的限制。 更为复杂的是，来自物联网设备的数据流非常复杂，并且几乎没有重用分析程序的能力。 最后，从事物联网的开发人员中有52％担心现有工具无法满足他们的需求（来源：Evans Data Corporation）。 输入开放式源代码的值。

Quarks是用于边缘分析的编程模型和运行时。 它包括一个编程SDK，一个轻量级的和可嵌入的运行时，并且是开源的（ 孵化提案 ），可在GitHub上获得 。

这为数据工程师提供了他们想要的东西：

• 轻松访问物联网数据流
• 静态数据与IoT数据流集成
• 策划的物联网数据流
• 能够为主要利益相关者提供物联网数据流的能力

这为数据开发人员提供了他们想要的东西：

• 通过API访问IoT数据流
• 在IoT数据流上部署机器学习，空间时态和其他深度分析的能力
• 熟悉的编程工具（如Java或Python）可与IoT数据流一起使用
• 分析IoT数据流以构建认知应用程序的能力

从今天开始，从Quarks开始，每个人都可以使用边缘分析。 并且，用例非常广泛。 例如，在2015年，Dimension Data成为环法自行车赛的官方技术合作伙伴，环法自行车赛是世界上最大，最负盛名的自行车比赛。

为了支持他们的目标，即革命性地改变全球数十亿自行车迷的观看体验，Dimension Data利用IBM Streams在21天的自行车骑行中每秒分析了200多名骑手的数千个数据点。

在网络边缘（基本上在每辆自行车上）将夸克嵌入连接的设备中的潜力将实现一种新型的去中心化分析：实时检测关键事件的发生（例如，重大车祸），而不是不必仅从位置和速度数据推断这些事件。 借助在端点处分析数据的功能，该数据流可以与Kafka等集成，然后直接移入Hadoop进行存储或移动到Spark进行分析。 这将以前所未有的速度推动企业中的分析。

我们生活在一个日益复杂和快速的世界中。 正如McChrystal将军所述，仅依靠集中式体系结构进行决策和信息流的组织将会失败。 在IBM，我们很自豪能够领导分析的去中心化，对集中式架构的补充，以此作为认知计算的基础。

翻译自: https://www.javacodegeeks.com/2016/02/decentralized-analytics-complex-world.html

主成分分析中心化和标准化