22、数据团队管理与硬件配置及风险应对

数据团队管理与硬件配置及风险应对

人员技能差距评估

在进行技能差距评估时，管理者需要思考差距是技能层面还是能力层面的。若某人最终无法掌握某项技能，管理团队就需做出其他安排，比如招聘新人来补充其不足，或者在组织内为其找到更能发挥才能的岗位。

硬件变革

部分组织变革围绕硬件展开。分布式系统带来了新的硬件需求，这些需求在速度、大小和价格方面，可能与组织之前处理小数据时所用的硬件有所不同。

云服务的使用

若条件允许，建议使用云服务。这样，在概念验证（POC）开始前，硬件采购就不会成为阻碍。一些流行的分布式系统技术已作为托管服务提供，这些托管服务使团队无需学习如何安装和启动分布式系统，可直接开始系统编程。

云服务能让团队按需启动和关闭资源，使团队在开发和测试系统时能精细控制成本。若团队不小心搞砸或破坏了系统，也能轻松重启集群。团队还可在不使用集群时（如夜间或周末）将其关闭，以控制成本。

购买集群

若组织选择将集群部署在本地，就需购买硬件。由于更高的冗余要求，这些硬件可能比小数据服务器更昂贵。更高的冗余可能包括冗余电源，但主要差异在于存储和网络方面。

在分布式系统中，数据会完整地存储在多台计算机上，存储次数从 1.5 次到 3 次不等。所有这些冗余数据会通过网络在计算机之间传输，在读取数据进行处理时，数据还会再次通过网络传输。

部分组织期望或要求所有本地基础设施使用虚拟化技术。虚拟化和裸金属部署各有优劣，主要体现在操作便捷性方面。在我看来，选择本地部署而非云部署的主要原因，是可以在虚拟化部署和裸金属部署之间做出选择。一些分布式系统可能会利用裸