python大数据分析游戏行业中的 Apache Kafka：用例 + 架构！

python大数据分析游戏行业中的 Apache Kafka：用例 + 架构！

这篇博文探讨了使用 Apache Kafka 的事件流如何提供可扩展、可靠且高效的基础设施，让游戏玩家开心并让游戏公司取得成功。讨论了游戏行业中的各种用例和架构，包括在线和移动游戏、博彩、赌博和视频流。

学习关于：

• 游戏遥测的实时分析和数据关联
• 实时广告和应用内购买的货币化网络
• 投注支付引擎
• 检测财务欺诈和欺诈
• 游戏和跨游戏中的聊天功能
• 监控实时操作的结果，例如周末活动或限时优惠
• 对营销活动的元数据和聊天数据进行实时分析

博彩业的演变

游戏行业必须每天实时处理数十亿个事件，并确保跨游戏交互和后端分析进行一致可靠的数据处理和关联。部署必须在全球范围内运行，并为数百万用户一年 365 天 24/7 工作。

这些要求适用于硬核游戏和大片，包括大型多人在线角色扮演游戏 (MMORPG)、第一人称射击游戏和多人在线战斗竞技场 (MOBA)，以及中核和休闲游戏。与智能手机和游戏机等消费设备的可靠且可扩展的实时集成与与 Twitch 等在线流媒体服务和博彩提供商合作一样重要。

博彩业的商业模式

游戏不再只是游戏。尽管如此，即使在游戏行业，玩游戏的选择也是多种多样的，从游戏机和 PC 到手机游戏、赌场游戏、在线游戏和各种其他选择。除了游戏之外，人们还通过专业电子竞技、$$$ 锦标赛、实时视频流和实时投注进行参与。 

这是一个疯狂的进化，不是吗？以下是当今与游戏行业相关的一些商业模式：

• 硬件销售
• 游戏销售
• 免费游戏和游戏内购买，例如皮肤或冠军
• 赌博（战利品箱）
• 游戏即服务（订阅）
• 季节性游戏内购买，例如主题活动的通行证、季中邀请赛和世界锦标赛、竞技比赛的通行证
• 游戏基础设施即服务
• 商品销售
• 社区包括电子竞技转播、门票销售、特许经营费
• 滚球投注
• 视频流，包括广告、奖励等。

游戏中人工智能的演变

人工智能（业务规则、统计模型、机器学习、深度学习）对于游戏中的许多用例至关重要。这些用例包括：

• 游戏内 AI：不可玩角色 (NPC)、环境、功能
• 欺诈检测：作弊、金融欺诈、虐待儿童
• 游戏分析：保留、游戏变化（实时交付或通过下一个补丁/更新）
• 研究：寻找新算法，改进人工智能，适应业务问题

在下文中，我探索的许多用例都将 AI 与事件流和 Kafka 结合使用。

使用 Apache Kafka 进行事件流的混合游戏架构

对构建开放、灵活、可扩展的平台和实时处理的巨大需求是众多游戏相关项目使用 Apache Kafka 的原因。我不会在这里讨论 Kafka 并且假设您知道为什么 Kafka 成为事件流的事实上的标准。

更有趣的是我在野外看到的不同部署和架构。游戏行业的基础设施通常是全球性的——有时仅限云，有时与本地本地安装混合。投注通常是区域性的（主要是因为法律和合规性原因）。 游戏通常是全球性的。如果一款游戏非常出色，它就会在全球范围内部署和推广。

现在让我们来看看游戏行业中的几个不同用例和架构。这些示例中的大多数都与所有与游戏相关的用例相关，包括游戏、移动、博彩、赌博和视频流。

基础设施运营：实时监控和故障排除

监控实时操作的结果对于每个关键任务基础设施都是必不可少的。用例包括：

• 游戏客户端、游戏服