InfoQ —— 腾讯游戏大数据服务场景与应用

最新推荐文章于 2024-09-15 01:19:00 发布
最新推荐文章于 2024-09-15 01:19:00 发布
阅读量123 收藏
点赞数
文章标签： 大数据 网络

简介

周东祥，本人从2010年毕业进入腾讯互动娱乐部门工作，一直致力在腾讯游戏运营开发工作。先后负责SAP业务受理系统，盗号自助系统，元数据系统以及近2年在腾讯游戏大数据运营开发中积累大量的大数据开发与应用经验。

介绍

449064-20160222231349067-614190933.png

数据采集使用TGlog:

  • 耦合度低，标准接口，介入成本低
  • 统一化协议

游戏数据的特点：

  • 数据结构依赖于游戏内让那个
  • 元数据维度多，变化快
  • UDP接入成本低
  • 异构带来挑战

针对大量游戏的日志分析，可以做出如下的分析：

  • 实时计算：强调实时性
  • 适时计算：强调随意性，时间区间等可能是任意的值
  • 在线计算：.....分不清啊，分不清啊...好像是在线直接计算出大量的指标，爱用啥用啥？是这个意思？

449064-20160222231945348-1426885037.png

数据计算架构

449064-20160222231757692-648919171.png

参考

Infoq视频——腾讯游戏大数据服务场景与应用

weixin_33754913
关注
【AI大数据人工智能原理与应用实践】Flink Batch SQL中Backpressured原理与应用
程序员光剑
06-28 281
随着大数据技术的发展,越来越多的公司开始使用Flink等流计算引擎来处理海量数据。而在Flink的Batch SQL任务中,经常会遇到Backpressured的问题,导致任务运行缓慢甚至失败。因此,深入理解Backpressured的原理,并能够在实践中加以应用,对于保证Flink Batch SQL任务的稳定性和效率至关重要。
腾讯互娱公开课：游戏数据分析详细操作解读
08-14
今天为什么还要来讲数据，并不是想告诉大家大数据是什么，或者大数据应该怎么去用，而是要告诉大家腾讯互娱是怎么来应用这个数据的。如果关注一下我们腾讯过往的信息和资料，会发现其实腾讯很少在公共场合去讲大数据。因为腾讯不是没有数据，而是数据太多了，而且腾讯自己也不一定知道大数据是怎么一回事。所以我们更多的反而是关注怎么去运用数据，这才是数据应该具有的价值，以及希望这堂课能够带给同学们的直观的感受。
Clickhouse离线安装包
08-07
解压后有3个文件，分别考到Ubuntu下安装。内容格式为*.deb
GIAC | 大数据分析系统在游戏领域的迭代与实践
腾讯技术工程
07-17 672
导语：6月23日，腾讯游戏数据分析系统负责人周东祥在"GIAC全球互联网架构大会"的分享了主题为《大数据分析系统在游戏领域的迭代与实践》的内容，具体的分享视频和PP...
扛住100亿次请求 如何做一个“有把握”的春晚红包系统？
MeiGe在路上。。。
01-11 1206
扛住100亿次请求 如何做一个“有把握”的春晚红包系统？ 羊年春晚摇一摇活动已经落下帷幕，现在回过头来看看这一全民参与的有趣的活动背后，有着怎样的后台系统？这个系统又是如何被设计与实现出来的？ 作者：张文瑞 iotazhang  腾讯 WXG 技术架构部 1.   春晚摇一摇活动形式 在了解这个系统之前，先看看羊年春晚有哪些活动形式？春晚摇一摇复用了摇一摇入口，但提
DNSPod十问魏雪：云游戏的野心有多大？
DNSPod
04-29 2208
魏雪，腾讯START云游戏技术负责人，腾讯专家工程师，负责云游戏整体架构、云游服务器虚拟化、资源调度、游戏开发者接入以及运维架构等。2018年下加入START云游戏项目，经历从0到1的内部创业过程，打造了面向玩家的STRAT云游戏产品，这是腾讯面向未来的跨终端游戏平台，采用领先的云游戏技术打破系统、硬件、环境等限制，实现各终端数据互通、多场景同步畅玩的游戏体验。吴洪声，人...
腾讯游戏业务竟然是这样利用低代码平台的 | ArchSummit
梁桂钊的博客
03-15 521
点击上方“服务端思维”，选择“设为星标”回复”669“获取独家整理的精选资料集回复”加群“加入全国服务端高端社群「后端圈」作者 | 李忠良出品| InfoQ腾讯游戏业务需要应对大量运营安...
大数据查询——HBase读写设计与实践
01-27
本文来自于InfoQ，这个项目主要解决check和opinion2张历史数据表（历史数据是指当业务发生过程中的完整中间流程和结果数据）的在线查询。本项目主要解决check和opinion2张历史数据表（历史数据是指当业务发生过程中...
腾讯游戏如何使用Docker？
01-30
InfoQ：腾讯游戏是什么时候开始使用Docker的？能介绍下目前的一些应用情况吗？尹烨：我们是从2014年6月份开始接触Docker，那时Docker在国内才刚刚开始兴起，了解的人还很少。Docker让容器的管理变得非常简单，再加上...
flink增量检查点启动恢复的时间是很久的，业务上不能接受，怎么处理
goTsHgo的博客
09-11 917
针对增量检查点恢复时间长的问题，可以从多个方面进行优化，包括合并检查点、提升存储性能、优化 RocksDB 配置、并行化恢复过程等。同时，也可以考虑替代方案，如多活架构、预热恢复、降低状态依赖和改进状态管理策略。此外，在业务层面上，适当调整业务容忍度和提高用户透明度也是有效的应对措施。通过综合应用这些策略，可以有效地降低恢复时间并提高业务的连续性和可靠性。
Elasticsearch7.x 集群迁移文档
happy_king_zi的博客
09-11 1010
同时检查当前运行集群状态是否为green。如果出现异常，可以配置discovery.zen.ping.unicast.hosts: [“10.200.112.149”, “10.200.112.151”,“10.200.112.153”,“172.31.2.84”, “172.31.0.147”,“172.31.0.94”]，恢复当前关闭节点。操作顺序操作动作1。
【RabbitMQ】工作模式
weixin_73060900的博客
09-11 1025
对RabbitMQ工作模式的简单概述以及代码案例
消息中间件有哪些常见类型
最新发布
weixin_57763462的博客
09-15 413
需要注意的是，这些类型并不是严格互斥的，有些消息中间件可能支持多种消息传递模式或结合了多种类型的特点。在这种模型中，消息被发送到特定的队列中，消费者从队列中取出并处理消息。在发布/订阅模型中，消息被发布到特定的主题（Topic）上，所有订阅了该主题的消费者都可以接收到这个消息。消息代理是一种更通用的概念，它涵盖了上述的点对点和发布/订阅模型，以及可能的其他消息传递模式。消息代理作为消息的存储和转发中心，负责消息的路由、过滤、持久化等功能。这类消息系统使用日志结构来存储消息，提供了极高的吞吐量和可扩展性。
从AI到大数据，数字技术服务平台全栈赋能企业升级
smjt2024的博客
09-11 588
海量的数据中蕴含着丰富的信息和价值，数字技术服务平台能够收集、整理和分析这些数据，为企业提供精准的市场洞察和决策支持。企业可以通过参加树莓集团举办的培训课程和研讨会，了解最新的数字技术趋势和应用案例，提升自身的数字技术水平。从技术咨询、解决方案设计到系统实施和运维，数字技术服务平台为企业提供一站式的服务，让企业无需担心技术难题，专注于自身的核心业务。树莓集团的数字技术服务平台，以其先进的技术、专业的服务和丰富的经验，为企业提供了全栈赋能。在数字时代，让我们共同利用数字技术服务平台，开启企业升级的新篇章。
大数据-132 - Flink SQL 基本介绍 与 HelloWorld案例
永远好奇，无限进步！
09-12 2237
Flink SQL 是 Apache Flink 提供的一种高层次的查询语言接口，它基于 SQL 标准，为开发者提供了处理流式数据和批处理数据的能力。Flink SQL 允许用户使用标准 SQL 查询语言在数据流和数据表上执行复杂的操作，适用于多种应用场景，如实时分析、数据流处理、机器学习等。Flink SQL 的一大特点是流处理和批处理的统一性。通过同一套 SQL 语法，用户可以同时处理静态数据（批处理）和动态数据（流处理）。这使得应用程序的开发更加简化，因为可以用相同的逻辑编写实时流数据处理和历史数据的
【大数据】探索怎么从一段话中解析关键信息（寄件人相关信息）
一个不断前行的程序者
09-12 551
通过使用Spacy的NLP功能，我们成功实现了从文本中提取姓名、地址和电话号码的功能。需要注意的是，这个简单的示例可能在处理复杂文本时效果不佳，实际应用中可能需要进一步的优化和训练。此外，对于电话号码的识别，我们简单地使用了数字长度作为判断依据，这并不准确。在实际应用中，我们可以使用正则表达式来更准确地识别电话号码。希望这个博客能够帮助你了解如何使用NLP技术实现文本信息解析功能。如果有任何疑问，欢迎在评论区留言讨论！
测试-Testcontainers
Flying_Fish_roe的博客
09-12 596
Testcontainers 允许你通过自定义 Docker 容器，适用于不在官方支持列表中的服务或应用。// 获取 Redis 的地址和端口 String address = redis . getHost();} } }// 获取 Redis 的地址和端口 String address = redis . getHost();} } }// 获取 Redis 的地址和端口 String address = redis . getHost();} } }
保持好学之心——InfoQ架构师杂志探索学习与创新
文章还提醒读者，学习新技术、新方法时，应深入理解其特性和应用场景，具备快速学习和准确掌握的能力。保持"初学者心态"，即不带预判、评判和偏见地去探索和学习，是保持开放和进步的关键。相反，拥有"专家心态"，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值