QClub北京:腾讯云图沙龙之海量数据下的关键因子选取等

3月29日下午,《第70期QClub:腾讯云图沙龙之腾讯游戏云关键技术剖析》在北京车库咖啡举行。此次活动试图深入刨析将游戏云背后的关键技术,当然游戏云背后有大量的技术积累做支撑,远非几个小时的分享交流就能剖析清楚。未来几个月,QClub还将与腾讯陆续举办腾讯云图沙龙,进一步解读腾讯云背后的关键技术,欢迎关注腾讯云技术专区

\

3月29日活动当天选定了三个技术方向,腾讯云派出了孙小滨、李浩和李杰三位工程师分别就《海量数据下的关键因子选取》、《高可靠的移动推送服务》、《移动场景下的动态数据加速》话题进行了分享,来自小米、百度、腾讯、奇虎360、中科院计算所等120余名听众参与了活动。

\

在Q/A和OpenSpace环节,大约一个多小时的过程中,孙小滨、李浩和李杰三位工程师回答了听众许多问题。

\

72f1e3327684ed3a344b715ca5de6b1f.jpg

\

本次活动的PPT和视频近期将在InfoQ网站上发布。

\

分享一:《高可靠的移动推送服务》——腾讯云高级工程师 李浩

\李浩重点介绍了腾讯信鸽推送服务的架构及在保证服务的可用性、数据持久性方面的实现方式。同时,还介绍了链接策略和省电、省流量的具体方法。

\

1310ac8b640c491fc741c42e08d9c6c3.png

\
连接策略
\

多端口、双协议支持·应对移动网关代理的端口限制(80 8080 443 14000)

\
  • 支持TCP、HTTP两种协议\

终端跑马、IP直连·根据备选IP列表进行并发测速(IP+端口+协议)

\
  • 后端根据终端连接情况,定时更新终端的备选IP列表\
  • 终端在连接空闲时上报测速数据,便于后端决策\

后台重定向

\

应对终端转换地域但未及时跑马等情况,后台引导至最优接入点

\
  • 安全保证·通道安全、SDK反加壳、频率打击\
\

分享二:《海量数据下的关键因子选取》——腾讯云高级工程师 孙小滨

\

孙小滨首先介绍了Data Plus多维数据实时分析平台的特点:

\
  • 抽象为指标池、维度池,可以支持海量报表(抽几个指标和维度做组合查询)\
  • 支持自定义指标和维度,方便用户自定义高级数据模型\
  • 强大的ETL能力,支持多路的数据输入(TDW(复杂模型的T+1离线分析)、DCAgent、DataProxy(准实时分析)等)\
  • 平行扩展,能够支持海量的指标和维度\
  • 查询速度快,绝大多数请求可以1s内返回,即使对于非常复杂的查询,也能在15s内返回\
  • 动态调整数据的层次结构,固化部分View,整体运算代价小,存储消耗小。\

接下来孙小滨介绍了Rollup与Lattice,以及包含了查询层、计算流层、计算层、存储层的整体架构和流程。

\

分享三:《移动场景下的动态数据加速》——腾讯云高级工程师 李杰

\

李杰介绍了腾讯云在基础设施方面,尤其是网络、数据存储的优势:

\
  • 源站:开发商部署在腾讯云机房的云主机服务;\
  • 测速服务器:跟源站同网络环境,用来做路由测速;\
  • 就近接入集群:两百多个遍布全国的就近接入机房;\
  • 加速接入名字服务:根据请求域名,解析提供同省、同网的就近接入点;\
  • 业务数据分析:MTA系统;\
  • 监控统计:加速对比直接实时数据展现(全国地图+时间曲线);\

79bb942bf836a8dc9d46e28cada2dbd4.png

\

接下来李杰介绍了SDK、ANS和OC的架构和策略。

\

自由讨论

\

三个分享结束后,是茶歇和OpenSpace。OpenSpace是供参会者和讲师充分沟通的环节,不过在现场从茶歇开始,三位讲师就没有获得休息的机会,一直被参会者包围直到活动结束。许多参会者在微博上发表了评论: 

\
歆无所恋:#Qclub腾讯云图沙龙#比较感兴趣的是推荐及营收的交叉和级联分析,多源加速。 
泊舟人:#QClub腾讯云图沙龙#腾讯信鸽服务省电、省流量,是应为优化了处理逻辑...慢心跳
守住每一天:#QClub腾讯云图沙龙# 大数据。进行Topview多维度,多指标,自定义,实时的分析,会对数据进行校对后提供给客户。数据架构的模型都相同,处理大数据的一个点就是:从已有结果集,再次计算。最关注的纬度为,年龄,手机,地域。 I'm at #车库咖啡#
李-庆芳:#QClub腾讯云图沙龙#能分享下当前信鸽单机服务器多少内存可以支持多少长链接,在实际上又做了哪些内存方便的优化?在群发时如何处理瞬间高峰导致的系统波动?
__王秋实:#QClub腾讯云图沙龙#移动app的服务端设计,运维,除了要关注传统pc服务后端的问题,还要考虑省电,网络不稳定情况下的链接等问题,另外手机上也更容易追踪用户行为。
\

4388d23dda28f4c38fc7ea346ebfd5ca.jpg

\

关于本次活动的PPT和视频近期将在InfoQ网站上发布,本次活动的更多图片在这里。未来几个月,QClub还会与腾讯联合组织腾讯云图沙龙,欢迎关注。如果您希望在腾讯云图沙龙上讨论一些技术话题或其他建议,请通过@QClub中国告诉我们,下期再见。

\

【下期活动预告】7月5日,InfoQ将在上海IC咖啡举行QClub技术沙龙——腾讯游戏云关键技术剖析,腾讯云工程师将带来“腾讯云移动加速-云端加速梦想”、“腾讯云应用加固 - 抗盗版神器”以及“信鸽 - 高可靠的移动推送服务”三场分享。免费报名

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值