揭秘 | 百万并发直播网站龙珠的性能秘籍

客户背景：

龙珠直播是由苏州游视网络科技有限公司打造的游戏直播平台，于2015年2月1日正式上线，主要为游戏玩家提供网游视频直播和音乐直播等服务。目前龙珠直播与韩国职业电子竞技协会（KeSPA）、游戏风云、NICETV等组织达成战略合作，拥有《英雄联盟》职业联赛（LPL）、《穿越火线》电视职业联赛（CFPL）等超过30余款游戏顶级赛事的直播权。
需求分析：
龙珠直播的现有业务主要依托于其网站平台和视频内容分发平台，其中网站平台承载了在线直播的各种关键业务功能，每天的用户访问量超过1亿次，夜晚高峰时段的直播观看人数达到数百万量级，英雄联盟、穿越火线等热门游戏直播间的日访问量超过600万次。而一些热门赛事直播的同时观看人数同样高达百万，在前不久的LOL龙珠直播狂欢夜上，龙珠直播平台同时在线人数突破313万。

龙珠Web应用系统架构图

龙珠官网的应用架构采用典型互联网应用架构，前端使用Nginx负载均衡，应用程序服务器为IIS，数据库为MySQL，中间加入Redis、Mongo做的缓存服务，应用支撑的平台包括PHP、Java和.Net，每个应用平均日访问量超过200万次，最高的应用日访问量超过1000万次。
如何保证龙珠直播平台在大流量、高并发情况下持续稳定运行，确保系统不会因网络、主机、应用、数据库性能瓶颈以及代码问题，对用户体验造成影响，是龙珠的IT运维部门希望通过与云智慧的合作得到解决的。
解决方案：
针对龙珠平台的典型架构和业务需求，云智慧提供了以透视宝为核心的一体化端到端应用性能管理解决方案，帮助龙珠实现了线上生产环境的持续数据库优化、应用错误分析、代码问题发现、数据访问性能监控、主机监控、后端服务监控等一系列能力。

典型应用
        数据库性能优化
应用开发完成上线后，需要知道应用的数据库访问效率如何（即发现SQL脚本的效率问题），透视宝.Net Agent 安装后可实时抓取应用执行过的SQL脚本及执行时间，并分析可能产生的问题和数据库锁的情况，这些问题在测试阶段是很难完成的；
        应用错误分析
对于线上应用，代码级异常往往不可避免且较难重现，但非常重要，透视宝.Net Agent会抓取这些运行时错误，分析错误产生的原因并可明确的告知用户的信息有：什么时间、哪个URL、URL的参数及详细的错误信息，用户可根据这些信息便可了解问题产生的真实场景和原因。
        代码问题发现
应用上线后可能会存在代码执行效率问题，这些问题如果不通过代码检查往往很被发现，透视宝.Net Agent支持基于黑白名单配置的代码调用堆栈数据抓取，在代码栈里，可以明确的看到每个方法的执行时间、调用次数、调用了哪些资源或API等，并明确的标记出存在问题的代码位置，帮助用户优化代码，解决代码执行问题。
        数据访问性能监控
在龙珠的应用架构中，基于NoSQL的数据操作场景大量存在，例如：Redis、Mongo，.Net Agent会从代码级别统计应用对这些缓存服务的访问情况，例如：应用对Redis的请求量是多大、命中率是多少、Value的大小是多少及合理性分析等，这些数据对客户优化应用性能非常有价值；
        主机监控
监控龙珠部署在腾讯云的主机状态，实时关注各项性能指标：CPU、内存、进程、磁盘、网卡信息及TCP等；
        后端服务监控
监控MySQL、Nginx、Redis等后端服务的运行状态，例如：MySQL吞吐率、Redis命中率等；
方案价值：
随着透视宝应用性能管理解决方案在龙珠平台的全面部署，龙珠的运维团队通过透视宝能够：
        实时发现性能瓶颈，并且能够记录瓶颈产生的全部过程；
        及时发现用户的应用表现情况，记录用户应用过程中事务的现状。例如：哪些事务响应时间比较慢、响应比较慢的事务和 哪些事务有关联。
        真正实现端到端一体化的监控，从客户端、浏览器、CODE端、数据库端、服务器端，端与端之间实现关联。
客户证言：
龙珠直播运维总监对透视宝的评价是：透视宝具备快速发现和定位问题的能力，为龙珠直播向用户提供高质量的持续服务提供了保障。
 
【附】龙珠案例应用实例：
（一）、发现性能瓶颈，确保应用顺利上线；
龙珠直播内容搜索API应用上线后，服务器持续报警，负载较高，但开发人员一直无法定位问题，对线上产品的持续服务能力产生较大影响。
在安装透视宝后，立即发现如下几个问题：
（1）、慢SQL：通过抓取到的SQL语句发现，应用中存在很多执行效率较差的脚本，有的脚本执行时间甚至达到1秒以上；
（2）、代码问题：通过应用代码栈发现，同一条SQL在一次请求里被连续调用4次，这种代码失误，对于高并发的应用影响较大；
（3）、Redis访问优化：通过分析请求列表及数据发现，一些本应该到Redis的请求直接打到了数据库上，如果访问量足够，会直接导致数据库宕掉；

（二）、监控应用访问异常，优化应用访问体验
在应用监控过程中，有的应用会存在大量的404错误（这些错误会被Agent抓取并保存），这些的应用404错误地址的格式表现为http://********/undefine，这种地址的产生的原因是：JS在获取页面对象并进行Ajax请求时获取页面对象错误，从而导致地址错误，需要优化前脚本，提升用户访问体验；

（三）、数据库性能优化
透视宝提供数据库整体性能优化与分析功能，快速定位慢SQL，提升应用访问数据库的性能。

（四）请求性能优化
透视宝提供请求整体性能优化与分析功能，快速定位慢请求，提升应用的性能。