上周一,来自武汉的直播平台斗鱼TV宣布C轮融资,腾讯领投的 15 亿人民币,距其获得 B 轮1亿美元不到半年,也是大写的牛逼。
但小寻更关心他们的大数据架构,作为一个在 2 年多时间里崛起的公司,其流量经历了从 0 到 PB 级别的飞跃。
刚好今年 3月,斗鱼的大数据团队负责人参加过简寻主办的首届武汉开发者峰会,分享了一些经验和坑,结合一些资料,小寻整理了这个帖子,供有志于大数据的同学参考和借鉴。
![](https://i-blog.csdnimg.cn/blog_migrate/3d5250eb40d3a972bc97a62980451248.webp?x-image-process=image/format,png)
关于吴瑞诚:2014年加入斗鱼,成为斗鱼大数据团队第一人,经历了斗鱼的用户从 十万级别大千万级别的飞跃,并从0 搭建了斗鱼的大数据实时计算平台。入职斗鱼前,我吴瑞诚在淘宝干过三年,主要做HBase。
![](https://i-blog.csdnimg.cn/blog_migrate/b57215afa9334f6fd7eec04f143c8194.webp?x-image-process=image/format,png)
这是斗鱼非常典型的直播间,55开,游戏打得好,牛吹得好,在斗鱼比较好,大家看到密密麻麻的字,就是弹幕,视频直播最火的场景,弹幕。很火的时候,上面会有礼物,用户给主播赠送火箭,鲨鱼骑着火箭的礼物飘过,这个火箭价值还挺高。
右下角这些图标是礼物,用户赠送给主播的礼物,鱼翅可以充值购买,鱼丸赠送,右边是土豪的贡献排行榜,贡献越多排名越高,右边是弹幕区。内容和形态就是这样,但是现在很火,有时候我们没办法预料现象级现象。
主要分享内容
第一,日志检索,日志全局检索。后面会展开,这个地方主要是以NginxPHP日志做事例。
第二,实时CEP系统,类KV的处理系统。
第三,实时流计算,流计算。 strong text
一、日志检索
![](https://i-blog.csdnimg.cn/blog_migrate/3b4691e461fd0b086292035f93e9700e.webp?x-image-process=image/format,png)
这是一个现在的大数据的架构图,这个图最近才整理出来,越整就觉得体会越深,这个图里面看一下红红绿绿有一些方块,看PPT看得多的同学,可能司空见惯了,大数据架构图到最后可能都是这个样子,但是图上的每一个块都是踩过无数个坑,付出了血的教训才成为现在这样。
我加入斗鱼,当时是一个人负责整个这一大块的东西,后来就是因为网站量上来了,个人吞吐量到了上限,招了第一批人。我第一批是组内培养的,会有一些java开发,生拉硬拽凑到大数据团队,从最开始的小系统越做越大,做到现在这个架构。
最下面一层是数据源一层,Nginx、PHP日志,公司技术栈比较多,处理起来会越来越蛋疼,现在统一接入层是是Kafka,现在还没有完全接入。
上面一层就是数据清洗和格式转换包括初步的结算。
再上面一层就包括依赖MySQL实现的归档数据,最大一块是离线计算基于Hadoop,YARN。去年上线Spark,现在应用的范围还比较小,主要还是在风控和个性推荐这一块。
另外实时计算是Hbase,是之前经验比较熟悉,Hbase大家觉得有很多替代的产品,我觉得Hbase在第一层兜住海量热数据,我觉得Hbase的优势还是非常明显的。所以我这一块一直会保持Hbase在这个地方使用,在快速查询,可以相对于自助查询走的presto。
右侧实时计算主要基于Storm,今年大目标把spark作为重点引入。对于新框架的考量,小公司二次的开发能力或者定制能力弱一些,我们现在主要应用短平快的一些方式,比如,主流的有一些大公司BAT、京东、美团把坑踩完了我们再上,这样我们成本会小很多,我们会跟进spark,spark社区活跃得让人没办法忽视它,它现在活跃程度比Hadoop强一个量级。
最右边是Elastic,最开始引入的时候只是做一个搜索引擎,后来越用越觉得爽,真的是一个神器,后面会具体展开。
再就是上面的服务数据层,前端网站和服务层使用,再就是Dashboard,监控、个性推荐、用户行为分析、风控系统、搜索引擎、其它数据应用。
平台监控非常重要。
![](https://i-blog.csdnimg.cn/blog_migrate/bb0f05634b458a598ff4c33e91f76e53.webp?x-image-process=image/format,png)
这是Lambda架构,这三层架构,P处理层,再是上面的加速层到服务层,这三层架构,应该可以覆盖绝大多数的大数据团队架构的场景。
实时日志检索
从前:grep + awk
演进:rsync + Hive UDF
现在:ELK
我们最开始,只有几个PHP实例,出了问题,我就上去grep、awk,然后规模上来了,机器和应用实例突增,就用rsync和HiveUDF的方式,把日志收集起来,按照时间粒度切碎了拖过来,然后用Hive进行一些匹配,形成这么一个非常初级的系统。
到了现在,ELK,用的很爽的系统,能支持的量很大,可扩展,全文检索,很多时候包括技术团队定位问题非常方便,有这几个特性能满足基本使用。如果再能够帮他们做一些告警,包括量的告警,文本的告警,有更好,这也是我们现在在做的。
![](https://i-blog.csdnimg.cn/blog_migrate/29e1716efbf862314c69dfc1acb27ea7.webp?x-image-process=image/format,png)
这是实时日志检索的架构图,大家可以看到应用场景,当时flume用得最多,应用场景变得比较快,我们的业务调整也非常迅猛,新场景中发现flume有两个场景没办法满足,一个场景是C++场景,它的量太大,他们的日志按实例文件夹写本地;一个是,Java太耗资源,包括CPU、包括内存,后来我们觉得这一块要做一些改变。
最开始的方案,因为我们有C++的团队做服务化,他们觉得我们可以自己造轮子,这个轮子比较简单,后来我做了一圈对比,发现Logstash新版本中,有一个Beats组件,是golang实现的。
架构图中间以Elastic技术栈为主,包括中间汇聚层在不久将来会被替换掉,但是现有的一些场景,如果一直稳定的话先保持现状。因为我们在这个阶段它比较稳定。
Flume 的Memory channel在量大的时候会OOM,这个时候把溢出的量落地到disk上面,这样可以在保证效率的同时能增大Flume能承受的吞吐量,这样让flume很稳定,一直沿用到现在。
现在还是用Flume做了汇聚层,我们后续会使用Kafka做汇聚层,有很多场景,有些日志可能回头还要再消费或者说要做Pub-sub,现在模式很难实现,必须要用到Kafka。
日志数据在图的下方走了Elastic,用Kibana做的UI,Kibana 2.0以后使用上会有很多不顺畅,我这一块其实建议大家二次开发,二次开发的成本不大,比较容易上手,所有的接口都可以走API,定制起来方便,图上方是走的Hdfs出报表。
FLUME
选项
Channel
Flume 监控
再说一下踩过的一些坑。
首先Flume的选型。我最开始看中还是因为他是Apache的产品,觉得它稳定,在很多公司PPT里面,我稍微估计一下,flume出现的概率比其它产品出现频率高很多,所以做一些压测做了对比,差不太多,就选了flume,现在要新用或者要换型需要更详细的压测。
channel这一块,最开始内存到disk到现在两个方案混搭在一起,但是占资源特别耗资源。
flume的监控,一定要先考虑监控再上新的技术栈。
ERK
-
ES vs Solr
-
ES 插件:KOPF集群监控:hesd 索引操作;
-
ES 读写分离
-
独立小集群解决慢查询;
-
避免索引过大
-
最热的查询中避免使用 Range 查询;
-
JVM heapsize 设置;
-
CMS vs G1
在Elastic上,我们跟Solr做对比,大家可以看一下纯开源的组建跟有商业团队支撑的开源产品,社区活跃度和产品迭代不是在一个量级上,Elastic现在已经开始注重使用体验了,这一点是Solr还没有纳入考量的点。
因为Elastic除了我们最开始最传统的搜索引擎、文本搜索,现在更大的一块可以当作我们的多维自助查询,水平扩展能力非常强,因为数据结构的天热优势,就有一些场景,包括多维的及时查询这一块有非常强悍的性能。
ES插件上,我们使用了Kopf做监控,head来操作索引。
ES读写分离。ES集群拓扑越来越大,如果按照默认的拓扑来使用的话,可能量上没法满足很多场景,比如,如果读写不做分离,查询极有可能把线上写的节点直接压垮,这样就建议有一个专门的节点来负责读。
对于资源隔离,我们使用了几个小的Elastic的集群来满足各个功能。因为,Elastic是P2P的,无主。无主有一个问题,有时候没有办法很强的控制某些节点行为,这时候要做一些隔离,最见效的方式就是按照小集群直接做隔离。
避免索引过大。这一点大家如果能注意把不必要的字段建到索引能解决大部分。
最热的查询中避免用range查询。
JVM heapsize设置,我们现在一直使用32G,Hbase集群也是这样,尽管集群配置很高,Hbase的配置还是32G。
GC方面,我们使用的是CMS,在线上使用、压测表现看的话,G1稳定性和用户体验看来都会差一些。
二、实时CEP系统
-
从前: Redis
-
演进:HBase
-
现在:TSDB
最开始我们做一个指标统计,大家把数据推到我们这边来做一些统计,然后借助redis做统计并最后把结果数据保存在Redis,简单的统计场景OK了,后来业务场景复杂了,产品线多了,redis单个实例肯定不够,可扩展性和数据规模是redis暂时无法越过的门槛,所以我们又很自然用到了Hbase。
Hbase使用有两大点需要注意:
第一,rowkey的设计,Hbase中除了rowkey没有索引可供使用。
第二,数据压缩,历史数据的压缩很关键。一个指标两个指标做抽样做一些归档很好做,但是怎么做到统一,而且还很简单,我们能直接拿来用,这个时候碰到open TSDB,一个时间序列存储方案。
最开始也用了InfluxDB,感觉有时候只要压力上来了之后,它可以没有征兆挂机,后来干脆就考虑到open TSDB。数据揣拽产生图形,基于OpenTSDB,能满足很大的量。
这个系统中真正性能考验的其实还是Hbase,Hbase OK,opentTSDB也就没有问题,我们会一直把这个方案做下去,基于open TSDB,我们可以很灵活做定制,它本身就是基于Hbase做了定制的特性,包括我刚刚说到对rowkey的设计。
对数据压缩,每一个指标每一个小时会有一个row,open TSDB帮我们做了。后面有定制需求我们从头开始做,这一块是比较简单的,底层Hbase性能是没有问题,越往后看,Hbase有很多地方它会做得越来越通用。因为它的性能这一块显性能没有问题,后面卡顿的问题会有明显的提升。
![](https://i-blog.csdnimg.cn/blog_migrate/f25687007c0a560598831020f130f277.webp?x-image-process=image/format,png)
回到刚刚上面的图这是CEP系统,这个图上面,大家可以看一下。
从数据收集,第一个parser会走到Kafka,从spark走到Hbase,走到这一步就走到了业务系统,包括我们的监控系统,这是有一个业务流程,现在可以简单理解成某些指标大于阈值就觉得它的是一个嫌疑事件,需要告警的,简单理解就是这样,这一块马上引入规则引擎,这一块业务变化频率太快了,发布速度拖了后腿,在已经测试上了。
到后面有一些结果的存储,再有告警的推送,这个地方也是直接走到Hbase。后面有一些统计好的指标可以拿来用的,这个地方我们走到了open TSDB,这个图就没有重新再画,直接从Cloudera Blog上面借用,这个架构图和我们的系统是一模一样的。
-
关于 Open TSDB:
-
周期 IO 波动问题:①禁用 OpenTSDB 的Compation机制;②数据压缩过速度
Open TSDB,业务指标非常灵活,我们现在有一些CPU指标,打出来我们收集起来,各个指标汇集在一起,而且是秒级的力度,这个力度因为指标量大,时间粒度比较细,我们服务机器的服务数越来越大,现在还碰不到瓶颈。
-
关于HBase:
-
Rowkey 设计是关键;
-
不适宜多维度索引、需要事务、稳定性要求极高;
-
关注写热点;
-
writebuffer,WAL,Autoflush;
-
关闭compact/split、手动触发GC
关于Hbase使用。现在用Hbase的公司越来越多,2011年淘宝这一块就已经开始在线上大规模使用,Hbase这一块很稳定,从0.96之后就已经可以说到非常稳定,1.0有一些变化,1.0之后的Hbase是值得大家使用的。
rowkey设计可以写一本书,这里只做简单介绍。Hbase没有索引,所以rowkey非常关键,我们通过rowkey定位到数据,如果通过rowkey能约精确定位到数据,查询效率越高,用这个思路看看业务场景和看看使用,可以做一些相应的优化,做一些提升。
HBase不适宜的场景,包括多维度索引、需要事务、稳定性要求极高。
关注写热点,一般,按照默认的Region Split方案,上线后如果写压力比较大,都会有写热点的问题,这时需要考虑预建region。再就是写压内考虑writebuffer、WAL、autoflush,我写的要求很高,数据一致性要求很高那这事就不好办,只有做权衡,写性能上和数据一致上做权衡,下面三个参数只要你调了或者关了,可用性就会丢,有这个风险择,这是预先告诉大家。
对日志类的表化考虑关闭compact,手动触发GC。
![](https://i-blog.csdnimg.cn/blog_migrate/e66dcf5f8f566751fc9784c9072b432f.webp?x-image-process=image/format,png)
Open TSDB表设计和原数据和数据表。这是官方图,讲得非常透,大家看一下怎么保证维的很多,数据量很大的时候,能够基于open TSDB把这么一个系统做得高效,就是通过一套rowkey,还有右图按照时间力度做row的压缩,我觉得主要这两个特性保证它的性能。
这是跟open TSDB密切相关的两个点。
三、实时流计算
这一块我们现在斗鱼用得规模比较大,和大公司比可能就有一点小巫见大巫,但是我还是想分享一下,从0到1的过程,包括第三点,从1到1.1的过程。
-
实时流计算
-
以前:靠猜
-
演进:Redis
-
现在:Storm + Spark Streaming
流计算。比如,我们上了一个专题或者我刚开始提到,英雄联盟有一个决赛,线上有量,量有多大,只能根据卡不卡,只能主观上感觉卡不卡做一个评估。后台服务器的一些数据指标比较延时,刚开始靠猜,靠感觉,感觉要上机器了,要调一些流或者压力到另外一部分机上,靠感觉。
包括有一些上专题,比方说有一些活动,锤子或者魅族、乐视新品发布,他们的量,有时候没有能想象的大,有时候会非常大,但是我们没有办法做一些预案,所以这个时候我们就慢慢有了这个,这是我们最开始的一个迫于压力有了这样一个方案,redis实时统计的量。
用户多了,鸟就多了,各种羊毛党就越多,这一块有了一个风控,再一个个性推荐,用户多了之后,用户群体户越来越多样化,这一块就考虑个性推荐,千人千面,这一块是后来第二阶段的需求。就有了现在storm加spark Streaming的方案在跑。
![](https://i-blog.csdnimg.cn/blog_migrate/3820270854cd4e84e332c92293bd4832.webp?x-image-process=image/format,png)
这是数据流的架构,最开始只有最上面的架构,web、APP,在Nginx Lua,这是锤子2发布会捐赠的一个项目,他把世界上最快的两个系统,一个是Nginx和Lua,加在一起性能非常好强悍。基于Lua和redis,性能好,又好用又稳定,又不吃资源。
到了Kafka这一层,就有了另外的一些数据,比方用户行为数据接入进来,关系表MySQL,我们没有其它的关系存储。到了Kafka出来之后就是storm,是线上规模用得最大,我刚才说的数据产品都是基于storm,后面简单介绍一下storm踩过一些坑。
Spark吞吐量是非常好的,因为两个数据模型就决定了他们两个侧重业务场景是不一样的,后面离线计算,这个中间有一个是数据应用层,我们可以从实时计算到数据应用层,会写到中间离线层,又有另外一批数据到前面的应用层,实时数据监控和其它应用。
-
关于数据收集
-
以前:堆PHP
-
现在:OpenResty
刚刚讲了数据收集这一块,尤其用户行为数据,包括另外有一些服务层的服务,开始堆PHP,太耗资源,我们就发现OpenResty。
再用Storm,我先把这个罗列在这个地方,Storm优化主要就是基于这两个逻辑对象图。
![](https://i-blog.csdnimg.cn/blog_migrate/92de9ba26ed3a1b6b85b9b65b7cec616.webp?x-image-process=image/format,png)
Storm的新版本中,已经剥离了对ZK的依赖。我们所有的调优调这几个对象的参数,比方提高并行度,我们要提高时间时效,就是基于这个图。
这个图中,数据流怎么从这个流程里面最快的流入,最快流出,这就是实时流计算的初衷或者说包括最终的解决方案,也就是一直在优化。就比方说我们在第一级Kafka或者redis出来之后进到storm,越简单越快把消息弄进来最好。弄进来之后越快把消息处理完统计完把数据推走,越快推走对压力越小,处理时效吞吐量越大。
如果我们做优化,会去分析在第一个bolt1或者bolt2,如果里面有堆积,是在哪一个逻辑里面堆积,会考虑增加并行度或简化它的逻辑,让数据流尽快从第一级到 第二级到第三级,流出数据流程,我们整个优化的思路就是这样。
bolt1、2到bolt3,想跟大家分享,我们很多时候优化Storm忽略一个点,Storm依赖外部资源会成会我们的瓶颈,我们的数据没办法往外面推,没办法落地,后面一层堆积也会直接制约我们优化的一个瓶颈。
我们最后往redis写,性能强悍,你一个storm没问题,当时用一个redis做一些hush,做分散,还是解决不了,后来把redis替换掉。
-
关于 Storm 优化
-
Spout数和Kafka中Topic 的 Partition 数相匹配
-
根据excute latency,找出各个 componet 的 process cost
-
让 spout nextTuple 尽量简单
-
提升 Storm Topology的性能要注意外部资源
这是我们在storm优化整体的思路,比较简单,主要几大块。 spout数和Kafka中的话题的partition数相匹配。 监控每一个执行的时效,去做监控,及时发现某一些componet要不要做优化。
我们最开始上storm就有了spark流,流利用在时空监控的场景,这是今年2016年的大方向。
-
关于 Spark Streaming
-
设置合理的批处理时间(batchDuration)
-
缓存需要经常使用的数据
-
集群task并行度
-
使用Kryo序列化
这是流的简单使用有一些心得,踩过一些坑。批处理时间。换粗需要经常的使用的数据。集群task并行度,使用Kryo序列化。
这是我们踩过的巨坑,最后和大家强调一下。
踩过的巨坑
-
监控
-
安全
-
余量
第一个踩过的巨坑就是监控。
我们有很多量,现象级的,百万级的用户立马在一秒到十秒用涌入一个直播间,这个直播间放在和其它直播间放在一个server上面,立马卡顿不卡用,如果在监控这一块,可以解决很多的一些告警和预警。包括有一些业务的指标监控,监控这一块非常重要。
今年做了比较大的一块,就是在做统一监控平台,现在我们也是在花主要的开发资源做这一块,因为我们前端有网站端后端有C++服务端,语言异构排查起来就存在,没法定位,第一反应大家很本能甩锅,就需要统一监控平台。
第二,安全。
最开始太粗放,我们最开始做网络隔离,我们的集群是第一次做了网络上的隔离,然后后来就包括人员越来越大,因为不可能是我一个人干,也不可能做这么多业务场景,用的人越来越多,包括其它团队,业务分析师做数据分析用到线上环境,这个地方安全非常重要。
第三,一定的余量。
预估业务、提需求,上机器这么一套下来,就一两个月,小公司不要扣这部分的成本,起码预留20%的量。
To do
探索式数据集市、推荐系统、风控系统,这是我们今年最大的三块目标。