heua5555的博客

　　分布式视频处理系统中的worker、razer、sdk等模块以无状态方式设计，即worker应用停止服务或节点宕机均不会影响整个系统对于视频的处理。比如有worker-N应用正在处理转码，到了99%的时候，却很不幸的应用崩溃，显然该转码任务失败，那么我们该怎么来保证该转码任务能正常结束，让用户不吐槽呢？我们的节点管理中心即Node Manager应此而生，它全程监控转码任务的状态，如碰到系统因素引起的失败，进行任务回收，其他worker应用重新进行转码。 　　 　　节点管理中心最基本核心的功能为各个节点服务器的状态管理，此外还包括用户管理（包括鉴权）、任务的跟踪统计、节点状态变更通知、资源监控、全局配置信息获取、及自身的HA等功能，如下图所示。 　　 　　[IMG]http://image18.poco.cn/mypoco/myphoto/20161201/13/56516772201612011306531611284040498_000.jpg[/IMG] 　　 　　在设计之初，各个任务节点能独立运行不依赖与管理中心，也即管理中心是单点运行状态。但是随着功能的不断完善及设计的不断优化，我们发现单点状态已经连最起码的功能完整性都保证不了了，比如统计数据混乱、dashbord平台无法使用、监控报警失效，节点失效通知不及时等等，因此我们对Node Manager提出了高可用性的需求，也就是本文的初衷。 　　 　　众所周知，在分布式高可用性系统模型方面无非就是中心化和去中心化两种设计方式。中心化的设计例如mysql的MSS单主双从、MongDB Master、HDFS NameNode、MapReduce JobTracker等，有1个或几个节点充当整个系统的核心元数据及节点管理工作，其他节点都和中心节点交互。这种方式的好处显而易见，数据和管理高度统一集中在一个地方，容易聚合，就像领导者一样，其他人都服从就好，简单可行。但是缺点是模块高度集中，容易形成性能瓶颈，并且如果出现异常，就像群龙无首一样。无中心化的设计，例如cassandra、zookeeper，系统中不存在一个领导者，节点彼此通信并且彼此合作完成任务。好处在于如果出现异常，不会影响整体系统，仅仅局部不可用。缺点是比较协议复杂，而且需要各个节点间同步信息。 　　 　

　　12月2日-3日，由InfoQ中国团队推出的面向高端技术管理者、架构师的技术大会ArchSummit全球架构师峰会将在北京国际会议中心举行，本次大会秉承“实践第一、案例为主”的原则，展示新技术在行业应用中的最新实践，技术在企业转型中的加速作用，帮助企业技术管理者、CTO、架构师做好技术选型、技术团队组建与管理，并确立技术对于产品和业务的关键作用。网易视频云CTO邱似峰受邀出席，并为广大参与者分享视频直播架构演进之路。 　　 　　邱似峰于2007 年加入网易，期间先后主持了分布式数据库、分布式文件系统、数据库云服务、对象存储云服务的研发工作。在大规模分布式系统和海量数据处理系统方面有丰富实战经验，拥有超过 10 项核心技术专利，是网易服务端技术专家。之后带领团队研发了视频云产品，目前担任网易视频云 CTO，专注于音视频直播、点播、 CDN 相关技术研发工作。那么，在此次架构师峰会中，邱似峰分享的内容将有哪些精彩看点呢？ 　　

　　网易视频云：分布式视频处理集群中的作业调度 　　 　　 　　 　　异步作业调度系统（代号：Razer）为网易视频云提供底层任务调度和资源管理服务，对非实时作业如视频转码、视频合成、文件转换等进行分发，并按照用户限额原则、资源最大利用原则对底层集群资源进行支配和规划。 　　 　　为了调度的高可用和调度的能力的水平扩展，Razer本身是一个调度集群，将上层应用（app server）的作业分发到底层的执行服务器上（worker）。如下图： 　　

　　2016年，网易杭州研究院（以下简称“杭研”）成立十周年之际，网易云推出“十年·杭研大咖说”系列访谈文章，针对亲历杭研核心技术体系变迁的数位技术大牛发问，揭秘网易云背后的技术脉络、技术人和研发故事。网易视频云 CTO 邱似峰接受了“十年·杭研大咖说”的采访。 　　 　　邱似峰介绍了他与杭研结缘的故事，以及他在杭研积累的技术、管理经验，着重解读了他目前负责的网易视频云的研发，并对视频云的未来技术方向进行了阐释。他认为，浓厚的技术导向氛围使得杭研成为技术人的福地，同时杭研的用户导向价值观保证了研发获得的认可度。 　　

　　随着互联网技术的发展，云计算在资源层面竞争已经进入白热化的阶段，网易视频云定位于PAAS层面，从各个技术领域进行技术钻研以提供给用户更高效、更稳定、更便捷的视频直播技术服务；notify系统作为网易视频云对外技术服务的一员，提供面向海量用户的高可用异步回调服务。 　　 　　目前直播平台大多采用以下架构(图一)：客户通过推拉流SDK或软件直接与直播/点播平台进行推拉流/转码交互，这样的架构下客户企业应用中对直播/点播状态及数据的管理增加了更多条件限制，客户企业应用服务器在维护直播/点播数据信息需要考虑各种复杂场景因素：一、推流端非正常退出时客户企业应用服务器无法感知用户真实的流状态；二、客户企业应用无法感知推流用户使用第三方技术进行推拉流等。 　　

　　随着互联网技术的发展，云计算在资源层面竞争已经进入白热化的阶段，网易视频云定位于PAAS层面，从各个技术领域进行技术钻研以提供给用户更高效、更稳定、更便捷的视频直播技术服务；notify系统作为网易视频云对外技术服务的一员，提供面向海量用户的高可用异步回调服务。 　　 　　目前直播平台大多采用以下架构(图一)：客户通过推拉流SDK或软件直接与直播/点播平台进行推拉流/转码交互，这样的架构下客户企业应用中对直播/点播状态及数据的管理增加了更多条件限制，客户企业应用服务器在维护直播/点播数据信息需要考虑各种复杂场景因素：一、推流端非正常退出时客户企业应用服务器无法感知用户真实的流状态；二、客户企业应用无法感知推流用户使用第三方技术进行推拉流等。