- 博客(13)
- 收藏
- 关注
RSS订阅原创 网易视频云：面向海量用户的分布式视频处理技术
作者： 系统介绍 网易视频云支持面向海量用户的分布式视频处理，包含录制、转码、视频合成、截图等常用的视频处理任务。一方面视频云承载了众多网易内部视频应用的后台视频处理，另一方面也渐渐以公有云的身份走入大家视野。视频云的视频处理子系统需求模型如下所示： 视频云上层服务根据业务模型，向视频处理子系统发起视频处理任务，处理子系统根据任务类型调度到合适的worker节点做处理。在任务...
2016-07-26 14:50:01
338
原创 网易视频云：搜索意图识别浅析
现在，网易视频云与大家分享一下搜索意图识别浅析。 对于搜索引擎来讲，很多情况下只需要用户在搜索输入框内输入所需要查询的内容就可以了，其余的事情就全部交给搜索引擎去处理。理想的情况下，搜索引擎会优先返回用户想要的结果。理想很丰满，但总会存在一些骨感的现实，用户通过搜索无法找到最想要的结果。如果应用中压根不存在用户搜索的内容，倒还可以理解。反之的话，就是一个大写的尴尬。本文主要谈论和解决的是令人...
2016-07-22 10:14:52
719
原创 网易视频云：HBase GC的前生今世 – 演进篇
现在，网易视频云与大家分享一下HBase GC的前生今世–演进篇。 最原始的HBase CMS GC相当严重，经常会因为碎片过多导致Promotion Failure，严重影响业务的读写请求。幸运的是，HBase并没有止步不前，很多优化方案相继被提出并贡献给社区，本文要介绍的就是几个比较重要的核心优化，分别是针对Memstore所作的两个优化：Thread-Local Allocation ...
2016-07-20 10:23:08
185
原创 网易视频云：HBase最佳实践－列族设计优化
现在，网易视频云与大家分享一下HBase最佳实践－列族设计优化。 随着大数据的越来越普及，HBase也变得越来越流行。会用HBase现在已经变的并不困难，然而，怎么把它用的更好却并不简单。那怎么定义‘用的好’呢？很简单，在保证系统稳定性、可用性的基础上能够用最少的系统资源（CPU,IO等）获得最好的性能（吞吐量，读写延迟）就是’用的好’。HBase是一个庞大的体系，涉及到很多方面，很多因素都...
2016-07-14 10:56:20
266
原创 网易视频云：HBase最佳实践－列族设计优化
现在，网易视频云与大家分享一下HBase最佳实践－列族设计优化。 随着大数据的越来越普及，HBase也变得越来越流行。会用HBase现在已经变的并不困难，然而，怎么把它用的更好却并不简单。那怎么定义‘用的好’呢？很简单，在保证系统稳定性、可用性的基础上能够用最少的系统资源（CPU,IO等）获得最好的性能（吞吐量，读写延迟）就是’用的好’。HBase是一个庞大的体系，涉及到很多方面，很多因素都...
2016-07-14 10:56:20
130
原创 网易视频云：HBase客户端实践–重试机制
现在，网易视频云与大家分享HBase客户端实践–重试机制。 在运维HBase的这段时间里，发现业务用户一方面比较关注HBase本身服务的读写性能：吞吐量以及读写延迟，另一方面也会比较关注HBase客户端使用上的问题，主要集中在两个方面：是否提供了重试机制来保证系统操作的容错性？是否有必要的超时机制保证系统能够fastfail，保证系统的低延迟特性？ 这个系列我们集中介绍HBase客户端使用上...
2016-07-12 10:22:41
118
原创 网易视频云：HBase最佳实践－客户端超时机制
现在，网易视频云与大家分享一下HBase最佳实践－客户端超时机制。 除了重试机制外，业务童鞋最关心的就是超时机制了。客户端超时设置对整个系统的稳定性以及敏感性至关重要，一旦没有超时设置或超时时间设置过长，服务器端的长时间卡顿必然会引起客户端阻塞等待，进而影响上层应用。好在HBase提供了多个客户端参数设置超时，主要包括hbase.rpc.timeout / hbase.client.ope...
2016-07-12 10:20:11
162
原创 网易视频云：前后端分离实践
现在，网易视频云与大家分享一下前后端分离实践。 背景 前后端分离的实践经历了糅合、分工协作、独立运作等阶段。 糅合 前后端混合开发，样式、脚本杂糅于HTML中，业务较为单一，难以扩展，适用于小型项目或Demo原型展示。 分工协作 可进一步细分为两个阶段：初期，前端实现切图、页面制作、交互实现后，交由后端套页面，异步AJAX部分根据业务制定接口，前端负责数据的模拟，实际页面和接口测试...
2016-07-08 10:17:25
779
原创 网易视频云: 网易平台级视频服务存储技术
现在，网易视频云与大家分享一下网易平台级视频服务存储技术。 云计算近年以每年32%的增长率飞速发展，视频云领域也正以80%的流量逐年递增，腾讯、阿里、金山、，乐视，当然还有网易，各大厂商都加入了视频云的混战。这些视频云厂商，不仅有基于IaaS、PaaS及SaaS层的服务以及对应层级的运维支撑，还覆盖了游戏、教育、媒体、医疗…..多个应用场景。大家都说，视频服务存储技术是视频云服务关键。而视...
2016-07-07 10:18:11
322
原创 网易视频云：Infobright初探
现在，网易视频云与大家分享一下Infobright。 Infobright是一个有多年历史的开源的adhoc 数据仓库软件。它首次发布于2005年，并于2008年开源社区版本。并在2009年成为MySQL合作伙伴，并集成到MySQL中。 Infobright虽然集成到MySQL中，默认有一个BrightHouse 引擎，但是与InnoDB／MyISAM这类引擎不同在于，Infobright有自...
2016-07-06 15:44:17
194
原创 网易视频云：直播端网络QoS算法总结和技术展望
现在，网易视频云与大家分享一下直播端网络QoS算法总结和技术展望。 一、概述 由于从直播端到RTMP服务器的网络情况复杂，尤其是在3G和带宽较差的Wifi环境下，网络丢包、抖动和延迟经常发生，导致直播推流不畅。RTMP基于TCP进行传输，TCP自身实现了网络拥塞下的处理，内部的机制较为复杂，而且对开发者不可见，开发者无法根据TCP协议的信息判断当时的网络情况，导致发送码率大于实际网络带宽，...
2016-07-06 15:40:13
377
原创 网易视频云：MySQL 5.6 & 5.7最优配置文件模板
现在，网易视频云与大家分享一下MySQL 5.6 & 5.7最优配置文件模板。 Inside君整理了一份最新基于MySQL 5.6和5.7的配置文件模板，基本上可以说覆盖90%的调优选项，用户只需根据自己的服务器配置稍作修改即可，如InnoDB缓冲池的大小、IO能力（innodb_buffer_pool_size，innodb_io_capacity)。特别注意，这份配置文件不用修改，可...
2016-07-05 10:25:20
143
原创 网易视频云：MySQL 5.7 并行复制实现原理与调优
网易视频云与大家分享一下MySQL 5.7 并行复制实现原理与调优。 MySQL 5.7并行复制时代 众所周知，MySQL的复制延迟是一直被诟病的问题之一，然而在Inside君之前的两篇博客中（1，2）中都已经提到了MySQL 5.7版本已经支持“真正”的并行复制功能，官方称为为enhanced multi-threaded slave（简称MTS），因此复制延迟问题已经得到了极大...
2016-07-05 10:24:12
159
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人