爱上程序员

原创 修改PJSIP支持webrtc回声消除处理

增加两个方法处理播放和录制；支持webrtc_aec3。支持webrtc-aec。支持外部webrtc。支持外部webrtc。

原创 一个基于gfast框架的组团学习网站实现，代码已开源

计划是做一个基于翻转课堂实现的学习分享社区，让学习充满乐趣！围绕学习课程主题来展开，主题可以是一门编程语言，一本书（电子书或者字纸书均可），一个视频课程资源，互联网有很多的学习资源，如何提高自主学习的效率，用有限的时间快速的完成高质量的学习，以教为学，翻转课堂的学习方法自认为是有效解决自主学习效率的问题，座椅考虑做一个一个基于翻转课堂实现的学习分享社区；互联网有很多的学习资源，如何提高自主学习的效率，用有限的时间快速的完成高质量的学习，窃以为以教为学，翻转课堂的学习方法是当前最有效解决这..

原创 关于开发转岗架构师的一点体会

今天看到有关于开发转岗架构师的文章，我从项目转到架构也有一年了，一点体会总结下。需要的背景和业务技能：1、已经是某一个业务领域的专家，在该领域有从设计、开发到上线，有完整的经历，业务领域被周围同事认可；2、知识的广度要能覆盖到该领域所需要的所有技能，比方对开发语言来说，如果产品涉及多端，则要有跨平台开发所需要具备的技能；转岗前的准备：1、通过一个认证或者参加一个培训...

原创 视频转码服务架构说明书

需求说明视频转码服务，具备将高码率的视频转换为低码率的视频，和对不同编码格式的视频进行转换能力的后台服务；规格定义性能指标： 吞吐量和性能指标 4核 8G 1000M网卡 GeForce GT 1030 以上显卡 CPU 到 80% 网络占用率 到 70% 100路 720P 高...

原创 FFmpeg和x264的windows版本编译安装记录

网上有各种版本的介绍，建议优先参考ffmpeg官网的说明，因为更新时间关系，可能细节有差异，但差异不大：https://trac.ffmpeg.org/wiki/CompilationGuide/MSVC1. 下载和安装YASM这一步好像已经不必要，最新版的代码中已经使用nasm来代替yasm。YASM下载地址：http://yasm.tortall.net/Download.h...

原创 《Linux高性能服务器编程》读书笔记：linux服务器程序规范

服务器程序规范，需要强化和遵守的，作者给列了4条规范：1、Linux服务器程序一般以后台进程形式运行，也就是以daemon守护进程的方式，守护进程的父进程通常是init进程（PID进程为1），作者在7.6小结 服务程序后台化给出了一个程序的清单，还是很有参考意义的。后台进程形式运行，也就是通过fork一个子进程，结束父进程的方式运行，这样避免很多前台启动，随着操作终端界面的关闭而结束服务器程序的...

原创 Windows端的java程序使用jni调用C++编写的库

Windows端的java程序使用jni调用C++编写的库，原来实现过在Android和Linux端通过JNI调用C++程序，在Windows端没有实现过，这里记录下几个关键的点；1、64位的dll工程，现在少有32位的平台，所以需要通过VisualStudio编译出64位的dll，注意属性页->C/C++->代码生成/运行库/选择多线程调试（/MTd），参考Linux编译选项的静...

原创 char *转换为string的陷阱：char*中包含较多的'\0'

今天给团队调试一个错误，概率性的加密的数据没法做解密，现象是解密出来的结果和源数据长度不一致，很奇怪的现象，因为加密使用的数据是随机的，所以使得问题出现时表象是概率的问题；因为初次做加解密算法相关的项目，碰到这样的问题，首先是单步把解密流程过了一遍，发现解密没有问题，能正常的解密，但解密出来的长度就是不对，分析才发现加密后的数据的长度也不正常，所以考虑是加密源数据的问题，通过分析，才发现一个二...

原创 属性加解密库OPENABE多平台编译总结

OPENABE C++库 依赖库： Openssl 1.1.1 Relic 0.5.0 Flex 2.5.37 Gtest 1.8.0 Gmp 6.0.0 bison 3.4 Commits on Mar 31, 2019 https://github.com/zeutro/ope...

原创 Python小练习

一个小工具，发现有一个开源的诗词库(https://github.com/michaelliao/shici/tree/master/web/src/main/resources/text)，考虑导入到数据库中，诗词库是通过文件夹方式组织，所以用python发现很快的实现这个需求，代码记录如下： #导入依赖库import os,sys from datetime imp...

原创 webrtc中使用的QOS相关的标准协议

rtx :https://tools.ietf.org/html/rfc4588red:https://tools.ietf.org/html/rfc2198ulpfec:https://tools.ietf.org/html/rfc5109前一阵调测WebRTC的UlpFEC能力，发现一些问题，记录下来：问题1. 默认支持的音频codec type过多，出现主叫侧单方向音频类...

原创 实现rtsp直播推流和拉流双向通话功能

推流端 服务器 观看端PUSH CLIENT -> DARWIN <-- PULL CLIENT15000(推流端的收发包rtp端口)5001 ...

原创 AnyRTC 的播放器类图

不得不说AnyRTC的代码架构上很好的做到了协议无关，解决了采集、编码，传输；收包、解码，显示的跨平台方案；今天尝试着做了一个RtspPull，结合live555的代码，很快就实现了一个rtsp的播放器功能；后续尝试着做一个RtspPush，实现rtsp的推流能力；...

原创 一个一起读专业书的想法

记得李国庆有一句话说的意思是“至今为止，知识的获取方式还没有跟得上移动互联网高速发展的智能时代”，看到这句话的时候，刚好有新闻说在最近二十年脑机接口将会出现商用级产品，知识的获取方式一定会有革命性的变化，但李国庆提到的获取方式的变化，还是基于当前音频和视频形式的变化，阅读贵在坚持，坚持需要有一个合适的群体，相互推进着往前走，这或许是“樊登读书会”这么受欢迎的原因。由此想到，IT 类的专业书籍就更...

原创 级联媒体转发服务器的方式部署，构建复杂网络环境下的媒体转发网络

媒体服务器就是转发UDP数据的RTP服务器，它的作用就相当于网络中路由器和交换机。我们把媒体服务器设计成一个模拟IP协议的应用服务器，构建复杂网络环境下的稳定的媒体转发网络。关于多个房间服务器，多个RTPProxy媒体转发服务器的部署方式：关于一个房间服务器，多个媒体转发服务器的部署方式：...

原创 RTPProxy代码结构说明

RTPProxy是纯C语言开发，使用面向对象的思路实现的对stream、session等的抽象，另外对象的构造、析构和引用计数机制都有实现，和doubango中对象的实现思路类似，每个对象一个c文件，提供类似rtpp_server_ctor和rtpp_server_dtor的构造和析构方法，然后提供一个结构体的实例化对象，结构体对象中第一个对象是该对象的公共接口方法指针，类似如下代码：stati...

原创 给srs长时间推流内存增长异常问题处理

使用librtmp库将拉取监控的rtsp流推送给srs服务器，发现一个异常，在长时间大概1个月后发现系统内存被srs吃满，也不知道是什么原因产生的这个现象，并且通过top去查看srs的内存在持续增长，通过ffmpeg推流没有这个现象，感觉还是librtmp使用的问题，暂时也没有很好的思路分析；通过查看srs的git库，发现srs提供了一个srs-librtmp的源码库，能完成推送h264裸流的...

原创 Android应用交付质量提升调查

近期我们一直在思考如何提升Android端应用的开发和交付质量，Android端应用交付质量相关表现：1.提交测试后的BUG数量；2.稳定性：测试反馈的卡顿、重启、耗电等偶发性性能问题数量；3.上线后用户评价：产品上线后反馈问题数量；4.可扩展性：定制扩展修改困难，一处修改，却导致其他功能逻辑出现问题；5.可维护性：代码规范问题，编码风格不统一，维护困难；6.流程规范性：提...

原创 监控摄像头的拉流转发实现

这两天一直在调试Darwin的拉流转发功能，也就是使用Darwin服务器拉取另一个RTSP服务器的视频流（比方监控摄像头）的实时视频，然后通过Darwin服务器提供的rtsp地址进行转发播放，这个简称为拉流转发服务，基本功已经正常完成（网上有一个QTSSOnDemandRelayModule的思路可以参考：DarwinServer）；现在包括海康摄像头提供的萤石云服务，其实是将这种拉流转发服务直接...

原创 实时监控视频转码处理

实时监控视频的码率通常在5M以上，如果做比方手机端的实时预览查看，对带宽是很大的考验，所以很有必要先做降分辨率，然后降码率的处理。所有的处理在后台服务器进行，大致的业务流程如下：海康监控摄像头输出的分辨率是：2560*1440 ，ffmpeg提供的方法能很好的完成这个流程，其实网上有很多例子，但都不全，去看ffmpeg源码提供的例子来实现是很好的办法，比方ffmpeg-4.1的例子代码在\...

原创 WebRTC库在Android端后台运行时内存和功耗高的问题修改

1、在房间数超过10个后，so底层库在创建socket时报文件句柄太多导致tombstone的问题怀疑是libjingle的so被加载多次，导致占用内存过大引起，解决方法：修改PeerconnectionClient中的PeerconnectionFactory对象factory为单实例对象，多个房间共享一个factory，经过验证，可以创建20多个房间都不在产生这个现象。2、后台运行时，...

原创 GB33154-2017规范讨论之公共安全视频监控联网信息安全技术要求

原创 一个小程序从零到上线记录全过程

PS:以前写过简单的 js，所以入门不算太难；有同学说微信小程序的开发过程让开发者很爽。依赖完全原生的体验，小程序的开发效率提高了不少，从开始到上线，确实有这种体验：开发快，加载快，体验好。0、先是将微信小程序的“简易教程”来回看了好几遍，算是明白了一个小程序的目录结构，json 配置文件，wxml 模板文件，wxss 样式文件和 js 文件的作用，以及交互逻辑，从小程序的启动到生命周期方法，...

原创 使用Janus作为对讲服务器的后台框架和业务流程

对讲后台业务架构图如下图： 图1、对讲后台业务架构图 通过NGINX负载Janus http服务器的API接口，通过该API接口可以获取可用Janus服务器的IP和端口；客户端拿到可用对讲服务器的IP和端口后，通过WebSocket连接到该服务器，并保持长连接，客户端进入会议室时，则复用这条长连接；如果进入其他会议室，则需要重新获取可用的Janus服务器IP和端口，并重复上述过...

原创 读书笔记（一）：《简单的逻辑学》

干程序员这行，给计算机读的编程语言，如果缺少哪怕一个分支的逻辑，计算机的执行结果绝对是超预期的，轻则跑飞，重则崩溃，所以逻辑思维严谨是程序员这个职业基本的素养；那作为一个资深的码农，为什么会去看《简单的逻辑学》，缘由是逻辑思维的推荐，逻辑学作为底层临界知识的一部分，如何清晰高效地思考，如何不犯低层次的归因错误，在面对充斥大量繁杂信息的互联网世界，如何有独到性的思考，就需要对逻辑思考的能力进...

原创 如何避免后台服务的单点故障&动态增加服务扩容能力

原创 Freeswitch和东方网力平台的GB28181国标上下级对接

一、Freeswitch作为国标下级1、主要工作：注册到上级平台、心跳上报GB28181终端设备目录上报（查询上报和主动上报）东方网力平台调取终端实时视频（一对一）东方网力平台调取终端实时视频（一对多）东方网力平台调取某个终端回传的历史视频2、大致实现：在/usr/local/freeswitch/conf/sip_profiles/external配置外部网关，网...

原创 修改Janus，支持datachannel通过rtp通道传输

Janus的datachannel支持的协议主要是：“DTLS/SCTP”、"UDP/DTLS/SCTP"，而RTP通道使用的是"UDP/TLS/RTP/SAVPF"，修改的思路包括SDP返回的修改，RTP数据包中提取datachannel包对应SSRC的包。1、给janus_ice_stream结构体添加data的ssrc字段和初始化： guint32 data_ssrc_pee...

原创 基于Janus房间服务器的POC对讲实现

一、理解Janus插件janus_videoroom的包转发实现该插件模式具备SFU的包转发能力,每一个进入房间的与会者，可以通过Publish发布自己的音视频，也可以通过Subscribe订阅其他人的音视频，转发能力由libnice库提供二、理解POC对讲半双工模式下的包转发实现POC，是PTT Over Cell 的简写，PTT是按下讲话的意思，要么说，要么听别人说，不会出现同时讲话&...

原创 Janus客户端修改WebRTC源码支持会议室功能

Janus客户端使用最新版本的WebRTC的so，发现subscribe组时，不能看到火狐客户端推送的视频分析日志，原因是接收rtp包的receiver的sink中没有被注册任何接受者，所以解码后的数据帧没有被回调到应用层。 经过分析，刚开始以为是mid不一致所致，后来发现，是底层库对sendonly做了特殊处理：火狐的SDP：mid为video字符串a=group:BUN...

原创 licode 环境搭建

1、根据安装指南安装(参考：http://licode.readthedocs.io/en/master/from_source/ 即可)，如果顺利的话，应该都能正常过去，有失败可能是网络问题，所以先得有个好的网络；2、运行basicExample，发现起来后看不到视频，主要是ice等服务器信息配置不对，修改licode根目录下的配置文件licode_config.js，主要修改其中的stun服务...

原创 Doubango SIP和WebRTC的融合

1、融合基础：熟悉WebRTC媒体流采集、编解码和发送流程熟悉SIP信令和协商流程2、完成SIP信令和WebRTC的对接，实现音、视频通话3、具体实现步骤：采用webrtc的demo部分代码，jni还是用Peerconnection封装的接口，因为webrtc demo采用的jingle协议还是比较好理解的，客户端CreateOffer、CreateAnswer，然后就是ICE的通信和交互流程，最...

原创 WebRtc中关于rtp-mux的实现！

测试对比发现在开启rtp-mux和不开启rtp-mux时，视频卡顿的现象改善更加明显，先记录下，后续研究rtp-mux的作用！ rtp-mux简单说是视频流和音频流使用同一个端口发送和接收，在接收后做解复用识别音频和视频包，然后扔给指定的解码器。...

原创 freeswitch 1.7分支代码编译记录

1、 执行./bootstrap.sh生成configure等脚本2、openssl的版本不能太新 也不能太老，最低版本是1.0.1e，建议只安装1.0.1e3、因为openssl的安装路径在/usr/local/ssl/目录下，所以只需configure需要指定openssl的头文件和库路径：./configure --prefix=/usr/local CFLAGS='-I/usr/local...

原创 Doubango RTP包传输使用UDT可靠传输协议，解决RTP丢包问题

使用SIP做过VOIP通话的同学，肯定被RTP丢包弄的焦头烂额，必定尝试过不少的办法，比方：1、丢包重传(NACK)2、前向纠错(FEC)3、丢帧处理但效果往往不尽如人意，那有没有一劳永逸的方法？确实，网络发展到现在，家庭带宽随随便便都是百兆的今天，为什么还有让人困扰不已的丢包问题？为何不换成TCP传输，假如延时容许的情况下，UDT就是为了解决这个问题的。UDT建立于UDP

原创 混合应用开发框架Cordova源码学习总结

有说法是，采用混合模式的WEBVIEW来开发界面，通常适用于需要经常变更的页面，比方活动页，或者其他展示页面；相对警务行业应用来说，哪些使用原生界面开发，哪些使用WEBVIEW来开发，需要从我们当前的痛点出发来考虑，当前警务行业应用主要是开发周期相对长，采用WEBVIEW的方式来开发，在通用基础则框架的基础上，则能缩短在UI上的开发时间，提升交付效率；但对WEBVIEW开发应用的体验的提升，是我们

原创 Freeswitch的mod_av模块优化

最近在解决一个Freeswitch录制视频后出现视频灰色方块区域的问题，找到问题是和编码packet的PTS/DTS有关系，当然也考虑了对这个模块的优化。AVStream的time_base   AVCodecContext 的time_baseAVStream->time_base比AVCodecContext->time_base精度要高(数值要小)，比如AVS

原创 我的2016，成长之路总是充满坎坷

秋风起，落叶黄，满头白发，一夜诉凄凉0、值得怀恋一年里，有几件值得怀恋的事，工作上，我们主导的视频回传应用，终于有了第一个客户，居然在两个星期的时间里，第一次GB28181对接海康平台，就成功的实施，简直是一种意外，但总的来说，还是需要感谢团队同事们的努力；而第二个客户的东方网力平台，却没有对接成功，虽然将责任指向了对方厂家的不配合，但多少有遗憾，如果考虑或者准备的更充分些，有经验更丰

原创 关于程序员团队管理？

期望有一种团队，就如同Scrum开发模式中提到的，每个人都能进入自组织模式，自我管理，自我约束，积极主动沟通，清楚需求，构建方案并发起评审，高效开发，组织代码Review，完善的自我验证手段和方法，提供高质量的交付，测试后，完美通过验收；临近下班了，和同事闲聊下班后惬意的生活；

原创 我期望的Android APP开发方式

其实写了这么多的Android APP后，越发觉得好多代码都是技术含量很低的重复的复制、粘贴，项目上的实现已经越来越没有挑战性和并能激起开发兴趣，那么这些重复的工作是否能在未来的开发中简化并且提升开发质量呢，这可能是我最近在想的问题。1、代码基础库的构建，GITHUB上有很多这种类似的基础库，关于网络请求、DB操作、公共方法等等，关于可以提取出一套作为公共资产；2、基础框架的搭建，