RTSP丢包处理原理及doubango代码改进

　　在做视频时，发现有时丢包很严重。当然，头目甲提拔的研发总监李某，根本就没有解决难题的想法。所以，这个问题只能是吾解决了。终端使用的是doubango，吾研究了代码，先后设计了两个方案，做了大量改动。如有兴趣，可以详细了解。

　　首先是自己管理丢包功能。本来这个方案也是可行的，适用于P2P模式。而李某只做了服务器转发，转发时会更改RTSP报文的信息，进而导致服务器拒绝发送报文。这个方案测试之后只能放弃。

　　后来吾在代码中发现，已经有处理丢包的代码。吾仔细研究之后，搞明白了，当然也是很简单的处理办法。经过深入分析，吾搞了一套完备的丢包处理。看看tdav_session_video.c中，吾修改的一个函数，说明如下：

// From jitter buffer to codec
static int _tdav_session_video_jb_cb(const tdav_video_jb_cb_data_xt* data)
{
    tdav_session_video_t* video = (tdav_session_video_t*)data->usr_data;
    tdav_session_av_t* base = (tdav_session_av_t*)data->usr_data;
    tmedia_session_t* session = (tmedia_session_t*)data->usr_data;

    switch (data->type) {
    default:
        break;
    case tdav_video_jb_cb_data_type_rtp: {
        return _tdav_session_video_decode(video, data->rtp.pkt);
    }
    case tdav_video_jb_cb_data_type_tmfr: {
        base->time_last_frame_loss_report = tsk_time_now();
        _tdav_session_video_local_request_idr(session, "TMFR", data->ssrc);
    }
    case tdav_video_jb_cb_data_type_fl: {
        base->time_last_frame_loss_report = tsk_time_now();
        if(data->fl.count > TDAV_SESSION_VIDEO_PKT_LOSS_MAX_COUNT_TO_REQUEST_FIR) {
            _tdav_session_video_local_request_idr(session, "TMFR", data->ssrc);
        }
        else if (base->avpf_mode_neg || base->is_fb_nack_neg)
        { // AVPF?
            if (data->lost_pkt_info_list)
            {
                //想了想，还是暂时不公开。等……再说。
            }
            /*else if (data->fl.count > 0)
            {
                // 这个代码我看明白了。
                // 每16个为一组进行发送。
                // i 进行分组，
                // k 是分组中的变量，
                // j 是每组的数量。
                // Send RTCP-NACK
                tsk_size_t i, j, k;
                uint16_t seq_nums[16];
                for (i = 0; i < data->fl.count; i+=16) {
                    for(j = 0, k = i; j < 16 && k < data->fl.count; ++j, ++k) {
                        seq_nums[j] = (uint16_t)(data->fl.seq_num + i + j);
                        TSK_DEBUG_INFO("Request re-send(%u)", seq_nums[j]);
                    }
                    trtp_manager_signal_pkt_loss(base->rtp_manager, data->ssrc, seq_nums, j);
                }
            }*/

        }

        break;
    }
    case tdav_video_jb_cb_data_type_fps_changed: {
        if (base->congestion_ctrl_enabled) {
            video->fps_changed = tsk_true;
            if (video->decoder.codec) {
                TSK_DEBUG_INFO("Congestion control enabled and fps updated from %u to %u", data->fps.old, data->fps.new);
                TMEDIA_CODEC_VIDEO(video->decoder.codec)->in.fps = data->fps.new;
            }
            tsk_mutex_lock(video->h_mutex_qos);
            session->qos_metrics.video_in_avg_fps = (session->qos_metrics.video_in_avg_fps + data->fps.new) / (video->in_avg_fps_n++ ? 2 : 1);
            tsk_mutex_unlock(video->h_mutex_qos);
        }
        break;
    }
    }

    return 0;
}

 

　　在tdav_video_jb.ｃ中，吾重新设计了丢包的判断、保存，然后再通过这里发送。

　　那么改进效果如何？效果极为明显。丢包30%时画面都可以接受。吾还专门进行了统计、显示。在南昌进行投标演示的时候，在视频画面上显示出来，这样画面变差时很令人信服。

　　这个只是丢包检测完成后的重发请求。其实还有大量的修改。