在服务器端录制语音视频

最新推荐文章于 2024-05-13 16:56:21 发布

weixin_33901641

最新推荐文章于 2024-05-13 16:56:21 发布

阅读量224

点赞数

　　在我以前的一篇博文《实现语音视频录制（demo源码）》中，详细介绍了在网络视频聊天系统中的客户端如何实现语音视频的录制，而近段时间了，有几个朋友问起，如果想在服务端实现录制功能，该怎么做了？其中有个朋友的需求是这样的：他的系统是一个在线培训系统，需要在服务端将指定老师的讲课（包括语音和视频）录制下来，并保存为.mp4文件，以便随时可以查阅这些文件。

　　本文我们就做一个demo实现类似的功能，演示如何在服务端录制某个指定在线用户的语音视频，并提供三种录制模式：录制语音视频、仅录制语音、仅录制视频。

一.实现原理

　　要实现这个demo，需涉及到以下几个技术：

（1）在服务端采集指定用户的语音、视频数据。

（2）在服务端将图像使用H264编码，语音数据使用AAC编码。

（3）将编码后的数据按MP4格式的要求，保存为MP4文件。

　　同实现语音视频录制（demo源码）一样，我们仍然基于OMCS和MFile来实现上述功能，下面是对应的原理。

（1）在OMCS的结构中，客户端之间可以相互获取到对方的摄像头和麦克风的数据，所以，服务端可以作为一个虚拟的客户端用户（比如ID为“_Server”），连接到同一个进程中的OMCS多媒体服务器。

（2）在服务端动态创建DynamicCameraConnector组件，连接到指定用户的摄像头。

（3）在服务端动态创建两个MicrophoneConnector组件，接到指定用户的麦克风。

（4）调用DynamicCameraConnector的GetCurrentImage方法，即可获得所连接的摄像头采集的视频帧。

（5）预定MicrophoneConnector的AudioDataReceived事件，即可获得所连接的麦克风采集的音频数据。

（6）使用MFile将上述结果进行编码并写入mp4文件。

二.实现代码

public partial class RecordForm : Form
    {
        private MultimediaServer multimediaServer;
        private OMCS.Passive.Audio.MicrophoneConnector microphoneConnector;
        private OMCS.Passive.Video.DynamicCameraConnector dynamicCameraConnector;
        private IMultimediaManager multimediaManager;
        private BaseMaker maker;
        private System.Threading.Timer videoTimer;
        private RecordMode recordMode = RecordMode.AudioAndVideo;

        public RecordForm(MultimediaServer server)
        {
            InitializeComponent();
            this.comboBox_mode.SelectedIndex = 0;

            this.multimediaServer = server;
            this.label_port.Text = this.multimediaServer.Port.ToString();

            //将服务端虚拟为一个OMCS客户端，并连接上OMCS服务器。
            this.multimediaManager = MultimediaManagerFactory.GetSingleton();
            this.multimediaManager.Initialize("_server", "", "127.0.0.1", this.multimediaServer.Port);//服务端以虚拟用户登录            
        }

        //在线用户列表
        private void comboBox1_DropDown(object sender, EventArgs e)
        {
            List<string> list = this.multimediaServer.GetOnlineUserList();
            list.Remove("_server"); //将虚拟用户排除在外
            this.comboBox1.DataSource = list;            
        }

        //开始录制视频
        private void button1_Click(object sender, EventArgs e)
        {
            if (this.comboBox1.SelectedItem == null)
            {
                MessageBox.Show("没有选中目标用户！");
                return;
            }
            
            string destUserID = this.comboBox1.SelectedItem.ToString();
            this.recordMode = (RecordMode)this.comboBox_mode.SelectedIndex;

            //摄像头连接器
            if (this.recordMode != RecordMode.JustAudio)
            {
                this.dynamicCameraConnector = new Passive.Video.DynamicCameraConnector();
                this.dynamicCameraConnector.MaxIdleSpan4BlackScreen = 0;
                this.dynamicCameraConnector.ConnectEnded += new ESBasic.CbGeneric<ConnectResult>(cameraConnector1_ConnectEnded);
                this.dynamicCameraConnector.BeginConnect(destUserID);
            }

            //麦克风连接器
            if (this.recordMode != RecordMode.JustVideo)
            {
                this.microphoneConnector = new Passive.Audio.MicrophoneConnector();
                this.microphoneConnector.Mute = true; //在服务器上不播放出正在录制的声音 
                this.microphoneConnector.ConnectEnded += new ESBasic.CbGeneric<ConnectResult>(microphoneConnector1_ConnectEnded);
                this.microphoneConnector.AudioDataReceived += new CbGeneric<List<byte[]>>(microphoneConnector_AudioDataReceived);
                this.microphoneConnector.BeginConnect(destUserID);
            }

            this.label1.Text = string.Format("正在连接{0}的设备......" ,destUserID);
            this.Cursor = Cursors.WaitCursor;
            this.button1.Enabled = false;
            this.comboBox1.Enabled = false;
            this.comboBox_mode.Enabled = false;
        }

        //录制接收到的语音数据
        void microphoneConnector_AudioDataReceived(List<byte[]> dataList)
        {
            if (this.maker != null)
            {
                foreach (byte[] audio in dataList)
                {
                    if (this.recordMode == RecordMode.AudioAndVideo)
                    {
                        ((VideoFileMaker)this.maker).AddAudioFrame(audio);
                    }
                    else if (this.recordMode == RecordMode.JustAudio)
                    {
                        ((AudioFileMaker)this.maker).AddAudioFrame(audio);
                    }
                    else { }
                }
            }
        }

        void microphoneConnector1_ConnectEnded(ConnectResult obj)
        {
            this.ConnectComplete();
        }

        void cameraConnector1_ConnectEnded(ConnectResult obj)
        {
            this.ConnectComplete();
        }

        private int connectCompleteCount = 0;
        private void ConnectComplete()
        {
            ++this.connectCompleteCount;
            if (this.recordMode == RecordMode.AudioAndVideo) 
            {
                if (this.connectCompleteCount == 2)//当语音、视频 都连接完成后，才正式启动录制。
                {
                    System.Threading.Thread.Sleep(500);
                    this.Ready();
                }
            }
            else
            {
                System.Threading.Thread.Sleep(500);
                this.Ready();
            }
        }

        //初始化用于录制的FileMaker
        private void Ready()
        {
            if (this.InvokeRequired)
            {
                this.BeginInvoke(new CbGeneric(this.Ready));
            }
            else
            {
                try
                {
                    this.Cursor = Cursors.Default;
                    if (this.recordMode == RecordMode.AudioAndVideo)
                    {
                        this.maker = new VideoFileMaker();
                        ((VideoFileMaker)this.maker).Initialize(this.dynamicCameraConnector.OwnerID + ".mp4", VideoCodecType.H264, this.dynamicCameraConnector.VideoSize.Width, this.dynamicCameraConnector.VideoSize.Height, 10, AudioCodecType.AAC, 16000, 1, true);
                        this.videoTimer = new System.Threading.Timer(new System.Threading.TimerCallback(this.Callback), null, 0, 100);
                    }
                    else if (this.recordMode == RecordMode.JustAudio)
                    {
                        this.maker = new AudioFileMaker();
                        ((AudioFileMaker)this.maker).Initialize(this.microphoneConnector.OwnerID + ".mp3", AudioCodecType.MP3, 16000, 1);
                    }
                    else
                    {
                        this.maker = new SilenceVideoFileMaker();
                        ((SilenceVideoFileMaker)this.maker).Initialize(this.dynamicCameraConnector.OwnerID + ".mp4", VideoCodecType.H264, this.dynamicCameraConnector.VideoSize.Width, this.dynamicCameraConnector.VideoSize.Height, 10);
                        this.videoTimer = new System.Threading.Timer(new System.Threading.TimerCallback(this.Callback), null, 0, 100);
                    }

                    this.label1.Text = "正在录制......";
                    this.label1.Visible = true;
                    this.button1.Enabled = false;
                    this.button2.Enabled = true;
                }
                catch (Exception ee)
                {
                    MessageBox.Show(ee.Message);
                }
            }
        }

        private int callBackCount = -1;
        //定时获取视频帧，并录制
        private void Callback(object state)
        {
            if (this.maker != null)
            {                
                Bitmap bm = this.dynamicCameraConnector.GetCurrentImage();
                if (bm != null)
                {
                    ++this.callBackCount;
                    if (this.recordMode == RecordMode.AudioAndVideo)
                    {
                        ((VideoFileMaker)this.maker).AddVideoFrame(bm);
                    }
                    else if (this.recordMode == RecordMode.JustVideo)
                    {
                        ((SilenceVideoFileMaker)this.maker).AddVideoFrame(bm);
                    }
                    else { }
                }
                else
                {
                }
            }
        }

        //停止录制
        private void button2_Click(object sender, EventArgs e)
        {
            try
            {
                this.callBackCount = -1;
                if (this.videoTimer != null)
                {
                    this.videoTimer.Dispose();
                    this.videoTimer = null;
                }

                this.connectCompleteCount = 0;
                if (this.recordMode != RecordMode.JustAudio)
                {
                    this.dynamicCameraConnector.Disconnect();
                    this.dynamicCameraConnector = null;
                }

                if (this.recordMode != RecordMode.JustVideo)
                {
                    this.microphoneConnector.Disconnect();
                    this.microphoneConnector = null;
                }               

                this.button1.Enabled = true;
                this.button2.Enabled = false;
                this.label1.Visible = false;
                this.comboBox1.Enabled = true;
                this.comboBox_mode.Enabled = true;

                this.maker.Close(true);
                this.maker = null;
                MessageBox.Show("生成视频文件成功！");
            }
            catch (Exception ee)
            {
                MessageBox.Show("生成视频文件失败！"+ ee.Message);
            }
        }
    }