直播技术（从服务端到客户端）一

最新推荐文章于 2023-04-11 10:21:42 发布

Jarlene

最新推荐文章于 2023-04-11 10:21:42 发布

阅读量1.7w

点赞数 14

分类专栏：直播 android ios windows linux

本文链接：https://blog.csdn.net/xwl198937/article/details/52371726

版权

ios 同时被 3 个专栏收录

8 篇文章 0 订阅

订阅专栏

android

6 篇文章 0 订阅

订阅专栏

直播

3 篇文章 1 订阅

订阅专栏

环境部署

2015年开始直播变得越来越流行，很多的直播平台也应运而生，直播是一个很有技术的项目，从服务端到客户端到web等等。我们将写一序列的博客来阐述直播中的技术，这包括服务端技术和客户端技术。包括最简单的服务端环境部署、客户端编译、采集、推流、拉流、美化特效、水印、延时优化、音视频同步、p2p等等。当然还可能包括一些信号处理的知识，比如滤波，傅里叶变换（FFT）。从本文开始我们将从环境部署开始，这包括两方面的环境部署即服务端和客户端。

1、服务端

在部署服务端环境其实包含很多东西的，最常用的web服务nginx，数据库Mysql、Nosql，api开发最多的三种选择：

java环境，需要jdk，tomcat/jboss
php环境，需要安装php，odp
lua环境，需要安装lua、luajit

考虑使用缓存技术，则主要包含redis和memcached。如果还要其他的日志统计（kafka什么的）需求则还需要更多的环境，我们这里不讨论，只是简单叙述
对于直播而言，我们需要部署两个东西，nginx(含nginx-rtmp-module)、ffmpeg，这两个是直播服务端的关键，下面我们简单讲述如何安装nginx(含nginx-rtmp-module)和ffmpeg以及如何配置nginx.conf。
首选我们来安装nginx和ffmpeg。
nginx下载地址：

官方release：http://nginx.org/en/download.html
gitHub地址：https://github.com/nginx/nginx

ffmpeg下载地址：

官方release：https://ffmpeg.org/download.html
gitHub地址：https://github.com/FFmpeg/FFmpeg

nginx-rtmp-module下载地址：https://github.com/arut/nginx-rtmp-module

其中nginx-rtmp-module是Google工程师开发的，在gitHub上有很多分支，根据自己的需求选择分支，我们这里选择master分支。
首选安装nginx和nginx-rtmp-module，在安装nginx的时候，会需要openssl、pcre、zlib这几个库。cd 进入nginx解压目录

./configure --prefix=/usr/local/nginx --with-pcre=/path/to/your/pcre/ --with-zlib=/path/to/your/zlib/ --with-openssl=/path/to/your/openssl/  --add-module=/path/to/your/nginx-rtmp-module

其中–prefix是指安装后nginx的目录，–with-pcre需要pcre库，/path/to/your/pcre/是指的pcre源代码路径，其他的同理。–add-module=/path/to/your/nginx-rtmp-module 这个是添加nginx-rtmp-module，将nginx-rtmp-module嵌入到nginx中，这样是nginx的强大之处-插件功能。
安装完成之后，在浏览器中输入localhost:8080则会出现如下画面：
nginx安装成功后输入地址画面
那么接下安装ffmpeg，解压ffmpeg并cd进去目录，执以下语句

./configure --enable-shared --prefix=/usr/local/ffmpeg

网上有很多安装ffmpeg的教程，这里不详细介绍。
如果安装成功后会，在终端中输入 ffmpeg -version会显示相关的信息。如果没有则可能没有安装成功。
安装完成之后我们来看看nginx.conf的配置信息。

worker_processes  2;

error_log  logs/error.log;
error_log  logs/error.log  notice;
error_log  logs/error.log  info;

pid        logs/nginx.pid;


events {
    worker_connections  128;
}


http {
    include       mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  logs/access.log  main;

    sendfile        on;

    keepalive_timeout  65;
    server_names_hash_bucket_size 128;
    client_header_buffer_size 32k;
    large_client_header_buffers 4 32k;
    client_max_body_size 300m;
    tcp_nopush     on;
    tcp_nodelay on;
    server_tokens off;
    gzip  on;
    gzip_min_length  1k;
    gzip_buffers     4 16k;
    gzip_http_version 1.1;
    gzip_comp_level 2;
    gzip_types     text/plain application/x-javascript text/css application/xml;
    gzip_vary on;
    include vhosts/*.conf;

}


#切换自动推送(多 worker 直播流)模式。默认为 off
#rtmp_auto_push on;

#当 worker 被干掉时设置自动推送连接超时时间。默认为 100 毫秒
#rtmp_auto_push_reconnect 1s;

#设置用于流推送的 UNIX 域套接字目录。默认为 /tmp
#rtmp_socket_dir /var/sock;
rtmp {
    server {
      listen 1935;

      #点播配置
      #application vod {
      #    play /opt/media/nginxrtmp/flv;
      #}

      #直播流配置
      application live {
          live on;
          #allow publish 127.0.0.1;
          #deny publish all;
          #allow play all;
      }
      #access_log logs/rtmp_access.log new;
      access_log logs/rtmp_access.log;
      access_log on;
    #HLS协议支持
    #application hls {
      #live on;
      #hls on;
      #hls_path /tmp/app;
      #hls_fragment 5s;
    #}
    #application hls{
    #   live on;
    #   hls on;
    #   hls_path /usr/local/Cellar/nginx-full/1.10.1/html/app;
    #   hls_fragment 1s;
    #}

  }

}

其中http相关的标签我这边不做详细的介绍，这个等一会用到api的时候详细介绍。下面我们看看rtmp标签，rtmp标签的意思是声明一个 RTMP 实例。在rtmp标签下面有server，它的意思是给 NGINX 添加一个监听端口以接收 RTMP 连接
application标签是创建一个 RTMP 应用。application 名的模式并不类似于 http location。这个以后再详细阐述。在这个配置中，我们只是配置了一个live，同时打开了log，其他的相关的参数我们现在不说明，等以后会专门介绍rtmp的配置文章介绍。
配置好了这个之后就是通过ffmpeg向server推流。ffmpeg的指令为：

ffmpeg -re -i /Users/jarlene/Downloads/test.flv -c copy -f flv rtmp://localhost:1935/live/steam

这里不详细介绍ffmpeg指令，因为接下来我们会有一篇专门的文章接受ffmpeg。
这个时候就可以用vlc播放器拉流看直播了。
rtmp流

到这里我们就简单讲述了nginx和ffmpeg安装和nginx.conf配置信息以及推流和观看

2、客户端

相对于服务端环境部署来说客户端环境部署复杂很多，尤其是在android平台，编译导入android studio等等过程都很复杂，ios平台还好，但是由于我个人喜爱，在此也会加上Windows客户端相配置，只不过windows会一段时间后更新。对于客户端主要就是编译ffmpeg。下面这段脚本是编译ffmpeg到android和ios平台的。

#/bin/bash
AndroidDest=`pwd`/FFmpeg-Android && rm -rf $AndroidDest
IOSDest=`pwd`/FFmpeg-iOS && rm -rf $IOSDest
SOURCE="ffmpeg-3.1.1"
THIN="$IOSDest/thin"
SCRATCH="$IOSDest/scratch"
echo $THIN
echo $SCRATCH

# if [ -d ffmpeg ]; then
#   cd ffmpeg
# else
#   git clone git://source.ffmpeg.org/ffmpeg.git ffmpeg
#   cd ffmpeg
# fi
if [ ! -r $SOURCE ]
    then
        echo 'FFmpeg source not found. Trying to download...'
        curl http://www.ffmpeg.org/releases/$SOURCE.tar.bz2 | tar xj \
            || exit 1
fi

function android() 
{
    cd $SOURCE
    # sed -i -e 's|SLIBNAME_WITH_MAJOR='\$(SLIBNAME).\$(LIBMAJOR)'|SLIBNAME_WITH_MAJOR='\$(SLIBPREF)\$(FULLNAME)-\$(LIBMAJOR)\$(SLIBSUF)'|' configure
    # sed -i -e 's|LIB_INSTALL_EXTRA_CMD='\$\$(RANLIB)"\$(LIBDIR)/\$(LIBNAME)"'|LIB_INSTALL_EXTRA_CMD='\$\$(RANLIB)"\$(LIBDIR)/\$(LIBNAME)"'|' configure
    # sed -i -e 's|SLIB_INSTALL_LINKS='\$(SLIBNAME_WITH_MAJOR)\$(SLIBNAME)'|SLIB_INSTALL_LINKS='\$(SLIBNAME)'|' configure
    NDK=/Users/jarlene/Library/Android/sdk/ndk-bundle
    SYSROOT=$NDK/platforms/android-19/arch-arm
    WORKING_DIR=`pwd`
    # Expand the prebuilt/* path into the correct one
    TOOLCHAIN=`echo $NDK/toolchains/arm-linux-androideabi-4.9/prebuilt/darwin-x86_64`
    export PATH=$TOOLCHAIN/bin:$PATH
    # Don't build any neon version for now
    for version in armv5te armv7a; do

        DEST=$AndroidDest
        FLAGS="--target-os=linux --cross-prefix=arm-linux-androideabi- --arch=arm"
        FLAGS="$FLAGS --sysroot=$SYSROOT"
        #FLAGS="$FLAGS --soname-prefix=/data/data/net.sourceforge.servestream/lib/"
        FLAGS="$FLAGS --enable-shared --disable-symver"
        # FLAGS="$FLAGS --enable-small --optimization-flags=-O2"
        #FLAGS="$FLAGS --extra-cflags=-I$NDK/platforms/android-23/arch-arm/usr/include/ffmpeg --extra-ldflags=-L$NDK/platforms/android-23/arch-arm/usr/lib"
        FLAGS="$FLAGS --disable-doc"
        # FLAGS="$FLAGS --enable-gpl"
        FLAGS="$FLAGS --disable-ffmpeg"
        FLAGS="$FLAGS --disable-ffplay"
        FLAGS="$FLAGS --disable-ffprobe"
        FLAGS="$FLAGS --disable-ffserver"
        # FLAGS="$FLAGS --enable-avdevice"
        # FLAGS="$FLAGS --enable-swresample"
        # FLAGS="$FLAGS --enable-swscale"
        FLAGS="$FLAGS --enable-postproc"
        # FLAGS="$FLAGS --enable-avfilter"
        # FLAGS="$FLAGS --disable-everything"
        # FLAGS="$FLAGS --enable-muxer=mov --enable-muxer=ipod --enable-muxer=psp --enable-muxer=mp4 --enable-muxer=avi "
        # FLAGS="$FLAGS --enable-demuxer=acc,flac,h263,h264,m4v,matroska,mp3,mpegvideo,ogg,pcm_alaw,pcm_f32be,pcm_f32le,pcm_f64be,pcm_f64le,pcm_mulaw,pcm_s16be,pcm_s16le,pcm_s24be"
        # FLAGS="$FLAGS --enable-demuxer=pcm_s24le,pcm_s32be,pcm_s32le,pcm_s8,pcm_u16be,pcm_u16le,pcm_u24be,pcm_u24le,pcm_u32be,pcm_u32le,pcm_u8,rtp,rtsp,sdp,wav"
        # FLAGS="$FLAGS --enable-parser=aac,aac_latm,flac,h263,h264,mpeg4video,mpegaudio,mpegvideo,vorbis,vp8"
        # FLAGS="$FLAGS --enable-decoder=aac,aac_latm,mp3,wmalossless,wmapro,wmav1,wmav2,wmavoice,mpeg4,h264"
        # FLAGS="$FLAGS --enable-protocol=http,https,mmsh,mmst,rtmp,hls,file,rtsp"
        FLAGS="$FLAGS --disable-debug"

        case "$version" in
            neon)
                EXTRA_CFLAGS="-march=armv7-a -mfloat-abi=softfp -mfpu=neon"
                EXTRA_LDFLAGS="-Wl,--fix-cortex-a8"
                # Runtime choosing neon vs non-neon requires
                # renamed files
                ABI="armeabi-v7a"
                ;;
            armv7a)
                EXTRA_CFLAGS="-march=armv7-a -mfloat-abi=softfp"
                EXTRA_LDFLAGS=""
                ABI="armeabi-v7a"
                ;;
            *)
                EXTRA_CFLAGS=""
                EXTRA_LDFLAGS=""
                ABI="armeabi"
                ;;
        esac
        DEST="$DEST/$ABI"
        FLAGS="$FLAGS --prefix=$DEST"

        mkdir -p $DEST
        echo $FLAGS --extra-cflags="$EXTRA_CFLAGS" --extra-ldflags="$EXTRA_LDFLAGS" > $DEST/info.txt
        ./configure $FLAGS --extra-cflags="$EXTRA_CFLAGS" --extra-ldflags="$EXTRA_LDFLAGS" | tee $DEST/configuration.txt
        [ $PIPESTATUS == 0 ] || exit 1
        make clean
        make -j4 || exit 1
        make install || exit 1

    done
    cd ..

}

function ios()
{
    mkdir -p $IOSDest
    CONFIGURE_FLAGS="--enable-cross-compile --disable-debug --disable-programs \
    --disable-doc --enable-pic"

    if [ "$X264" ]
        then
        CONFIGURE_FLAGS="$CONFIGURE_FLAGS --enable-gpl --enable-libx264"
    fi

    if [ "$FDK_AAC" ]
        then
        CONFIGURE_FLAGS="$CONFIGURE_FLAGS --enable-libfdk-aac"
    fi

    # avresample
    #CONFIGURE_FLAGS="$CONFIGURE_FLAGS --enable-avresample"
    # arm64 armv7 x86_64 i386

    ARCHS="arm64 armv7 x86_64"

    COMPILE="y"
    LIPO="y"

    DEPLOYMENT_TARGET="6.0"

    if [ "$*" ]
        then
        if [ "$*" = "lipo" ]
            then
            # skip compile
            COMPILE=
        else
            ARCHS="$*"
            if [ $# -eq 1 ]
                then
                # skip lipo
                LIPO=
            fi
        fi
    fi

    if [ "$COMPILE" ]
        then
        if [ ! `which yasm` ]
            then
            echo 'Yasm not found'
            if [ ! `which brew` ]
                then
                echo 'Homebrew not found. Trying to install...'
                ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" \
                || exit 1
            fi
            echo 'Trying to install Yasm...'
            brew install yasm || exit 1
        fi
        if [ ! `which gas-preprocessor.pl` ]
            then
            echo 'gas-preprocessor.pl not found. Trying to install...'
            (curl -L https://github.com/libav/gas-preprocessor/raw/master/gas-preprocessor.pl \
                -o /usr/local/bin/gas-preprocessor.pl \
                && chmod +x /usr/local/bin/gas-preprocessor.pl) \
            || exit 1
        fi

        # if [ ! -r $SOURCE ]
        # then
        #   echo 'FFmpeg source not found. Trying to download...'
        #   curl http://www.ffmpeg.org/releases/$SOURCE.tar.bz2 | tar xj \
        #       || exit 1
        # fi
        cd $SOURCE
        configHeaderFile="$SOURCE/config.h"
        make clean
        if [ ! -f "$configHeaderFile" ]; then 
            # echo $configHeaderFile
            rm config.h
        fi
        cd ..
        CWD=`pwd`
        echo $CWD
        for ARCH in $ARCHS
        do
            echo "building $ARCH..."
            mkdir -p "$SCRATCH/$ARCH"
            cd "$SCRATCH/$ARCH"

            CFLAGS="-arch $ARCH"
            if [ "$ARCH" = "i386" -o "$ARCH" = "x86_64" ]
                then
                PLATFORM="iPhoneSimulator"
                CFLAGS="$CFLAGS -mios-simulator-version-min=$DEPLOYMENT_TARGET"
            else
                PLATFORM="iPhoneOS"
                CFLAGS="$CFLAGS -mios-version-min=$DEPLOYMENT_TARGET -fembed-bitcode"
                if [ "$ARCH" = "arm64" ]
                    then
                    EXPORT="GASPP_FIX_XCODE5=1"
                fi
            fi

            XCRUN_SDK=`echo $PLATFORM | tr '[:upper:]' '[:lower:]'`
            CC="xcrun -sdk $XCRUN_SDK clang"
            CXXFLAGS="$CFLAGS"
            LDFLAGS="$CFLAGS"
            if [ "$X264" ]
                then
                CFLAGS="$CFLAGS -I$X264/include"
                LDFLAGS="$LDFLAGS -L$X264/lib"
            fi
            if [ "$FDK_AAC" ]
                then
                CFLAGS="$CFLAGS -I$FDK_AAC/include"
                LDFLAGS="$LDFLAGS -L$FDK_AAC/lib"
            fi

            TMPDIR=${TMPDIR/%\/} $CWD/$SOURCE/configure \
            --target-os=darwin \
            --arch=$ARCH \
            --cc="$CC" \
            $CONFIGURE_FLAGS \
            --extra-cflags="$CFLAGS" \
            --extra-ldflags="$LDFLAGS" \
            --prefix="$THIN/$ARCH" \
            || exit 1

            make -j3 install $EXPORT || exit 1
            cd $CWD
        done
    fi

    if [ "$LIPO" ]
        then
        echo "building fat binaries..."
        mkdir -p $IOSDest/lib
        set - $ARCHS
        CWD=`pwd`
        cd $THIN/$1/lib
        for LIB in *.a
        do
            cd $CWD
            echo lipo -create `find $THIN -name $LIB` -output $IOSDest/lib/$LIB 1>&2
            lipo -create `find $THIN -name $LIB` -output $IOSDest/lib/$LIB || exit 1
        done

        cd $CWD
        cp -rf $THIN/$1/include $IOSDest
    fi
    echo Done
}

ios
android

这段脚本可以编译出android和ios的两个平台的配置，当然根据你的需求在configure中配置需要的东西，否则ffmpeg编译出来之后还是很大。
顺便解释一下：SOURCE=”ffmpeg-3.1.1”这个是release ffmpeg的版本，通过curl去下载，然后会在脚本的目录出下载并解压生成一个ffmpeg-3.1.1目录。
这个脚本有两个事情需要说明：

如果不修改configure文件，android平台编译出来的so文件名有问题，会在.so后面带上版本号，这个在android中识别不了的。
如果修改了configure文件，在编译ios平台的时候会遇到一个no file or directory的问题。导致完成后install的时候失败。
建议：
先编译ios平台，然后在修改configure，具体修改如下:

将下面的内容

SLIBNAME_WITH_MAJOR='$(SLIBNAME).$(LIBMAJOR)'
LIB_INSTALL_EXTRA_CMD='$$(RANLIB) "$(LIBDIR)/$(LIBNAME)"'
SLIB_INSTALL_NAME='$(SLIBNAME_WITH_VERSION)'
SLIB_INSTALL_LINKS='$(SLIBNAME_WITH_MAJOR) $(SLIBNAME)'

修改为：

SLIBNAME_WITH_MAJOR='$(SLIBPREF)$(FULLNAME)-$(LIBMAJOR)$(SLIBSUF)'
LIB_INSTALL_EXTRA_CMD='$$(RANLIB) "$(LIBDIR)/$(LIBNAME)"'
SLIB_INSTALL_NAME='$(SLIBNAME_WITH_MAJOR)'
SLIB_INSTALL_LINKS='$(SLIBNAME)'

当然如果你是shell脚本高手，在编译android的时候通过sed命令将上面提到内容进行修改也是可以的。
编译完成之后将编译出来的lib（so文件或者.a文件）和include（头文件）拷贝到你android studio中和xcode中。android具体如图：
android
gradle脚本配置：

ndk {
            moduleName "FFPlayer"
            stl "stlport_static"
            cFlags "-std=gnu++11 -DGL_GLEXT_PROTOTYPES"
            abiFilters "armeabi", "armeabi-v7a"
            String basePath = new File("./").canonicalPath + "/ffplaylib/src/main/jniLibs/armeabi/"
            String libavcodec =  basePath + "libavcodec-54.so"
            String libavdevice = basePath + "libavdevice-54.so"
            String libavfilter = basePath + "libavfilter-3.so"
            String libavformat = basePath + "libavformat-54.so"
            String libavutil = basePath + "libavutil-51.so"
            String libswresample = basePath + "libswresample-0.so"
            String libswscale = basePath + "libswscale-2.so"

            ldLibs "log","GLESv2","dl", "GLESv1_CM","GLESv2", "android",libavcodec, libavdevice, libavfilter, libavformat, libavutil,libswresample,libswscale

        }

    sourceSets {
        main {
            jni.srcDirs  "src/main/jni", "src/main/jni/include","src/main/jni/include/libavcodec","src/main/jni/include/libavdevice","src/main/jni/include/libavfilter",
                    "src/main/jni/include/libavformat","src/main/jni/include/libavutil","src/main/jni/include/libswresample",
                    "src/main/jni/include/libswscale", "src/main/jni/SDL", "src/main/jni/SDL/include"
            jniLibs.srcDirs "src/main/jinLibs"
        }
    }

第一个是ndk配置，配置moduleName等，同时指定本地依赖libavcodec等so库。
sourceSets主要是制定include头文件路径。
这样就能移植进入android studio中，而不是在eclipse中。

而对ios想到简单一些。具体如图：
这里写图片描述
因为这边是用swift写的应用，所以还需要指定Swift compiler和Search path

Search path：
这里写图片描述

Swift compiler
这里写图片描述

Swift compiler的头文件如下：
这里写图片描述

做完这些之后就可以在代码中直接引用了。
这里写图片描述

在android中是通过jni调用Native代码的，这里我就详细介绍了。

3、总结

本文讲述从服务端到客户基本环境部署，其中包括一些关键的东西点。下一篇直播技术的文章将阐述android和ios如何播放视频代码。再之后将会详细介绍ffmpeg以及其基本架构。之后会叙述服务端nginx.conf基本配置以及客户端采集推流相关的东西。

Jarlene

关注

14
点赞
踩
67

收藏

觉得还不错? 一键收藏
9
评论
直播技术（从服务端到客户端）一

环境部署2015年开始直播变得越来越流行，很多的直播平台也应运而生，直播是一个很有技术的项目，从服务端到客户端到web等等。我们将写一序列的博客来阐述直播中的技术，这包括服务端技术和客户端技术。包括最简单的服务端环境部署、客户端编译、采集、推流、拉流、美化特效、水印、延时优化、音视频同步、p2p等等。当然还可能包括一些信号处理的知识，比如滤波，傅里叶变换（FFT）。从本文开始我们将从环境部署开始，这
复制链接

扫一扫