【Android音视频】Android TS流数据解析和回调

最新推荐文章于 2024-07-27 08:08:13 发布
最新推荐文章于 2024-07-27 08:08:13 发布
阅读量8.3k 收藏 9
点赞数 5
分类专栏： NDK-JNI C++涉及 TS流 Android音视频 文章标签： 音视频 jni ts 流媒体
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sslinp/article/details/83412559
版权

文章目录

为了解析传输到手机的TS流有效视频数据，进行预览播放和录制等功能，在网上看到的部分关于android播放TS流，如UDP预览播放，采取的方式真是够标新立异，如通过保存到本地ts文件然后播放，会有闪屏现象等，当然也有很多的播放器支持播放，如ffmepg-android，vlc-android，vitamio等等。我感觉这些库要么太大，要么有很多都不满足我的需求，所以我自己尝试学习和通过jni调用c++去解析ts流

以下文章是我本文学习并参考的部分感觉非常不错的，希望大家学习时可以看看，方便全面学习：

一、TS流简介

1. 什么是TS流 :

TS（Transport Stream，传输流），全称则是MPEG2-TS，主要应用于实时传送的节目，如实时广播的电视节目，机顶盒等。它的主要格式分别为h264/mpeg4，acc/MP3等，MPEG2-TS格式的特点就是要求从视频流的任一片段开始都是可以独立解码的。

2. 在学习TS流是需要了解的部分定义：

  • ES流：基本码流，不分段的音频、视频或其他信息的连续码流。

  • PES流：分包的ES流，通过添加PES头进行标记，PES包的长度是可变的

  • TS流：传输流，固定长度的封包（188B），便于解析和恢复错包，它包含三个部分：ts header、adaptation field、payload，如下图结构，ts header通过PID去识别数据包的内容，adaptation field为补充内容，payload即我们需要解析的pes数据。

    • 需要注意的是，一端TS流里面可能包含多个节目，这些在解析PAT和PMT时可以通过打印信息得到，在我代码里有注释，我的项目里固定只包含了一个，所以适配代码需要自己改动
3. 解析TS流的重点在于理解他的表结构：解析TS流的流程主要是通过对应的PID去分布解析我们需要的信息，从而截取出对应的有效数据

  • 节目关联表Program Association Table (PAT) 0x0000，通过PAT我们可以解析对应的PMT表的PID

  • 节目映射表Program Map Tables (PMT) 在PMT中解析出对应的视频和音频的PID值

  • 条件接收表Conditional Access Table (CAT) 0x0001

  • 网络信息表Network Information Table(NIT) 0x0010

  • 部分参数或者结构说明我在代码注释中给出

    图片来源：https://www.cnblogs.com/jiayayao/p/6832614.html

4. 解析流程：具体的对应结构在我上面列出的参考文章中都讲解的非常详细，本文主要写一个简单流程引导，做到一个快速集成到项目的目的
  1. 遍历TS流，通过同步字节查到ts header，sync byte: 1B，其值固定为0x47（需要考虑差错，buff拼接的情况）
  2. 获取PAT
  3. 根据PAT查询的PMT_PID查询对应的PMT的表
  4. 根据PMT查询对应的VEDIO_PID和AUDIO_PID
  5. 对应的PID解析视频和音频ParsePES
  6. 以下为解析流程结构图：
    2.png

二、TS流解析代码

本文给出的TS解析代码根据项目https://github.com/js2854/TSParser改动得来，该开源项目主要实现对TS文件的解析和各种信息的打印，我这边参考添加的改动：更改为TS流实现相应解析，增加的PES-音视频有效数据的解析，并通过jni输出到java层，添加android jni实现,数据缓存buff等，详细的方法都有部分注释，如有不明白，错误或侵权方面的问题请私信我，谢谢

  • Application.mk

      APP_PROJECT_PATH := $(call my-dir)
  APP_BUILD_SCRIPT := $(call my-dir)/Android.mk
  APP_ABI := armeabi armeabi-v7a
  APP_PLATFORM=android-23

  • Android.mk

      LOCAL_PATH := $(call my-dir)
  # Program
  include $(CLEAR_VARS)
  LOCAL_MODULE := tsparse
  LOCAL_SRC_FILES := jni_lib.cpp AACDecoder.cpp MFifo.cpp TSParser.cpp
  #LOCAL_C_INCLUDES := 	\
  #$(MY_LOCAL_ANDSRC)/system/core/include	\
  #$(MY_LOCAL_ANDSRC)/frameworks/native/include	\
  #$(MY_LOCAL_ANDSRC)/hardware/libhardware/include
  #LOCAL_CFLAGS := -DHAVE_PTHREADS
  LOCAL_C_INCLUDES += $(LOCAL_PATH)/prebuilt/include
  LOCAL_LDLIBS := -llog -lz -lGLESv2 -landroid -lOpenSLES 
  include $(BUILD_SHARED_LIBRARY)

  • jni_lib.cpp

      #ifndef UINT64_C
  #define UINT64_C(c) (c ## ULL)
  #endif
  
  #include "mdebug.h"
  #include <stdio.h>
  #include <stdlib.h>
  #include <string.h>
  #include <jni.h>
  #include <pthread.h>
  #include <unistd.h>
  #include <fcntl.h>
  #include "TSParser.h"
  
  static JavaVM *g_jvm = NULL;
  static TSParser * mpTSParser=NULL;
  
  pthread_mutex_t playMutex = PTHREAD_MUTEX_INITIALIZER;
  extern "C" {
  JNIEXPORT jint JNI_OnLoad(JavaVM * vm, void *reserved) {
  	JNIEnv *env = NULL;
  	jint result = -1;
  	mInfo("JNI_OnLoad");
  	if (vm->GetEnv((void**) &env, JNI_VERSION_1_4) != JNI_OK)
  		return -1;
  	g_jvm = vm;
  	mpCamera = new CUCamera();
  	return JNI_VERSION_1_4;
  }
  }
  ///
  int OnDestroy() {
  	if(mpTSParser){
  		mpTSParser->__stopThread();
  	    if (mpTSParser->TsDoloopThreadHandle)
  	            pthread_join(mpTSParser->TsDoloopThreadHandle, NULL);
  	    mpTSParser->TsDoloopThreadHandle=NULL;
  		delete mpTSParser;
  		mpTSParser = NULL;
  	}
  	return 0;
  }
  
  static void *_tmain(void * cc)
  {
  	if(mpTSParser!=NULL)
  	 	mpTSParser->Parse();
  }
  
  extern "C" {
  JNIEXPORT jint JNICALL Java_包名0_包名1_包名2_init(JNIEnv *env,
  		jobject obj);
  JNIEXPORT jint JNICALL Java_包名0_包名1_包名2_JniLib_PushTsData(JNIEnv * env, jobject obj,  jbyteArray jbArr,jint DataLen);
  JNIEXPORT void JNICALL Java_包名0_包名1_包名2_JniLib_initTS(JNIEnv *env,jobject obj);
  JNIEXPORT void JNICALL Java_包名0_包名1_包名2_JniLib_stopTsParse(JNIEnv *env,jobject obj);
  JNIEXPORT void JNICALL Java_包名0_包名1_包名2_JniLib_startTsParse(JNIEnv *env,jobject obj);
  }
  ;
  
  JNIEXPORT jint JNICALL Java_包名0_包名1_包名2_PushTsData(JNIEnv * env, jobject obj,  jbyteArray jbArr,jint DataLen)
  {
      if(!mpTSParser)
     		return -1;
     int ret = 0;
     jsize jlen = env->GetArrayLength(jbArr);
     jbyte* jbuf  =  env->GetByteArrayElements(jbArr, JNI_FALSE);
     char* buf  =  (char*)jbuf;
      mfxBitstreamTS *pBufTs = NULL;
     	while(true){
     		pBufTs = mpTSParser->GetEmptyTsBuf();
     		if(pBufTs==NULL||pBufTs->Data==NULL)
     		{
     			usleep(1);
     			continue;
     		}
     		break;
     	}
     	if (pBufTs == NULL ||pBufTs->Data == NULL) {
     		return -2;
     	}
     // mInfo("-----------------------PushTsFrame %d",DataLen); TS_TIMES
     memcpy(pBufTs->Data,(unsigned char *) jbuf, DataLen);
     pBufTs->DataLength = DataLen;
     mpTSParser->PushTsBuf(pBufTs);
     env->ReleaseByteArrayElements(jbArr, jbuf, 0);
     return ret;
  }
  
  JNIEXPORT void JNICALL Java_包名0_包名1_包名2_initTS(JNIEnv * env,
  		jobject thiz) {
      if(mpTSParser==NULL)
  	mpTSParser = new TSParser();
  	mpTSParser->initMemory();
  	mpTSParser->JavaMethodInit(g_jvm, thiz);
  	return;
  }
  
  
  JNIEXPORT void JNICALL Java_包名0_包名1_包名2_stopTsParse(JNIEnv * env,
  		jobject obj) {
  	if (!mpTSParser)
  			return ;
      mpTSParser->__stopThread();
      if (mpTSParser->TsDoloopThreadHandle)
              pthread_join(mpTSParser->TsDoloopThreadHandle, NULL);
      mpTSParser->TsDoloopThreadHandle=NULL;
      delete mpTSParser;
  
  	mpTSParser = NULL;
  }
  
  JNIEXPORT void JNICALL Java_包名0_包名1_包名2_startTsParse(JNIEnv * env,jobject obj ) {
  	if (!mpTSParser)
  				return ;
  	int ret_t;
  	struct sched_param param;
  	pthread_attr_t attr;
  	pthread_attr_init(&attr);
  	pthread_attr_setschedpolicy(&attr, SCHED_RR);
  	param.sched_priority = 90;
  	pthread_attr_setschedparam(&attr, &param);
  	ret_t = pthread_create(&mpTSParser->TsDoloopThreadHandle, &attr, _tmain,NULL);
  	if (ret_t) {
  		mLogW("pthread_create TsDoloopThreadHandle failed [%d] \n", ret_t);
  	}
  }
  
  JNIEXPORT jint JNICALL Java_包名0_包名1_包名2_CameraLib_init(JNIEnv *env,
  		jobject obj) {
  	mpCamera->JavaMethodInit(g_jvm, obj);
  
  	return 0;
  
  }

  • types.h 建议到参考开源项目中拷贝

  • TSParse.h

      #ifndef __TS_PARSER_H__
  #define __TS_PARSER_H__
  struct _HANDLE_
  {
  	unsigned int code;
  	void *pContext;
  };
  
  #include <assert.h>
  #include <errno.h>
  #include <stdio.h>
  #include "mdebug.h"
  #include <string.h>
  #include <fcntl.h>
  #include "types.h"
  #include <string.h>
  #include <stdlib.h>
  #include "MFifo.h"
  
  using namespace std;
  
  typedef enum TS_ERR
  {
      TS_OK = 0,
      TS_IN_PARAM_ERR,
      TS_SYNC_BYTE_ERR,
      TS_FILE_OPEN_FAIL,
      TS_FILE_SEEK_FAIL,
  }TS_ERR;
  
  
  
  // PID种类
  typedef enum E_PKT_TYPE
  {
      E_PAT       = 0,
      E_PMT       = 1,
      E_PCR       = 2,
      E_AUDIO     = 3,
      E_VIDEO     = 4,
      E_NIT       =5,
      E_SI       =6,
      E_MAX       = 7
  
  }E_PKT_TYPE;
  
  class TSPacket
  {
  public:
  //	 uint8 * bufH264pkt;//=new uint8[1024*2000];
  	 uint32 pktH264Len;//=0;
  	 uint32 pktAccLen;//=0;
  	 uint32 pktindex;//=0;
  	 bool get_PAT_Head=false;
  	 bool get_PMT_Head=false;
  	 mfxBitstreamTS *h264Buf;
  	 mfxBitstreamTS *__accBuf;
  
      TSPacket()
          : m_pBuf(NULL)
          , m_pHdr(NULL)
          , m_u16PID(PID_UNSPEC)
          , m_u8CC(0)
          , m_u16PMTPID(PID_UNSPEC)
          , m_u8StreamId(0)
          , m_s64PCR(INVALID_VAL)
          , m_s64PTS(INVALID_VAL)
          , m_s64DTS(INVALID_VAL)
      {
  
  //    	bufH264pkt=new uint8[1024*2000];
  
      	pktH264Len=0;
      	pktindex=0;
      	get_PAT_Head=false;
      	get_PMT_Head=fals
最低0.47元/天 解锁文章
sslinp
关注
专栏目录
MPEG2 TS小结
03-20 2010
应该说真正了解TS，还是看了朋友推荐的《数字电视业务信息及其编码》一书之后，MPEG2 TS和数字电视是紧密不可分割的，值得总结一下其中的一些关系。ISO/IEC－13818－1：系统部分；ISO/IEC－13818－2：视频；ISO/IEC－13818－3：音频；ISO/IEC－13818－4：一致性测试；ISO/IEC－13818－5：软件部分；ISO/IEC－13818－6：数字存储
Android 播放本地 ts 格式视频
WillWolf_Wang的博客
07-14 8537
Android 播放本地 ts 格式视频 上一篇文件讲述了如何录制 ts 格式的视频，那么如何播放录好的 ts 格式视频呢。 我一开始使用 MediaPlayer + SurfaceView 组合实现，我在代码中加了一个 mp4 格式的过滤，导致我播放时没有播放成功，误以为 MediaPlayer 不支持 ts 格式视频，看许多文档说明，也都是说 MediaPlayer 支持的格式为 mp4,3gp,mkv,webm，让我更确信了这点。 搜索 Google 文档，官方文档说 ExoPlayer 这个播放器功
Android 支持的媒体格式，(二)视频支持格式
最新发布
五味香的专栏
07-27 264
视频支持格式：
[Android N]MediaRecorder系列之StagefrightRecorder录制TS流flow(一)
izobs‘s linux-space
12-19 6499
mediaRecorder参数设置要录制出ts的码流，需要设置如下 //设置audio的采集源 mRecorder.setAudioSource(MediaRecorder.AudioSource.MIC); // 设置从摄像头采集图像 mRecorder.setVideoSource(MediaRecorder.VideoSource.CAMERA)
[Multimedia][TS]TS流的解析
weixin_34326429的博客
07-27 108
　　TS即是"Transport Stream"的缩写。他是分包发送的，每一个包长为188字节。在TS流里可以填入很多类型的数据，如视频、音频、自定义信息等。他的包的结构为，包头为4个字节，负载为184个字节（这184个字节不一定都是有效数据，有一些可能为填充数据）。 工作形式：　　因为在TS流里可以填入很多种东西，所以有必要有一种机制来确定怎么来标识这些数据。制定TS流标准的机构就规定了一些数...
android 屏幕推流 ts,GitHub - lzzkdxc/EasyRTMP-Android: RTMP推流直播：A simple, robust, low latency RTMP video...
weixin_30611667的博客
06-03 479
EasyRTMP-AndroidA simple, robust, low latency RTMP video&audio&screen stream pusher and recorder on android. 精炼、稳定、高效的安卓前/后摄像头/手机桌面屏幕采集、编码、RTMP/FLV直播推送工具，充分秉承了RTMP在即时通信领域中的技术特点，网络条件满足的情况下，延时控制...
android视频流分析,视频流和Android
weixin_39910043的博客
05-26 557
如果你想让操作系统使用默认播放器播放视频，你会使用这样的意图：String videoUrl = "insert url to video here";Intent i = new Intent(Intent.ACTION_VIEW);i.setData(Uri.parse(videoUrl));startActivity(i);然而，如果你想自己创建一个视图和流视频，一种方法是在你的布局中创建一...
android ts流解码,DVB开发之TS流的接收，解码与播放
weixin_28750379的博客
05-31 756
一、大概流程1、cable ts信号(signel)--》tuner--》demux-》video，audio解码编码-》输出显示2、本地tsfile--》demux-》video，audio解码编码-》输出显示如果有解扰逻辑，则需要在demux后对video，audio包解扰处理。3、对cable ts 的录制即信号(signel)--》tuner--》demux-》磁盘--》demux--》v...
android音视频点/直播模块开发
irainsa的博客
12-02 733
随着音视频领域的火热，在很多领域（教育，游戏，娱乐，体育，跑步，餐饮，音乐等）尝试做音视频直播/点播功能，那么作为开发一个小白，如何快速学习音视频基础知识，了解音视频编解码的传输协议，编解码方式，以及如何技术选型，如何解决遇到的坑，本文抛砖引玉，欢迎大咖交流。
17. Android MultiMedia框架完全解析 - MediaClock分析与音视频同步
做有意思的事情
07-20 1002
前言 这里的代码分析流程就是《15. Android MultiMedia框架完全解析 - Render流程分析》中的代码流程，上次主要关注的是buffer的交互流程，这次主要分析的是音视频同步，即AVsync。 1. 音视频同步概念与方法 音视频同步是一个播放器要处理的基本问题，音视频同步的好坏直接影响到播放效果。 解码后的音频片段和视频片段，都分别带有 pts 时间戳信息。回放时需要做的，就是尽量保证 apts（音频时间戳）和 vpts（视频时间戳），之间的差值是最小的。为了达到这个目的，就需要在 au
android4.4中对TS流的处理流程
11-05
android4.4中对TS流的处理流程的讲解。
TS流格式及解码框架介绍
02-04
TS流最早是用在数字广播电视中，随着苹果HLS协议以及Android的普及，在移动流媒体领域，越来越需要对于TS流的码流格式有个更深入的认识，本文就是收集网上的资源整合而成。如侵犯谁的版权，请告知，会尽快删除！
UDP发送TS流打包成RTMP推流到服务器
04-10
主要做对UDP发送的H264 AAC的音视频TS流做解包并重新打包成RTMP需要的格式，并推送至服务器，实现视频直播。 由于在前端是以H264 AAC编码，所以在后期实时封装RTMP时不需要重新编码，缩短了封装推流的时间。输入源为H264 AAC编码的视频流。
AndroiTS GPS Test Pro_1.46 Pro.apk
11-09
用来测试GPS，北斗有效星星的个数，很好用，很强大，已经付费.
ts流协议以及解析学习工具
09-25
1包含了ts流解析封装的官方文档以及中文翻译，以及公司的ts流培训文档。 以及方便学些ts流解析工具。2. TS流基本概念和数据结构.pdf 3 ts协议培训.pdf 4 iso-13818-1.pdf 5 ts协议详解.pdf
Android Audio基础——音频链路分析（十七）
小旭的专栏
12-06 971
Audacity 是一款免费的开源音频编辑和录音软件。它提供了多种功能，包括录音、剪切、复制、粘贴、混音、编辑效果等。Audacity 支持多种常见音频格式，如 MP3、WAV、AIFF 等，并且可以导入和导出这些格式的文件。使用 Audacity，用户可以轻松地录制声音，包括麦克风录音、线路输入录音和电脑音频录制。它还有一个直观的界面，可以让用户混合不同的音轨、编辑音频段落和应用各种效果，如音量调整、消音、回声、变速等。
python处理ts_TSParser.py: Python实现的一个解析MPEG-TS的小程序，解析PAT,PMT,PCR,PTS,DTS等信息...
weixin_39856265的博客
12-22 476
D:\git\TSParser.py>python TSParser.py demo.ts -p 0x0Open file success.Seek to first packet, offset: 0x00000000PktNo: 00000016, Offset: 0x00000BC0, PID: 0x0000, CC: 01 , PATPktNo: 00000480, Offset: ...
TS码流解析（一）TS Header
青山渺渺
04-25 1267
TS header和adaptation field解析
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值