rgb pcm 转 mp4

最新推荐文章于 2024-03-08 18:15:06 发布
最新推荐文章于 2024-03-08 18:15:06 发布
阅读量2.4k 收藏 1
点赞数
分类专栏： ffmpeg 学习 文章标签： 音视频
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TM1695648164/article/details/121274083
版权

视频编码
1.读取RGB文件转换为yuv
2.压缩为h264
3.封装为MP4

YUV
1.“Y"表示明亮度,也就是灰度值
2.而"U” 和 “V” 则表示色度

音视频类的封装
1.对外使用接口类，对象由内部创建
2.隐藏ffmpeg,调用者不需要引用ffmpeg头文件

通过ffmpeg工具抽取数据
1.ffmpeg -i test.mp4 -f s16le test.pcm
2.ffmpeg -i test.mp4 -pix_fmt bgra test.rgb

CMakeLists.txt

cmake_minimum_required(VERSION 3.4.1)
project(ffmpeg_pro VERSION 0.1.0 LANGUAGES CXX C)
##配置 预编译库 如ffmpeg库 路径
 
# find_library(AVCODEC_LIBRARY avcodec)
# find_library(AVFORMAT_LIBRARY avformat)
# find_library(AVUTIL_LIBRARY avutil)
# find_library(AVDEVICE_LIBRARY avdevice)
##加入预编译库的头文件 如ffmpeg库 的头文件
#include_directories(include)

include_directories(./)
add_executable(ffmpeg_pro rgb_pcm_to_mp4.cpp XVideoWriter.cpp)
message(STATUS ${AVCODEC_LIBRARY})

target_link_libraries(
	ffmpeg_pro  
	pthread 
	swresample 
	m 
	swscale 
	avformat	
	avcodec 
	avutil 
	avfilter 
	avdevice 
	postproc 
	z 
	lzma  
	rt)

XVideoWriter.h

#pragma once
#include <string>

class AVPacket;
enum XSAMPLEFMT
{
	X_S16 = 1,
	X_FLATP = 8
};

class XVideoWriter
{
public:
	//视频输入参数
	int inWidth = 848;
	int inHeight = 480;
	int inPixFmt = 28;//30 //AV_PIX_FMT_BGRA

	//音频的输入参数
	int inSampleRate = 44100;
	int inChannels = 2;
	XSAMPLEFMT inSampleFmt = X_S16;

	//视频输出参数
	int vBitrate = 4000000;
	int outWidth = 848;
	int outHeight = 480;
	int outFPS = 25;

	//音频输出参数
	int aBitrate = 64000;
	int outChannels = 2;
	int outSampleRate = 44100;
	XSAMPLEFMT outSampleFmt = X_FLATP;

	int nb_sample = 1024; //输入输出的每帧数据每通道样本数量

	virtual bool Init(const char* file) = 0;
	virtual void Close() = 0;
	virtual bool AddVideoStream() = 0;
	virtual bool AddAudioStream() = 0;
	//把转yuv和编码放在一起做
	virtual AVPacket *EncodeVideo(const unsigned char *rgb) = 0;
	virtual AVPacket *EncodeAudio(const unsigned char *pcm) = 0;
	virtual bool WriteHead() = 0;
	//尾部文件没有写会视频不能拖动，时长不对

	//会释放pkt的空间
	virtual bool WriteFrame(AVPacket *pkt) = 0;

	virtual bool WriteEnd() = 0;

	virtual bool IsVideoBefore() = 0;


	static XVideoWriter *Get(unsigned short index = 0);
	~XVideoWriter();
	std::string filename;
protected:
	XVideoWriter();	
};

XVideoWriter.cpp

#include "XVideoWriter.h"

extern "C"
{
	#include <libavformat/avformat.h>
	#include <libswscale/swscale.h>
	#include <libavutil/opt.h>
	#include <libswresample/swresample.h>
}

#include <iostream>
using namespace std;

class CXVideoWriter : public XVideoWriter
{
public:
	AVFormatContext *ic = NULL; //封装mp4输出上下文
	AVCodecContext *vc = NULL; //视频编码器上下文
	AVCodecContext *ac = NULL; //音频编码器山下文
	AVStream *vs =  NULL; //视频流
	AVStream *as = NULL; //音频流
	SwsContext *vsc = NULL; //像素转换的上下文
	SwrContext *asc = NULL; //音频重采样上下文

	AVFrame *yuv = NULL; //输出yuv
	AVFrame *pcm = NULL; //重采样后输出的pcm

	int vpts = 0; //视频的pts;
	int apts = 0; //音频的pts;

	void Close()
	{
		if(ic) avformat_close_input(&ic);
		
		if(vc) 
		{
			avcodec_close(vc);
			avcodec_free_context(&vc);
		}
		if(ac)
		{
			avcodec_close(ac);
			avcodec_free_context(&ac);
		}
		if(vsc)
		{
			sws_freeContext(vsc);
			vsc = NULL;
		}

		if(yuv){ av_frame_free(&yuv);}
		if(pcm){ av_frame_free(&pcm);}

		if(asc)
		{
			swr_free(&asc);
		}

	}
	bool Init(const char* file)
	{
		Close();
		//封装文件的上限文
		avformat_alloc_output_context2(&ic,NULL,NULL,file);
		if(!ic)
		{
			cerr<<"avformat_alloc_output_context2 failed!"<<endl;
			return false;
		}
		filename = file;
		return true;
 	}
	bool AddVideoStream()
	{

		if(!ic) return false;
		//1.视频编码器创建
		AVCodec *codec = avcodec_find_encoder(AV_CODEC_ID_H264);
		if(!codec)
		{
			cerr<<"avcodec_find_encoder AV_CODEC_ID_H264 failed!"<<endl;
			return false;
		}
		vc = avcodec_alloc_context3(codec);
		if(!vc)
		{
			cerr<<"avcodec_alloc_context3 failed!"<<endl;
			return false;
		}
		//比特率，压缩后每秒大小
		vc->bit_rate = vBitrate;
		vc->width = outWidth;
		vc->height = outHeight;

		//时间基数
		vc->time_base = {1,outFPS};
		vc->framerate = {outFPS,1};
		
		//画面组大小,多少帧一个关键帧
		vc->gop_size = 50;
		//两个非b帧之间的b帧数量
		vc->max_b_frames = 0;
		//像素格式
		vc->pix_fmt = AV_PIX_FMT_YUV420P;
		//编码id
		vc->codec_id = AV_CODEC_ID_H264;
		//选项的设置
		av_opt_set(vc->priv_data,"preset","superfast",0);
		//统一的封装头
		vc->flags |= AV_CODEC_FLAG_GLOBAL_HEADER;
		//打开编码器
		int ret = avcodec_open2(vc,codec,NULL);
		if(ret != 0)
		{
			cerr<<"avcodec_open2 failed!"<<endl;
			return false;
		}
		cout<<"avcodec_open2 success!"<<endl;

		//添加视频流到上下文
		vs = avformat_new_stream(ic,NULL);
		//不包含编码信息
		vs->codecpar->codec_tag = 0;
		//把编码器信息拷贝到封装流里面
		avcodec_parameters_from_context(vs->codecpar,vc);
		av_dump_format(ic,0,filename.c_str(),1);


		//像素(尺寸)转换的上下文 rgb to yuv
		vsc = sws_getCachedContext(vsc,
			inWidth,inHeight,(AVPixelFormat)inPixFmt,//输入参数
			outWidth,outHeight,AV_PIX_FMT_YUV420P,
			SWS_BICUBIC,
			NULL,NULL,NULL
			);
		if(!vsc)
		{
			cerr<<"sws_getCachedContext failed!"<<endl;
			return false;
		}

		if(!yuv)
		{
			//对对象成员初始化
			yuv = av_frame_alloc();
			yuv->format = AV_PIX_FMT_YUV420P;
			yuv->width = outWidth;
			yuv->height = outHeight;
			//需要指定pts 每一帧加1
			yuv->pts = 0;

			//创建yuv 空间
			int ret = av_frame_get_buffer(yuv,32);
			if(ret != 0)
			{
				cerr<<"sws_getCachedContext failed!"<<endl;
				return false;
			}
		}

		return true;		
	}
	AVPacket *EncodeVideo(const unsigned char *rgb)
	{
		AVPacket *p = NULL;
		uint8_t *inData[AV_NUM_DATA_POINTERS] = { 0 };
		inData[0] = (uint8_t *)rgb;

		int insize[AV_NUM_DATA_POINTERS] = {0};
		insize[0] = inWidth * 4;

		//rgb to yuv
		int h = sws_scale(vsc, inData,insize,0,inHeight,
			yuv->data,yuv->linesize);
		if(h<0)
			return NULL;
		//cout<<h<<"|";
		yuv->pts = vpts;
		vpts++;
		//encode
		int ret = avcodec_send_frame(vc,yuv);
		if(ret != 0)
		{
			return NULL;
		}
		p = av_packet_alloc();
		ret = avcodec_receive_packet(vc,p);
		if(ret != 0 || p->size <= 0)
		{
			av_packet_free(&p);
			return NULL;
		}
		av_packet_rescale_ts(p,vc->time_base,vs->time_base);	
		p->stream_index = vs->index;
		return p;
	}

	bool WriteHead()
	{
		if(!ic) return false;		
		//打开io
		int ret = avio_open(&ic->pb,filename.c_str(),AVIO_FLAG_WRITE);
		if(ret != 0)
		{
			cerr<<"avio_open failed!"<<endl;
			return false;
		}
		cout<<"write "<<filename<<" head success"<<endl;

		//写入封装头
		ret = avformat_write_header(ic,NULL);
		if(ret != 0)
		{
			cerr<<"avformat_write_header failed!"<<endl;
			return false;
		}
		cout<<"write "<<filename<<" head success"<<endl;

		return true;
	}

	bool WriteFrame(AVPacket *pkt)
	{
		if(!ic || !pkt || pkt->size <= 0) return false;
		//av_write_frame
		if(av_interleaved_write_frame(ic,pkt) != 0) return false;
		return true;
	}

	virtual bool WriteEnd()
	{
		if(!ic || !ic->pb) return false;
		//写入尾部信息和索引
		if(av_write_trailer(ic) != 0)
		{
			cerr<<"av_write_trailer failed!"<<endl;
			return false;
		}

		//关闭输入io
		if(avio_close(ic->pb) != 0)
		{
			cerr<<"avio_close failed!"<<endl;
			return false;
		}
		cout<<"WriteEnd success!"<<endl;
		return true;
	}

	bool AddAudioStream()
	{
		//1.找到音频编码
		AVCodec *codec = avcodec_find_encoder(AV_CODEC_ID_AAC);
		if(!codec)
		{
			cerr<<"avcodec_find_encoder AV_CODEC_ID_AAC failed!"<<endl;
			return false;
		}
		//2.创建并打开音频编码器
		ac = avcodec_alloc_context3(codec);
		if(!ac)
		{
			cerr<<"avcodec_alloc_context3 failed!"<<endl;
		}

		ac->bit_rate = aBitrate;
		ac->sample_rate = outSampleRate;
		ac->sample_fmt = (AVSampleFormat)outSampleFmt;
		ac->channels = outChannels;
		ac->channel_layout = av_get_default_channel_layout(outChannels);
		ac->flags |= AV_CODEC_FLAG_GLOBAL_HEADER;
		int ret = avcodec_open2(ac,codec,NULL);
		if(ret != 0)
		{
			avcodec_free_context(&ac);
			cerr<<"avcodec_open2 failed!"<<endl;
			return false;
		}
		cout<<"avcodec_open2 AV_CODEC_ID_AAC success"<<endl;
		//新曾音频流
		as = avformat_new_stream(ic,NULL);
		if(!as)
		{
			cerr<<"avformat_new_stream failed!"<<endl;
			return false;
		}
		//参数设置
		as->codecpar->codec_tag = 0;
		avcodec_parameters_from_context(as->codecpar,ac);
		av_dump_format(ic,0,filename.c_str(),1);

		//音频重采样上下文
		asc = swr_alloc_set_opts(asc,
			ac->channel_layout,ac->sample_fmt,ac->sample_rate,//输入格式
			av_get_default_channel_layout(inChannels),(AVSampleFormat)inSampleFmt,inSampleRate,
			0,0);
		ret = swr_init(asc);
		if(ret != 0)
		{
			cerr<<"swr_init failed！"<<endl;
			return false;
		}
		//音频重采样后输出AVFrame
		if(!pcm)
		{
			pcm = av_frame_alloc();
			pcm->format = ac->sample_fmt;
			pcm->channels = ac->channels;
			pcm->channel_layout = ac->channel_layout;
			pcm->nb_samples = nb_sample;//一帧音频的采样数量
			ret = av_frame_get_buffer(pcm,0);
			if(ret < 0)
			{
				cerr<<"av_frame_get_buffer failed "<<endl;
				return false;
			}
			cout<<"audio av_frame_get_buffer success"<<endl;
		}
		return true;
	}
	AVPacket* EncodeAudio(const unsigned char *d)
	{
		const uint8_t *data[AV_NUM_DATA_POINTERS] = {0};
		data[0] = (uint8_t *)d;
		int len = swr_convert(asc,pcm->data,pcm->nb_samples,
			data,pcm->nb_samples);
		cout<<len<<"*";

		//2音频编码
		int ret = avcodec_send_frame(ac,pcm);
		if(ret != 0)
		{
			return NULL;
		}
		//需要对pkt进行释放
		AVPacket *pkt = av_packet_alloc();
		av_init_packet(pkt);
		ret = avcodec_receive_packet(ac,pkt);
		if(ret != 0)
		{
			av_packet_free(&pkt);
			return NULL;
		}
		cout<<pkt->size<<"|";
		pkt->stream_index = as->index;
		pkt->pts = apts;
		pkt->dts = pkt->pts;
		apts += av_rescale_q(pcm->nb_samples,{1,ac->sample_rate},ac->time_base);
		return pkt;
	}

	bool IsVideoBefore()
	{	
		if(!ic || !as || !vs) 
		{
			std::cout<<"!ic || !as || !vs = false"<<std::endl;
			return false;
		}

		int ret = av_compare_ts(vpts,vc->time_base,apts,ac->time_base);
		if(ret <= 0)
		{
			std::cout<<"IsVideoBefore = true"<<std::endl;	
			return true;
		}
		std::cout<<"IsVideoBefore = false"<<std::endl;
		return false;
	}
};

XVideoWriter* XVideoWriter::Get(unsigned short index)
{
	static bool isfirst = true;
	if(isfirst)
	{
		av_register_all();
		avcodec_register_all();
		isfirst = false;
	}

	static CXVideoWriter wrs[65535];
	return &wrs[index]; 
}

XVideoWriter::XVideoWriter()
{

}

XVideoWriter::~XVideoWriter()
{

}

bool XVideoWriter::AddVideoStream()
{
	return true;
}

rgb_pcm_to_mp4.cpp

#include "XVideoWriter.h"
#include <iostream>
using namespace std;
int main()
{
	char outfile[] = "rgbpcm.mp4";
	char rgbfile[] = "test.rgb";
	char pcmfile[] = "test.pcm";

	XVideoWriter *xw = XVideoWriter::Get(0);
	cout<<xw->Init(outfile);
	cout<<xw->AddVideoStream();
	xw->AddAudioStream();
	FILE *fp = fopen(rgbfile,"rb");
	if(!fp)
	{
		cout<<"fopen "<<rgbfile<<" failed!"<<endl;
		return  -1;
	}

	FILE *fa = fopen(pcmfile,"rb");
	if(!fa)
	{
		cout<<"open "<<pcmfile<<" failed!"<<endl;
		return -1;
	}


	int size = xw->inWidth*xw->inHeight*4;
	unsigned char *rgb = new unsigned char[size];

	int asize = xw->nb_sample * xw->inChannels * 2;
	unsigned char *pcm = new unsigned char[asize];
	xw->WriteHead();
	AVPacket *pkt = NULL;
	int len = 0;
	for(;;)
	{
		if(xw->IsVideoBefore())
		{
			len = fread(rgb,1,size,fp);
			if(len<=0)
				break;
			pkt = xw->EncodeVideo(rgb);
			if(pkt) 
				cout<<".";
			else
			{
				cout<<"-";
				continue;
			}
			if(xw->WriteFrame(pkt))
			{
				cout<<"+";
			}
		}
		else
		{		
			len = fread(pcm,1,asize,fa);
			if(len <= 0) break;
			pkt = xw->EncodeAudio(pcm);
			xw->WriteFrame(pkt);
		}
	}
	xw->WriteEnd();
	delete rgb;
	rgb = NULL;
	cout<<"\n===========================end===========================\n";
	//rgb 转 yuv

	//编码视频
	return 0;
}
虾球xz
关注
专栏目录
pcm+H264封装MP4代码
SBADHWM的专栏
11-17 6942
昵称：海鱼           日期：2014年10月10日—2014年101月17日 1．本周已完成任务：________________________________________________________ _______________________________________________________________________________________
pcm vlc 文件_libvlc —— 播放器示例程序[C++代码实现攫取 RGB图像 和 PCM音频 数据功能]...
weixin_39557419的博客
12-20 522
在我以前的实际项目中，曾利用 libvlc 去解码音视频媒体数据(如 RTSP、本地文件 等)，通过其提供的回调函数接口，攫取 RGB图像 进行图像分析，如 人脸识别、运动检测 等一类的产品应用。除此之外，只要提供适当的 MRL，配合选项参数，VLC 还可以进行屏幕录制、摄像头图像采集、麦克风音频采集 等功能。我在网上参看过很多人提供的示例源码，实现流程都很初潜，只适合当作学习的 Demo 来看，...
pcm文件转换
08-09
pcm文件转换为wav文件
音视频PCM转换
03-17
在开始尝试在格式之间转换音频之前，您需要了解音频存储的一些基本知识。如果您已经知道了这一点，请跳过这一部分，但如果要避免发现您试图完成的转换是不允许的，那么对一些关键概念有基本的掌握是很重要的。首先要理解的是压缩和未压缩音频格式之间的区别。所有音频格式都属于这两大类中的一种
pcm 采样率转换_MacMP4格式转换工具
weixin_39766014的博客
10-24 541
想把你最喜欢的视频转换成常用的MP4格式吗？试试AnyMP4 MP4 Converter for Mac吧！AnyMP4 MP4 Converter Mac版是一款运行在MacOS平台上的MP4格式转换工具。AnyMP4 MP4 Converter可以在Mac上以最快的速度和出色的质量将DVD光盘/电影转换为MP4。此外，它可以将MTS，M2TS，AVI，WMV，MKV，MOV和更多视频转换为Ma...
利用mp4v2将h264和pcm文件打包成mp4文件
05-27
本程序利用mp4v2将h264和pcm文件打包成mp4， 测试命令为Debug目录下执行：conver_mp4.exe 1280 720 16000 enc.h264 000.pcm out.mp4； conver_mp4.exe 视频宽 视频高 音频采样率 h264文件 pcm文件 输出mp4文件
音视频编码实战-------pcm+yuv数据转成MP4
m0_60565784的博客
07-12 1346
avcodec_parameters_from_context:将编码器上下文中的参数拷贝到音视频流中的编码器参数中AVCodecParameters。编码器上下文的flags要设置一下AV_CODEC_FLAG_GLOBAL_HEADER这个参数,不然的话很多视频播放器是播放不了的,尤其是视频流。av_packet_alloc得到的数据必须要设置stream_index,不然stream_index都默认为0了。swr_alloc_set_opts:设置重采样配置参数,并且分配重采样器上下文。
基于FFmpeg将pcm+rgb编码并封装MP4
07-18
ffmpeg将PCM音频数据和RGB视频数据转码、编码成AAC+H264，再通过内存读写数据封装MP4格式 https://blog.csdn.net/u010872301/article/details/81105757
RGB_PCM数据封装.rar
11-02
在FFmpeg中，我们可以使用`ffmpeg`命令行工具将RGB和PCM数据分别编码，然后封装到一个容器格式，如MP4或MKV中。这个过程通常包括以下步骤： 1. **编码RGB图像**：首先，将RGB图像序列编码为H264视频流。H264是一种...
pcm-yuv(rgb)-tools
05-23
标题“pcm-yuv(rgb)-tools”涉及的是与视频和音频处理相关的工具，主要集中在YUV、RGB和PCM编码格式上。这些格式在数字媒体、图像处理和计算机视觉领域非常重要。 YUV是视频编码的一种颜色空间，广泛应用于电视系统...
纯pcm格式音频文件，可用于视频格式转换的程序测试
04-02
内含pcm格式的音频文件，可用于视频格式转换的程序的测试，本人亲测效果不错
h264 pcm to mp4
04-16
MP4V2将PCM 转化为AAC H264转化为MP4,最后封装在一起。
h264,pcm 写入 mp4或mp3
10-25
(windows 下的工程) 使用ffmpeg对YUV420p编码成h264,对PCM编码成AAC. 并写入mp4. 或单独将aac写入mp3. 使用单独线程进行编码并写入文件. 自带数据缓存. 音视频同步, 视频拉伸等功能. ffmpeg库已切割至较小 只包含h264与aac编码库. 这不仅仅是一个学习用代码, 如果你的工程需要一个可用稳定的音视频存储模块.接上它立马就能用
ffmepg rgb转码yuv，进行mp4封装
04-11
采用ffmpeg将rgb数据转换，然后在进行mp4封装。。 代码精简！！！
音视频学习笔记——实现PCM和H264合成MP4功能
最新发布
君莫笑lucky的博客
03-08 2170
本文主要记录实现PCM和H264合成MP4功能的整个框架，各个模块实现以及模块中FFmpeg的apI使用流程，便于后续学习和复盘。
ffmpeg添加MP4的pcm音频支持
garefield的专栏
04-18 9614
ffmpeg中对MP4的打包处理是在movenc.c中，在实际打包过程中发现除了mov类型外，其它类型如vob等均无法生成音频的声道信息，经过分析发现在mov_write_audio_tag函数的最后有如下代码  if (track->mode == MODE_MOV && track->enc->codec_type == AVMEDIA_TYPE_AUDIO)         mov_
h264和pcm文件打包成mp4文件
maokedou的博客
01-28 3629
h264和pcm文件打包成mp4文件 测试命令为Debug目录下执行：conver_mp4.exe 1280 720 16000 enc.h264 000.pcm out.mp4； conver_mp4.exe 视频宽 视频高 音频采样率 h264文件 pcm文件 输出mp4文件 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用...
C++ linux pcm转aac转mp4合成视频同步
aa804738534的博客
08-14 761
g++ pcm2aacts2mp4.cpp -o pcm2aacaaaaaa -L/usr/local/lib -lfaac -I/usr/local/include -I/monchickey/ffmpeg/include -L/monchickey/ffmpeg/lib -lavdevice -lavfilter -lavformat -lavcodec -lswresample -lsws...
h264视频与pcm音频合成MP4视频格式
m0_60259116的博客
06-16 1113
h264视频与pcm音频合成MP4视频格式
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值