- 博客(239)
- 资源 (10)
- 收藏
- 关注
RSS订阅
原创 H264标准完全教程（未完）
目录了解基础知识H264的基本介绍基本概念了解音视频包括的内容主流视频编码标准的发展（H.261/H.263/MPEG-1/MPEG-2/MPEG-4)）由于目前最常用的是H264，所以这里先给出相关教程基础知识视频编码都要考虑以下三个问题压缩比算法复杂度还原度压缩分硬件压缩和软件压缩软件压缩用CPU进行数学运算，效率非常低，cpu不是很擅长数学运算，软件压缩只用于非专业的情况下。有时，硬件资源不够，才考虑裁剪移植ffmpeg进行软件辅助压缩硬件压缩常用的压缩方法，通过d
2021-08-05 17:44:50
1109
1
原创 详解相机的sensor工作原理
目录sensor成像原理拜尔马赛克变换（BAYER DEMOSAICING）维伦阵列摩尔纹sensor成像原理相机或摄像头使用数百万个微小的光腔（感光元件）来记录图像。成像时，sensor将镜头投射来的光子储存为模拟电信号。曝光完成后，相机关闭这些光腔（感光元件），然后通过测量模拟电信号的强度来评估每个腔中有多少光子掉入来计算数字电信号的数值。然后模拟电信号转换为数字电信号，数字电信号的数值由位深度决定（RGB的位深度）。最后，根据正在记录的文件格式（8位JPEG位0-255），可能会再次降低
2021-07-08 09:56:04
11371
2
原创 音视频OSD完全教程
目录前言OSD 介绍学习路线基础知识ASCII点阵字库叠加信息相关操作GB2312点阵字库UNICODE UTF-8矢量字库前言感谢海康高级工程师宇哥和安霸高级工程师杰哥对我的无私帮助现有的博客内容都是抄来抄去，不成体系希望我整理的内容能够对行业有所帮助OSD 介绍on screen display就是将信息叠加到视频中更通俗的讲，就是写字有人说这一块内容简单，确实不难。觉得简单的可以直接退出不必浪费时间学习路线OSD是音视频dsp绕不开的一部分内容，内容较少，说不上难但一定算不上
2021-04-21 20:21:57
1902
原创 git完全教程总结
前言很多人学完linux后不知道该学什么，我的建议是——先学git因为当你在工作中，出了必备的基础知识，还要学会与人合作。如何将你开发的小功能整合到整个项目的大框架中如何让你的实验性代码不影响到大框架中的代码性能如何让你在工作到一半的时候修改突然出现的bug这些都是会出现的情况，为了应对这些情况，新入职的员工就需要去学习git以下是我搜集资料，并且自己实践整理的git教程。希望大家有所收获Git基础知识以下两篇主要包含了git 的背景以及学习要做的准备工作git完全教程：001—G
2021-03-23 07:56:35
379
3
原创 音视频基础认知——ISP与DSP
很多人在学习完linux后不知道应该学什么，并且对于音视频领域的认知只限于道听途说。这里介绍两个音视频的方向——ISP与DSPISPISP——Image Signal Process图像信号处理我们先来看这张图当看到系统框架图的时候千万不要害怕，一个块一块，一个功能一个功能去看，就可以清晰很多。image sensor core——图像传感器核心这一部分主要是用于视频采集，就是sensor把拍到的东西（模拟信号）转化成电子设备看得懂的东西（数字信号），此时的数字信号是视频流，格式为raw
2021-03-19 10:53:57
3772
2
原创 PS流详解（载荷H264）
目录PS简介标准结构标准H264流结构定长音频帧和其他流式私有数据的结构PS流封装标准PSH结构PES包结构PSM包结构体元素流 PS 封装规则H264元素流封装规则音频元素流封装规则私有信息封装规则PS简介PS 封装方式需要支持 MPEG2/MPEG4/H.264 等视频和 MPEG 系列音频，可以被大部分支持 PS 和相应元素流解码的播放器正常播放，支持在多个层次加入私有数据，方便解码、拖动和减小延时，同时考虑到标准的 PS、TS 和 RTP 封装方式间的相互转换，提高处理效率标准结构标准H26
2021-10-07 14:10:18
7125
原创 音频处理——G711标准详解
目录G711简介G711A算法原理压缩方法举例代码G711U算法原理压缩方法举例代码G711A与G711U对比G711简介 G711是国际电信联盟ITU-T定制出来的一套语音压缩标准，它代表了对数PCM（logarithmic pulse-code modulation）抽样标准，主要用于电话。它主要用脉冲编码调制对音频采样，采样率为8k每秒。它利用一个 64Kbps 未压缩通道传输语音讯号。 起压缩率为1：2， 即把16位数据压缩成8位。G.711是主流的波形声音编解码器。 G.711 标准下主
2021-09-10 17:41:00
11358
1
原创 音频处理——常用音频编码格式简介（PCM、G726、ADPCM、LPCM、G711、AAC）
目录PCMG726ADPCMLPCMG711AAC格式对比音频帧长音频播放过程PCM音频处理——详解PCM数据格式音频处理——解析PCM格式实例（音量调控）G726 G.726是ITU-T定义的音频编码算法。1990年 CCITT（ITU前身）在G.721和G.723标准的基础上提出。G.726可将64kbps的PCM信号转换为40kbps、32kbps、24kbps、16kbps的ADPCM信号。 最为常用的方式是 32 kbit/s，但由于其只是 G.711速率的一半，所以就将网络的可利
2021-09-09 21:34:02
11407
原创 音视频dsp中对音频的处理
音频处理是一个非常细分的方向，在我做的项目中音频是一个10年经验的工程师在调。比如说先前遇到一个哭声检测算法接入后无效果的问题，音频工程师最终给出的结果是麦克风录音导致失真音视频dsp做的主要是初始化Audio In、Out，在对应channel中接入算法。有些需求如削顶，音量太大导致喇叭发出类似坏了的兹拉兹拉声，就是将音频工程师给出的阈值之上的音量置为阈值音量以免损坏还有就是考虑到设备材料的固有频率会与喇叭低频共振（共激）导致喇叭损坏，dsp工程师还会接入HPF（High Pass Filter
2021-09-09 18:59:03
2497
原创 音频处理——解析PCM格式实例（音量调控）
目录举例音量控制数据溢出对数描述举例要注意的是，PCM的数据在内存中是纯数据的二进制，也就是说我们无法通过解析文件得知他的采样率、采样精度、声道数等信息，只能先得知它的参数再对其进行解析。我用于解析的PCM文件参数如下采样精度——16bit采样率——16000Hz声道——单声道音频帧率——40每帧的采样点——640波形如下此文件为欢迎光临的语音音频文件的尺寸 = 采样频率 x 采样精度 x 通道数 x 采样时间于是示例文件的尺寸 = 16000 x 2 x 1 x 1.584
2021-09-09 18:28:42
3088
3
原创 音频处理——详解PCM数据格式
目录知识储备什么是PCM采样采样率量化编码PCM常用指标PCM数据流知识储备音频处理——音频编码原理简介音频处理——音频处理的基本概念什么是PCMPCM全称Pulse-Code Modulation，翻译一下是脉冲调制编码。在音视频中，PCM是一种用数字表示采样模拟信号的方法。要将一段音频模拟信号转换为数字表示，包含如下三个步骤：1、Sampling(采样)2、Quantization(量化)3、Coding(编码)通常，我们可以通过一条曲线在坐标中显示连续的模拟信号，如下图所示：
2021-09-09 16:00:25
22053
5
原创 音频处理——音频编码原理简介
目录为什么音频需要编码编码原理频频域掩蔽效应时域掩蔽效应压缩编码方法音频编码器选型为什么音频需要编码和图像压缩原理对比数字音频信号如果不加压缩地直接进行传送，将会占用极大的带宽。例如，一套双声道数字音频若取样频率为44.1KHz，16bit量化，码率为2 x 44.1kHz x 16bit = 1.411Mbit/s如此大的带宽将给信号的传输和处理都带来许多困呐和成本(阿里云服务器带宽大于5M后，没M价格是100元/月)因此必须采取音频压缩技术对音频数据进行处理，才能有效地传输音频数据编码
2021-09-08 21:13:19
3782
1
原创 音频处理——音频处理的基本概念
目录声音的本质声音的物理性质波形频率一个例子数字音频采样率采样量化（采样精度、采样深度）常见名词解释举例声音的本质声音是一种由物体震动引发的物理现象，如小提琴的弦声等。物体的震动使其四周空气的压强产生变化，这种护墙沪弱变化以波的形式向四周传播，当被人耳锁接收时，我们就听见了声音。声音的物理性质波形声音是由物体的振动产生的，这种震动引起了周围空气压强的震荡，我们称这种震荡的函数表现形式为波形振幅——音量调整频率声音的频率是周期的倒数，它表示的是声音再1秒时间内的周期数，单位是赫兹(Hz)、千
2021-09-08 16:51:52
4726
原创 音频处理——常用音频算法名词简称解释(AEC、AGC、NS、HPF、BSS、BF、DOA、DER)
目录前言payloadTypesample rate前言做项目的时候看到很多音频相关的算法简称，所以特地来做一个名词解释合集，以免以后大家再花时间搜索payloadType载荷类型，音频最常用的是PCM，其他还有如G711U、G711Asample rate采样率（也称为采样速度或者采样频率）定义了每秒从连续信号中提取并组成离散信号的采样个数，单位用赫兹（Hz）来表示。采样频率的倒数是采样周期（也称为采样时间），它表示采样之间的时间间隔。这里要注意不要将采样率与位速相混淆。...
2021-09-08 14:58:20
12475
原创 实际项目中环形队列的应用与陷阱
目录前言代码代码讲解代码隐患讲解海思的自定义变量类型前言本篇讲解项目中队列的应用及注意点。项目为君正方案家庭安防ptz ipc的IVS模块（算法处理）。使用消息队列来管理算法获取的消息。代码/*消息数据*/typedef struct{ LUX_BASE_ALGOQUE_TYPE_EN type; /*MOVE DETECT*/ int retRoi; /*是否探测到*/ int
2021-09-03 13:33:16
363
原创 优化RGB转YUV计算效率
目录预备知识计算效率优化优化方法一优化方法二注意点代码.c.h效果预备知识详解YUV数据格式图像中，不管如何变换，我们最直观的值域是[0,255]，所以我们也希望能有一个转换公式将值域统一在[0,255]，这样就避免了后期处理和不必要的错误。值域为[0,255]常用的转换公式如下。1、YUV2RGB：2、RGB2YUV：这个公式转换后，不必在关心值域问题，很方便。计算效率优化整形计算比浮点数计算高效移位计算比乘除计算高效不了解的建议补充基础知识优化方法一浮点型运算比较耗时，
2021-08-30 17:34:27
1018
2
原创 制作一张YUV格式的图片
目录预备知识代码解释为什么使用移位不用数学运算？代码预备知识详解YUV数据格式代码解释可以通过修改宏定义来修改图像的尺寸可以通过修改YUV分量来对图像的颜色进行编辑为什么使用移位不用数学运算？答：良好的代码风格计算机中移位的效率比数学运算高得多(不了解的建议补充一下基础)代码#include <stdio.h>#include <errno.h>#include <stdlib.h>#include <string.h>#def
2021-08-30 13:02:38
1157
3
原创 objdump查看反汇编实例
目录参考实例参考实例#include "stdio.h"int main(){ int a = 3; int b = 4; a += 1; int c = 0; c = a + b; return 0;}编译gcc test.c -o test -g有-g参数才可以将代码和反汇编进行对应，否则objdump -S和-d一样然后输入指令查看反汇编objdump -S test反汇编如下...
2021-08-26 15:34:58
688
原创 C移位问题
int a = 2;for(int i = 0; i < 100; i++){ a *= 2;}a最终是0可以看这段代码#include "stdio.h"int main(){ int a = 1 << 31; printf("a is:%d\na << 1 is %d\n", a, a << 1); return 0;}C对越界的处理就是直接舍弃同时要注意，有符号数的最高位为符号位...
2021-08-26 09:19:39
160
原创 MP4标准详解
目录前言MP4简介几个概念MP4格式概览BOX简介BOX结构详解Box HeaderBox BodyBox vs FullBox常用BOX详解File Type Box（ftyp）moov（Movie Box）mvhd（Movie Header Box）Track Box（trak）Track Box（tkhd）Media Box（mdia）Media Header Box（mdhd）hdlr（Handler Reference Box）Media Information Box（minf）Video Me
2021-08-19 14:55:24
3721
2
原创 海思3518E开发笔记6.2——RTSP分包H264源码分析
源码HI_S32 VENC_Sent(char *buffer,int buflen){ HI_S32 i; int is=0; int nChanNum=0; for(is=0;is<MAX_RTSP_CLIENT;is++) { if(g_rtspClients[is].status!=RTSP_SENDING) { continue; } int heart = g_rtspClients[is].seqnum % 10000; cha
2021-08-13 16:55:00
792
1
原创 RTP中timestamp与帧率及时钟频率的关系
RTP timestamp是用时钟频率（clock rate）计算而来表示时间的。RTP timestamp表示每帧的时间，由于一个帧（如I帧）可能被分成多个RTP包，所以多个相同帧的RTP timestamp相等。（可以通过每帧最后一个RTP的marker标志区别帧，但最可靠的方法是查看相同RTP timestamp包为同一帧。）两帧之间RTP timestamp的增量 = 时钟频率 / 帧率前一帧的timestamp加上固定的timestamp_increase就是下一帧举例其中时钟频率可
2021-08-13 15:02:32
1619
原创 海思3518E开发笔记6.1——RTSP实时图传源码分析
目录源码框架分析RtspServer_initSAMPLE_VENC_720P_CLASSIC详细分析RtspServer_init源码框架分析主函数中只有两部分，初始化rtsp服务和视频编码程序RtspServer_init我们在编写代码前的设想是让开发板作为服务器，windows作为客户端。于是服务器一定是先运行，然后像socket那样初始化完成后阻塞监听，等待客户端连接。S(server)C(client)模式，基本都是这样的结构。初始化部分代码如下void RtspServer_in
2021-08-13 13:04:55
2001
1
原创 RTSP协议详解
目录RTSP协议概述RTSP和HTTP的区别RTSP重要术语RTSP特性RTSP传输流程简介RTSP信息请求信息回应消息RTSP传输流程详解标准流程methods功能请求methods重要头字段参数RTSP传输流程实例RTSP传输流程总结SDP协议RTSP协议概述RTSP(Real-TimeStream Protocol )是一种基于文本的应用层协议，RTSP 在体系结构上位于 RTP 和 RTCP 之上， 其使用 TCP 或 UDP 完成数据的传输。在语法及一些消息参数等方面，RTSP协议与HTTP协
2021-08-11 20:08:41
1334
1
原创 SDP协议详解
目录SDP协议概述SDP格式SDP实例SDP协议概述SDP(SessionDescription Protocol )会话描述协议，用于描述多媒体会话，它为会话通知、会话初始和其它形式的多媒体会话初始等操作提供服务。SDP的设计宗旨是通用性协议，所有它可以应用于很大范围的网络环境和应用程序，但 SDP 不支持会话内容或媒体编码的协商操作。SDP信息包括：会话名称和目标；会话活动时间；构成会话的媒体；有关接收媒体的信息、地址等。SDP格式SDP 信息是文本信息，UTF-8 编码采用 I
2021-08-11 20:07:37
980
原创 typora + picgo图片上传云服务器
目录gitee配置picgo配置typora配置gitee配置新建仓库使用默认配置点击设置生成新令牌并记住picgo配置下载Picgo安装后下载插件新版Picgo会自动安装nodejs，需要把它装好配置完毕测试上传成功typora配置配置完后点击验证接着将PicGo中的图片URL贴到typora中，就可以不用保存在本地了...
2021-08-11 17:39:44
184
原创 H264——H264码流分析实例（SPS、PPS）
目录工具原理NALUSPSPPS实例视频二进制数据SPS分析nal_headerprofile_idclevel_idcseq_parameter_set_idchroma_format_idcresidual_colour_transform_flagbit_depth_luma_minus8bit_depth_chroma_minus8qpprime_y_zero_transform_bypass_flagseq_scaling_matrix_present_flaglog2_max_frame_num
2021-08-07 18:47:20
3996
原创 H264——H264的CAVLC和CABAC
CAVLC和CABAC简介H.264基本介绍熵编码压缩是一种无损压缩，其实现原理是使用新的编码来表示输入的数据，从而达到压缩的效果。常用的熵编码有游程编码，哈夫曼编码和CAVLC编码等。（1）CAVLCCAVLC(Context Adaptive VariableLength Coding)是在H.264/MPEG-4AVC中使用的熵编码方式。在H.264中，CAVLC以zig-zag顺序用于对变换后的残差块进行编码。CAVLC是CABAC的替代品，虽然其压缩效率不如CABAC，但CAVLC实现简
2021-08-06 20:51:13
1550
原创 H264——H264中的宏块(macroblock)、片(slice)、帧(frame)
这里写自定义目录标题前言宏块(macroblock)宏块种类片(slice)slice组帧(frame)序列前言若干个块组成宏块若干个宏块组成条带若干个条带组成一帧若干帧组成一段视频宏块(macroblock)H264中，以16x16的宏块为编码最小单元，一个宏块可以被分成多个4x4或8x8的块当然，像素块越小，编码的复杂度也会随之增加，编码效率自然就会降低。但是这样是值得的，因为图像的压缩效率有了显著提高，也就是编码后得到的相同质量的图像，H.264的压缩比更大，占用的空间及带宽
2021-08-05 15:57:48
4517
原创 H264——H264的压缩方法简介
这里写自定义目录标题1.分组2.定义帧3.预测帧4.数据传输有损无损压缩帧类型1.分组把几帧图像分为一组(GOP，也就是一个序列),为防止运动变化,帧数不宜取多。2.定义帧将每组内各帧图像定义为三种类型,即I帧、B帧和P帧;3.预测帧以I帧做为基础帧,以I帧预测P帧,再由I帧和P帧预测B帧;4.数据传输最后将I帧数据与预测的差值信息进行存储和传输。帧内（Intraframe）压缩也称为空间压缩（Spatial compression）。当压缩一帧图像时，仅考虑本帧的数据而不考虑相邻帧
2021-08-05 14:48:31
1941
原创 海思3518E开发笔记5.2——MT7601U网卡STA模式移植
目录前言STA模式USB-WIFI的驱动移植与部署源码修改驱动部署移植wpa_supplicant移植openssl移植wpa_supplicantSTA模式USB-WIFI的ORTP视频传输测试ORTP视频传输测试无限调试环境搭建前言HI2518E+WIFI做STA，PC做STA，外部路由器做AP，实现局域网内ortp视频传HI2518E+WIFI做STA，PC做STA，外部路由器做AP，实现局域网全程无线调试STA模式USB-WIFI的驱动移植与部署源码修改参考上一篇修改Makefil
2021-08-04 14:24:01
660
原创 海思3518E开发笔记5.1——MT7601U网卡AP模式移植
目录前言MT7601U驱动编译Makefile修改并编译MT7601U驱动部署MT7601U局域网图传前言WIFI模块与SoC的接口有多种，如SDIO、USB、串口（低带宽）等。AP（Access Poin，接入点t），一般指（有线或者无线的）路由器。STA（Station，站点），指的是连接到路由器的终端设备，比如手机笔记本等等。USB-WIFI网卡选作AP、STA模式USB-WIFI的模式选项，就是让你选择，你这（拥有USB-WIFI模块的）设备，是作为站点还是作为接入点。如果它作为
2021-08-04 10:27:48
1342
1
原创 海思3518E开发笔记4.7——sensor驱动的寄存器操作
目录前言代码前言关于sensor的驱动，前面分析的很明白了，这里具体研究最底层的实现代码int sensor_write_register(int addr, int data){#ifdef HI_GPIO_I2C i2c_data.dev_addr = sensor_i2c_addr; i2c_data.reg_addr = addr; i2c_data.addr_byte_num = sensor_addr_byte; i2c_data.data = dat
2021-08-03 15:01:28
1616
原创 海思3518E开发笔记4.6——黑电平校正实战
目录黑点平代码中的体现重新编译流程黑点平显示方面指在经过一定校准的显示装置上，没有一行光亮输出的视频信号电平。定义图像数据为0时对应的信号电平，调节黑电平不影响信号的放大倍数，而仅仅是对信号进行上下平移。如果向上调节黑电平，图像将变暗如果设置5度为0度，那么现在的20度就变成了原来的15度，本来现在应该是25度。如果设置100为黑电平，那么现在的255就变成155，图像变暗。如果向下调节黑电平图像将变亮如果设置-5度为0度，那么现在20度就变成了原来的25度。如果设置-100为黑电平，那么现在
2021-08-02 20:20:33
1060
原创 海思3518E开发笔记4.5——ISP的框架解读（sensor、3A框架））
目录3A海思文档结构ISP firmware设计思路3A自动对焦（AF）自动曝光（AE）自动白平衡（AWB）海思文档结构Hi3518EV200_ISP_3A 版本依赖于相应的 SDK 大版本，通过一系列数字图像处理算法完成对数字图像的效果处理。主要包含 Firmware 框架及海思 3A 库， Firmware 提供算法的基本框架，处理统计信息，驱动数字图像处理算法，并包含坏点校正、去噪、色彩增强、镜头阴影校正等处理。 3A 库以注册的方式（应用层驱动），添加到 Firmware 中，完成曝
2021-08-02 14:47:06
3148
原创 海思中的应用层驱动
目录为什么有应用层驱动应用层驱动介绍应用层驱动和内核驱动比较为什么有应用层驱动在音视频领域中，制作sensor的厂家有很多，sensor的型号也有很多。如果要进行替换的话，每次都需要将驱动重新编译再insmod，这样的话替换sensor就会非常麻烦。于是海思定了一套体系，可以快速替换不同的sensor应用层驱动介绍其实这个应用层驱动并不是我们常说的内核驱动，只是一个模块实现功能的一个集合，被makefile按照规则生成了一个文件叫.SO动态链接库，他本身没有驱动操作硬件的功能，而是调用内核驱动去运作
2021-08-01 20:38:16
605
原创 海思3518E开发笔记4.4——sensor驱动源码分析
目录驱动目录驱动目录在SDK的\Hi3518E_SDK_V1.0.3.0\package\mpp\ko底下hi3518e_isp.ko是isp相关部分驱动sensor部分的源码在\Hi3518E_SDK_V1.0.3.0\package\mpp\component\isp\sensor中可以通过Makefile看到编译出来的驱动编出来的驱动放到了lib目录中...
2021-08-01 18:49:56
1930
1
原创 海思3518E开发笔记4.3——sensor接口引脚复用设置
目录为什么要引脚复用查看引脚定义框图找到相应设置寄存器himm以AR0130分析sensor引脚复用为什么要引脚复用CPU的引脚数量有限，但外设所需要的引脚非常多。不管是简单的单片机还是复杂的CPU，引脚的复用都是不可避免的。复用需要用软件去设置，让复用工作在某种特定的条件下，一般是有一些寄存器。每个平台的复用方法不尽相同，本片分析海思平台的复用方法但复用的思路都是一样的查看引脚对应框图找到相应设置的寄存器himm工具如果引脚较少，四五个功能都复用在同一个引脚上，这个时候就会很麻烦。
2021-07-31 12:45:31
1396
原创 详解MIPI协议
目录前言MIPI简介MIPI联盟的MIPI DSI规范MIPI名词解释MIPI DSI分层结构command和video模式D-PHYLane模组Lane 全局架构Lane电压和状态DATA LANE操作模式时钟LANE低功耗状态高速数据传输高速CLK传输D-PHY总结DSICSI前言MIPI接口的内部非常复杂，如果不是专门去做MIPI接口，没有必要像研究H264一样往深入的去研究。我们知道MIPI协议连接了camera与soc、LCD和soc，作为此间的开发者，我们只需要关注他怎么使用就可以了知识
2021-07-30 13:55:57
55278
10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人