u010029439的博客

笛卡尔坐标系二维绘图：笛卡尔坐标有一个X轴和一个Y轴组成，X轴为水平方向，Y轴为垂直方向，X和Y相互垂直二维笛卡尔坐标系三维绘图：笛卡尔坐标多了一个Z轴，Z轴同时垂直于X和Y轴。Z轴的实际意义代表着三维物体的深度三维笛卡尔坐标系坐标裁剪：窗口是以像素为单位进行度量的。开始在窗口中绘制点、线和形状之前，要把指定的笛卡尔坐标对翻译成屏幕坐标，我们可以通过指定占据窗口的笛卡尔区域来转换，这个区域叫做裁剪区域。PS:x，y，z，w：指的不是四维，其中w指的是缩放因子视口在显示

文章目录1. 问题2. libyuv2.1 FOURCC (Four Charactacter Code)2.2 libyuv中FOURCC3. Bitmap4. libyuv 转换1. 问题Android中在使用RGB数据的时候我们会遇到color space 的stored in computer memory的问题。通常有两种典型的scheme来记录RGB数据:byte order——按照字节顺序word order——按照字面顺序大端字节序的环境 big-endian sy

OpenGL由于状态机这个桎梏，天然是适合单线程渲染的。由于状态机中的状态、资源、内存无法解决多线程中的竞争问题，在OpenGL中实现多线程一直是荆棘中跳舞，就算再小心翼翼也不能避免刺痛。以下内容为了方便，多线程渲染和OpenGL多线程是等价的，只不过这里做的不是多线程上屏渲染。是否需要多线程由上所述，要做OpenGL多线程是痛苦和收益并存的，引入多线程能有多少收益是你要第一个要问的问题。按照我的经验，多线程渲染越往上层开始异步越好，这样不仅入口简单，查Bug也会更简单。这主要是因为Open

https://www.cmdschool.org/archives/6646

emo地址，AudioMusicMixer这个target。使用AudioUnitGraph来实现一个混音功能，受到官方混音例子的影响，做了一个不同输入源到不同声道的效果，如左边放音乐、右边放录音。这个demo为了认识两点：1. AUGraph 2.audioUnit自带的混音。AUGraph 是什么？graph是图形的意思，它是指一个处理音频的组件组成的功能网络。比如录音组件、播放组件、混音组件、特效等，把它们组合在一起，构成一个音频数据处理的流程，可以不是线性的，那么就成了2维的图。通过

-渲染管线流程（腾讯，网易互娱，完美世界，米哈游···几乎都问过）渲染管线通常被分为四个阶段：应用阶段，几何阶段，光栅化阶段，像素处理.阶段。接下来将介绍每个阶段的大概任务：(1) 应用阶段：应用阶段是指在CPU端进行处理的阶段，包括物理碰撞检测、物理模拟、动画计算等任务，对于3D游戏来说，游戏中包含大量的模型，3D模型中保存着模型的顶点坐标，法线，切线，颜色等数据，这些数据一般通过向量进行存储，CPU从模型中获取这些顶点信息数据，并将这些数据传送给GPU作为最开始的输入数据。然后将数据送到渲.

https://www.khronos.org/registry/OpenGL-Refpages/gl4/

7. 预处理GLSL 中预处理指令的使用也跟 C 语言的预处理指令相似。以下代码是宏及宏的条件判断： 12345678 #define#undef#if#ifdef#ifndef#else#elif#endif 注意与 C 语言中不同，宏不能带参数定义。使用#if，#else和#elif可以用来判断宏是否被定义过。以下是一些预先定义好的宏及它们的描述： 1234 __LIN...

上节在绘制三角形的时候，简单讲解了一些着色器，GLSL 的相关概念，可能看的云里雾里的。不要担心，在本节中，我将详细讲解着色语言 GL Shader Language（GLSL）的一些基本的概念。PS：无特殊说明，文中的 GLSL 均指 OpenGL ES 2.0 的着色语言。概览OpenGL ES 的渲染管线包含有一个可编程的顶点阶段的一个可编程的片段阶段。其余的阶段则有固定的功能，应用程序对其行为的控制非常有限。每个可编程阶段中编译单元的集合组成了一个着色器。在OpenGL ES

说起OpenGL的矩阵变换，我是之前在我们的项目天天P图、布丁相机中开发3D效果时才比较深入地研究了其中的原理，当时一开始时，也只是知道怎么去用这些矩阵，却不知道这些矩阵是怎么得来的，当出现一些莫名其妙的问题时，如果不了解其中的原理，就不知道如何解决，于是想彻底搞懂其中的原理，还好自己对数学挺有兴趣，于是从头到尾把推导过程研究了一遍，总算掌握了其中的奥秘，不得不佩服OpengGL的设计者，其中的数学变换过程令人陶醉，下面我们一起来看看。 这些矩阵当中最重要的就是模型矩阵（Model Matrix）、视图矩阵

https://blog.csdn.net/chrisfxs/article/details/53291604http://codingnow.cn/opengles/1504.htmlOpengl es 2.0实现了可编程的图形管线，比起1.x的固定管线要复杂和灵活很多，由两部分规范组成：Opengl es 2.0 API规范和Opengl es着色语言规范。下图是Opengl es 2.0渲染管线，阴影部分是opengl es 2.0的可编程阶段。1. 顶点着色器...

齐次坐标（Homogeneous coordinates） 变换矩阵（Transformation matrices） 矩阵简介 平移矩阵（Translation matrices） 单位矩阵（Identity matrix） 缩放矩阵（Scaling matrices） 旋转矩阵（Rotation matrices） 累积变换 模型（Model）、观察（View）和投影（Projection）矩阵 模型矩阵 观察矩阵 投影矩阵 复合变换：模型观察投影矩阵（MVP

一、变换域编码——整数DCT\quad将空间域描述的图像，经过某种变换后得到变换域中的数据，达到改变数据分布形式、减少有效数据量的目的。\quad变换包含DCT(离散余弦变换)、DST(离散正弦变换)等，这里我们主要讨论DCT。在图像视频压缩中采用的变换都是正交变换，因为正交变换不改变信源熵值，完全可以通过反变换重建原图，且压缩程度高。变换的好处在于使得数据分布发生改变，变换系数向低频方向集中，利于编码。\quad采用DCT变换的图像、视频压缩基本框架如下：\quadH.264采用整数DCT变化，

简介：<h1 style="text-align:center"><strong>x264<span style="font-family:宋体">代码剖析（十五）：核心算法之宏块编码中的变换</span>编码</strong></h1> <p></p> <p> 为了进一步节省图像的传输码率，需要对图像进行压缩，通常采用变换编码及量化来消除图像中的相关性以减少图像编码的动态范x2...

1974年，K. R. Rao、N. Ahmed、T. Natarajan三位教授创立了离散余弦变换（Discrete Cosine Transform, DCT）。在数字信号、数字图像处理领域，离散余弦变换的效果能够接近理论上的最佳变换——Kahunen-Loeve变换（K-L变换）。本文介绍了DCT的相关背景，并从算法、硬件、应用三个层面做了概述。〇、DCT的历史与背景1807年，法国数学家、物理学家傅里叶（Jean Baptiste Joseph Fourier）提出了傅里叶变换（Four

HEVC系列的目标：1、对基本概念的进行了解，不深入公式推导当中。在学习进行之前存在的疑问，学习之后是不是都一一解决了？2、在一段时间忘记相关概念的时候，是不是可以通过阅读之前的记录 最快的回忆起相关概念。环路滤波是什么？环路滤波在编解码框架的哪个部分？环路滤波是为了解决什么问题的？环路滤波用了哪些技术？环路滤波的流程是怎样的？一、 环路滤波是什么？环路滤波顾名思义就是在环路上面对数据进行滤波操作，而所谓的滤波操作就是将数据乘上某一个权重数据。二、环路滤波在编码框架的...

代码以ffmpeg为例，h264解码代码在h264.c里。环路滤波（Loop Filter）部分 FFmpeg的H.264解码器调用decode_slice()函数完成了解码工作。这些解码工作可以大体上分为3个步骤：熵解码，宏块解码以及环路滤波。 环路滤波主要用于滤除方块效应。decode_slice()在解码完一行宏块之后，会调用loop_filter()函数完成环路滤波功能。loop_filter()函数会遍历该行宏块中的每一个宏块，并且针对每一个宏块调用ff_h...

前言对于做过音视频的开发者，编解码都不陌生，接下来这几篇就详细的看一下音视频编解码相关知识。H264编码基本下面我们就看一下什么是H264编码，部分内容来自百度。H.264，同时也是MPEG-4第十部分，是由ITU-T视频编码专家组（VCEG）和ISO/IEC动态图像专家组（MPEG）联合组成的联合视频组（JVT，Joint Video Team）提出的高度压缩数字视频编解码器标准。这个标准通常被称之为H.264/AVC（或者AVC/H.264或者H.264/MPEG-4 AVC或MPE

1.什么是model，view，project矩阵？世界矩阵(World Matrix)、视图矩阵(View Matrix)以及投影矩阵(Projection Matirx);世界矩阵确定一个统一的世界坐标，用于组织独立的物体形成一个完整的场景;视图矩阵就是我们能看到的那部分场景，由虚拟摄像机负责拍摄；投影矩阵就是3维物体的平面影射.把三维场景在一个二维的平面上显示.2.说一下新OpenGL和老版本OpenGL的区别。主要是固定流水线转变成了可编程流水线。可编程...

OpenGL与Unity Shader常用基础面试题仓木生命不息，战斗不止............155 人赞同了该文章搜集了一些面试的时候问的图形学相关的题目，并且整理了下来，后续会不断的完善。1、三大主流的Shader Language？HLSL、GLSL、CG2.OpenGL的渲染流程？（不同的管线流程应该是有去别的，大体上是这样的）读取顶点数据→执行顶点着色器→组装图元→光栅化图元→执行片段着色器→写入帧缓冲区→显示在屏幕上。3、Unity S..

简介最近这段时间公司内闷着头想把Unity干入Native项目，早在16年初的时候，那时候也是闲的蛋疼，曾经跑通了安卓和iOS的Unity做为库集成到Native项目的流程，后来加入新公司，又基于2018版的Unity集成过一次，iOS用PBX脚本方式集成的，Android是自己写的Copy脚本完成的，最近发现2019.3Unity已经完美支持了Unity as a Library，所以尝试了一下，里面还是又很多坑，不过磨磨时间都是可以FIX的。官方文档环境依赖Android Studio `3

Http协议，对于拥有丰富开发经验的程序员来说简直是信手拈来，家常便饭。虽然天天见，但是对于http协议的问题，可能很多人在没有积极准备的情况下，不一定能很好的回答出来。今天，我们就来讲讲http 2.0和之前版本的区别。一、HTTP定义HTTP协议（HyperTextTransferProtocol，超文本传输协议）是用于从WWW服务器传输超文本到本地浏览器的传输协议。二、HTTP发展史三、HTTP 2.0 vs HTTP 1.0 性能HTTP 2.0 的出现，相比于 HTT.

现在是移动互联网高速发展的数据时代，各种各样的浏览器和服务器应运而生，那么在不同的浏览器和服务器之间它们是怎样沟通的呢，总不可能一个种类下就对应着一种开发和规则，如此这般程序员们可忙不过来。所以，是所有的浏览器和服务器接受使用同一种规范，http协议就是实现不同版本的浏览器和服务器之间的数据交互，今天这篇文章总结http协议面试题，java零基础的新手们可以先在这篇文章中了解一下http的相关知识。1、http协议的请求方式是什么？答：HTTP是一个基于TCP/IP通信协议来传递数据，包括htm..

1、TCP连接手机能够使用联网功能是因为手机底层实现了TCP/IP协议，可以使手机终端通过无线网络建立TCP连接。TCP协议可以对上层网络提供接口，使上层网络数据的传输建立在“无差别”的网络之上。建立起一个TCP连接需要经过“三次握手”：第一次握手：客户端发送syn包(syn=j)到服务器，并进入SYN_SEND状态，等待服务器确认；第二次握手：服务器收到syn包，必须确认客户的SYN（ack=j+1），同时自己也发送一个SYN包（syn=k），即SYN+ACK包，此时服务器进入SYN_RE

RTP协议是IP网络中针对实时业务的一种传输协议,一般构架在UDP协议之上。另外,它也是一个数据封装协议,实时业务数据封装于RTP包的数据域中。RTP协议的设计目的是提供实时数据传输中的时间戳信息及各数据流(音/视频等)同步功能。RTP提供序列号(Sequence Number)以恢复数据包的顺序,实现丢包检测,为实时传输提供网络拥塞等信息; 提供时间戳(Timestamp)用于媒体同步,使接收端按正确的速率回放数据; 提供同步源标志(Source Identification)使接收端有可能获

0 引言本文将关注于FFmpeg中的HLS相关实现，相关代码在libavformat/hls.c中（我所使用的Ffmpeg版本是4.0的），分析hls_demuxer的主要实现逻辑。本文作为我之前的HLS综述的后续文章，也是ffmpeg框架分析的后续文章。前者介绍了HLS协议相关的理论部分，后者介绍了FFmpeg主要框架分析（本文主要关注demuxer）；要是你对此感兴趣建议了解下。1 ff_hls_demuxer的主要对外接口#define OFFSET(x) offsetof(H...

HTTP协议经典面试题整理及答案详解万猫学社欢迎关注微信公众号：万猫学社，获得更多Java技术干货。7 人赞同了该文章无论你是Java、PHP开发者，还是运维人员，只要从事互联网行业，面试时都可能被问到HTTP协议相关知识。历时多天的呕心沥血，为你总结了HTTP协议的经典面试题。由于涉及内容比较繁杂不方便记忆，建议收藏起来，时不时看一遍或者面试前突击复习。什么是HTTP报文？HTTP报文是HTTP协议在客户端和服务端之间传送的数据块。HTTP报文由哪三部分组成？...

音频信号压缩编码的标准主要有 G.7xx 系列、MPEG-x 系列、AC-x 系列。 音频编解码中常用的技术包括：AD/DA转换、压缩编码、数字信号处理、信道编码/调制。 经采样、编码但未压缩的语音信号（对应G.711编码）为：PCM。 音频编码方法包括三大类：波形编码、参数编码、混合编码。1. 音视频不同步？1.1 音视频同步算法主要原因：显示时间戳 PTS 和解码时间戳 DTS 其他原因：采样率速度、设备支持的分辨率，码率，帧率、以及服务器拉流1.2 解决音视频不同步的思路：从根源上

本文主要内容包括，什么是MP4、MP4文件的基本结构、Box的基本结构、常见且重要的box介绍、普通MP4与fMP4的区别、如何通过代码解析MP4文件 等。写作背景：最近经常回答团队小伙伴关于直播 & 短视频的问题，比如 “flv.js的实现原理”、“为什么设计同学给的mp4文件浏览器里播放不了、但本地可以正常播放”、“MP4兼容性很好，可不可以用来做直播” 等。在解答的过程中，发现经常涉及 MP4 协议的介绍。之前这块有简单了解过并做了笔记，这里稍微整理一下，顺便作为团队参考文档，如有错漏

Complete List of all known MP4 / QuickTime 'ftyp' designations Rev 2.0 - 22 Aug 2009 ftyp Description Developer URL Reg'd MIME type Notes / Ref 3g2a 3GPP2 Media (.3G2) compliant with 3GPP2 C.S0050-0 V1.0 3GPP2 / CDMA2...

目录概述 mp4文件基本信息 封装格式重要概念 重要box介绍 其他box介绍 实用技术 开源软件参考[1] ISO/IEC 14496-12:2015 [2] wikipedia/MPEG-4 [3] wikipedia/ISO base media file format [4] wikipedia/MPEG-4 Part 14 [5] Tocy/多媒体文件格式之MP4 [6] Phil Cluff/What's in the box_! [7] github.com/

mp4文件格式解析2017-11-24 10:17nigaopeng 阅读(39800) 评论(0)编辑收藏目前MP4的概念被炒得很火，也很乱。最开始MP4指的是音频（MP3的升级版），即MPEG-2 AAC标准。随后MP4概念被转移到视频上，对应的是MPEG-4标准。而现在我们流行的叫法，多半是指能播放MPEG-4标准编码格式视频的播放器。但是这篇文章介绍的内容跟上面这些都无关，我们要讨论的是MP4文件封装格式，对应的标准为ISO/IEC 14496-12，即信息技术视听...

开始前的BB有些没有接触过的童鞋可能还不知道音视频同步是什么意思，大家印象中应该看到过这样的视频，画面中的人物说话和声音出来的不在一起，小时候看有些电视台转播的港片的时候（别想歪 TVB）有时候就会遇到 明明声音已经播出来了，但是播的图像比声音慢了很多，看的极为不舒服，这个时候就发生了音视频不同步的情况，而音视频同步，就是让声音与画面对应上这里有个知识点需要记一下人对于图像和声音的接受灵敏程度不一样，人对音频比对视频敏感；视频放快一点，可能察觉的不是特别明显，但音频加快或减慢，人耳听的很敏感

前言C++里面的四个智能指针: auto_ptr, unique_ptr,shared_ptr, weak_ptr 其中后三个是C++11支持，并且第一个已经被C++11弃用。C++11智能指针介绍智能指针主要用于管理在堆上分配的内存，它将普通的指针封装为一个栈对象。当栈对象的生存周期结束后，会在析构函数中释放掉申请的内存，从而防止内存泄漏。C++ 11中最常用的智能指针类型为shared_ptr,它采用引用计数的方法，记录当前内存资源被多少个智能指针引用。该引用计数的内存在堆上分配。当新增一个

疫情将远程办公，视频会议推上了风口的同时，同样也为视频会议平台的运作带来了更多的挑战。蓝猫微会创始人兼CEO 邓昀泽在LiveVideoStack线上分享中针对视频会议系统优化中弱网定义，算法评估及技术实现等细节进行了详细解析。文 / 邓昀泽整理 / LiveVideoStack视频回放https://www2.tutormeetplus.co...大家好，我是蓝猫微会的创始人兼CEO 邓昀泽，本次我分享的主题是：视频会议场景下的弱网优化，下面我将从以下三个方面展开本次分享的全部内容..

导读：疫情期间，视频会议等远程办公产品备受青睐，众多互联网玩家切入视频会议市场，加剧市场竞争。但是，产品虽多，能够带来稳定可靠体验的产品却凤毛麟角，它的难点在哪里？视频会议的门槛到底有多高，又能够做到怎样的极致体验？网易智慧企业流媒体服务器天团将会从0到1，和大家分享如何基于WebRTC来搭建一个视频会议。入门篇先请出我们今天的主角- WebRTC，它是由谷歌推广的实时音视频技术栈，是音视频领域搜索热度最高的技术。它有多重身份，既是W3C的标准，也是一个开源项目，还有一个对应的IETF工作组(RTC

1. 简介流媒体是使用了流式传输的多媒体应用技术。如下是维基百科关于流媒体概念的定义：流媒体 (streaming media) 是指将一连串的媒体数据压缩后，经过网络分段发送数据，在网络上即时传输影音以供观赏的一种技术与过程，此技术使得数据包得以像流水一样发送；如果不使用此技术，就必须在使用前下载整个媒体文件。关于流媒体的基础概念，观止云的 “流媒体｜从入门到出家” 系列文章极具参考价值，请参考本文第 5 节参考资料部分。1.1 FFmpeg 影音处理的层次FFmpeg 中对影音数

发现自己真的很懒，很久都不想写文章（主要是不知道写什么，太难的不会，太简单的又感觉没必要????）这篇文章的初衷是为了获取涉嫌头取到的视频buffer以和本地视频的buffer通过OpenGL混合叠加，跟上一篇是姊妹篇：AVPlayer实现播放视频和AVFoundation获取视频的buffer还是先上效果图：效果图.gif1、创建session// 1 创建session_captureSession = [[AVCaptureSession alloc]init];// 设

一、概念NAT（Network Address Translation，网络地址转换），当在专用网内部的一些主机本来已经分配到了本地IP地址（即仅在本专用网内使用的专用地址），但现在又想和因特网上的主机通信（并不需要加密）时，可使用NAT方法。要真正了解NAT就必须先了解现在IP地址的适用情况，私有IP地址是指内部网络或主机的IP 地址，公有IP地址是指在因特网上全球唯一的IP地址。RFC 1918为私有网络预留出了三个 IP地址块，如下：A 类：10.0.0.0～10.255.255.255B

SDP协议介绍SDP 完全是一种会话描述格式 ― 它不属于传输协议 ― 它只使用不同的适当的传输协议，包括会话通知协议（SAP）、会话初始协议（SIP）、实时流协议（RTSP）、MIME 扩展协议的电子邮件以及超文本传输协议（HTTP）。SDP协议是基于文本的协议，这样就能保证协议的可扩展性比较强，这样就使其具有广泛的应用范围。SDP 不支持会话内容或媒体编码的协商，所以在流媒体中只用来描述媒体信息。媒体协商这一块要用RTSP来实现。SDP协议格式SDP描述由许多文本行组成，文本行的格式为&l