Android NDK开发之 NEON基础介绍

这是官方介绍：

http://www.arm.com/zh/products/processors/technologies/neon.php

一、NEON简介

ARM^® NEON™ 通用 SIMD 引擎可有效处理当前和将来的多媒体格式，从而改善用户体验。

NEON 技术可加速多媒体和信号处理算法（如视频编码/解码、2D/3D 图形、游戏、音频和语音处理、图像处理技术、电话和声音合成），其性能至少为 ARMv5 性能的 3 倍，为 ARMv6 SIMD 性能的 2 倍。

通过干净方式构建的 NEON 技术可无缝用于其本身的独立管道和寄存器文件。

NEON 技术是 ARM Cortex™-A 系列处理器的 128 位 SIMD（单指令，多数据）架构扩展，旨在为消费性多媒体应用程序提供灵活、强大的加速功能，从而显著改善用户体验。它具有 32 个寄存器，64 位宽（双倍视图为 16 个寄存器，128 位宽。）

NEON 指令可执行“打包的 SIMD”处理：

• 寄存器被视为同一数据类型的元素的矢量
• 数据类型可为：有符号/无符号的 8 位、16 位、32 位、64 位单精度浮点
• 指令在所有通道中执行同一操作

使用 NEON 技术的 ARM Cortex™-A 系列处理器，以及 ARM 的 Mali 多媒体硬件解决方案可用于多媒体应用，范围从智能手机和移动计算设备到HDTV。

下图通过SISD（单指令单数据）和SIMD（单指令多数据）的对比，来说明NEON的工作原理：

 

                       

          从图上可以看到，对于SISD，每个指令只能处理一个数据，而SIMD一个指令可以处理多个数据，因为多个数据的处理是平行的，因此从时间来说，一个指令执行的时间，SISD和SIMD是差不多的。由于SIMD一次可以处理N个数据，所以它的处理的时间也就缩短到SISD的1/N。

        需要指出一点，NEON是需要硬件的支持的，需要有一块寄存器放到硬件上来处理这个的。

实际上ARM NEON的使用，是C方式调用，下面给出例子。

用C实现GRB灰度化算法

下面是一个用NEON现实的将GRB转化成灰度图的算法 

 

对以上函数进行说明如下：

       

把权重放入 NEON寄存器

   

一次载入8 pixles到三个NOEN寄存器，这个地方是重点可以说明NEON的高效率。    

计算结果

 

NEON函数参考gcc工具里面的gcc.pdf文档 中NEON部分.

二、选择NEON的原因

NEON增强了用户体验

• 观看任意格式的任意视频
• 编辑和强化捕获的视频 – 视频稳定性
• 锯齿消除渲染和合成
• 游戏处理
• 快速处理几百万像素的照片
• 语音识别
• 强大的多通道高保真音频处理

NEON的特征和优点

NEON 支持用于 Internet 应用程序的范围广泛的多媒体编解码器：

• 许多软编解码器标准：MPEG-4、H.264、On2 VP6/7/8、Real、AVS
• 对于各种格式的正常大小的“Internet 流”解码来说，是理想的解决方案
• 不仅仅针对编解码器，还适用于 2D 和 3D 图形和其他矢量处理
• 提供现有工具、操作系统支持和生态体系支持

所需周期减少：

• NEON 可使复杂视频编解码器的性能提升 60-150%
• 单个简单 DSP 算法可实现更大的性能提升（4 倍 -8 倍）
• 处理器可更快进入睡眠状态，从而在整体上节约了动态功耗 

NEON 技术的大量元素能够提高性能并简化软件开发过程，如： 

• 通过对齐和非对齐数据访问，可对 SIMD 操作进行有效的矢量化。
• 清晰的指令集架构，设计用于自动矢量化编译器和手动编码。
• 有效访问打包数组，如 ARGB 或 xyz 坐标
• 支持整数和浮点操作，以确保适合从编解码器、高性能计算到 3D 图形等广泛应用领域。
• 与 ARM 处理器紧密结合，提供单指令流和内存的统一视图，从而能够提供一个具有更简单工具流的开发平台目标。
• 通过具有双 128 位/64 位视图的大型 NEON 寄存器文件，可有效处理数据并尽可能减少对内存的访问，从而增加了数据吞吐量。

三、NEON应用

OpenMAX DL 库：

• 加速 AV 编解码器的建议方法
• 以源格式释放的库，在 ARM 网站上免费提供
• 支持以下格式：MPEG-4 简单配置文件、H.264 基准、JPEG、MP3、AAC
• 支持以下功能：FIR、IIR、FFT、点积、色彩空间转换、de-blocking.de-ringing、旋转、缩放、合成

矢量化编译器：

• 使用现有源代码自动搜索 NEON SIMD
• 受 ARM RealView 开发套件（v3.1 Pro 及更高版本）支持
• 在 2007q3 及更高版本中受 gcc 支持

C 内部函数：

• C 函数调用接口至 NEON 操作
• 支持 NEON 支持的所有数据类型和操作
• 在 ARM RealView 开发套件（3.1 及更高版本）和 gcc 2007q3 及更高版本中受支持

汇编器：

• 针对确实需要在最低级别进行优化的用户
• 在 ARM 的 RealView 开发套件（3.1 及更高版本）和 gcc 2007q3 及更高版本中受支持

 

开源社区中的 NEON 支持

当前，在以下开源项目中支持 NEON：

• Android – NEON 优化
  • 使用 NEON，Skia 库 S32A_D565_Opaque 的速度加快了 5 倍
• Ubuntu 09.04 支持 NEON：
  • 关键共享库的 NEON 版本
• Bluez – 官方 Linux 蓝牙协议堆栈
  • NEON SBC 音频编码器
• Pixman（Cairo 2D 图形库的一部分）
  • 合成/alpha 混合
  • X.Org、Mozilla Firefox、Fennec 和 Webkit 浏览器
  • 例如，使用 NEON 后，fbCompositeSolidMask_nx8x0565neon 的速度提高了 8 倍
• ffmpeg - libavcodec
  • 用于众多 Linux 分发版的 LGPL 媒体播放器
  • 视频：MPEG-2、MPEG-4ASP、H.264 (AVC)、VC1
  • 音频：Ogg Vorbis
• x264 – Google 2009 年度编程之夏
  • GPL h.264 编码器 – 例如，针对视频会议

【整理】SIMD、MMX、SSE、AVX、3D Now！、neon

SIMD

SIMD单指令流多数据流(SingleInstruction Multiple Data,SIMD)是一种采用一个控制器来控制多个处理器，同时对一组数据（又称“数据向量”）中的每一个分别执行相同的操作从而实现空间上的并行性的技术。在微处理器中，单指令流多数据流技术则是一个控制器控制多个平行的处理微元，例如Intel的MMX或SSE以及AMD的3D Now!技术。

--------------------------------------------------------------------------------------------------------------------------------------------------------------------

MMX是由英特尔开发的一种SIMD多媒体指令集，共有57条指令。它于1996年集成在英特尔奔腾 (Pentium) MMX处理器上，以提高其多媒体数据的处理能力。

其优点是增加了处理器关于多媒体方面的处理能力，缺点是占用浮点数寄存器进行运算（64位MMX寄存器实际上就是浮点数寄存器的别名）以至于MMX 指令和浮点数操作不能同时工作。为了减少在MMX和浮点数模式切换之间所消耗的时间，程序员们尽可能减少模式切换的次数，也就是说，这两种操作在应用上是互斥的。后来英特尔在此基础上发展出SSE指令集；AMD在此基础上发展出3DNow!指令集。现在新开发的程序不再仅使用MMX来优化软件执行效能，而是改使用如SSE、3DNOW!等更容易优化效能的新一代多媒体指令集，不过目前的处理器仍可以执行针对MMX优化的较早期软件。

技术细节

MMX 寄存器，称作MM0到MM7，实际上就是处理器内部80比特字长的浮点寄存器栈st(0)到st(7)的尾数部分(64比特长)的复用。由于浮点栈寄存器的高16位未被MMX技术使用，因此这16位都置为1，因此从栈寄存器的角度看，其浮点值为NaN或Infinities，这可用于区分寄存器是处于浮点栈状态还是MMX状态. 作为MMX寄存器都是直接访问。利用了装配数据类型(packed data type)的概念，每个MMX寄存器的64比特字长可以看作是2个32位整数、或者4个16位整数、或者8个8位整数，从而可以执行整数SIMD运算。这对于1990年代中期的2D、3D计算的加速还是很有意义的，因为当时的计算机的图形处理器（GPU）还很不发达。但现在MMX整数SIMD运算对于图形运算来说是多余的技术了。不过MMX的饱和算术运算（saturationarithmeticoperations）对于一些数字信号处理应用还是有用的。

SIMD技术的发展

继 MMX技术之后，Intel又于1999年在Pentium-III处理器上推出SSE技术，引入了新的128比特宽的寄存器集 (register file)，称作XMM0到XMM7。这些XMM寄存器用于4个单精度浮点数运算的SIMD执行，并可以与MMX整数运算或x87浮点运算混合执行。 2001年在Pentium 4上引入了SSE2技术，进一步扩展了指令集，使得XMM寄存器上可以执行8/16/32位宽的整数SIMD运算或双精度浮点数的SIMD运算。这使得 SIMD技术基本完善。

--------------------------------------------------------------------------------------------------------------------------------------------------------------------

SSE

SSE(Streaming SIMD Extensions)是英特尔在AMD的3DNow!发布一年之后，在其计算机芯片Pentium III中引入的指令集，是继MMX的扩充指令集。SSE 指令集提供了 70 条新指令。AMD后来在Athlon XP中加入了对这个新指令集的支持。

目录  [隐藏]  1 SSE 的缓存器 2 SSE 指令表 2.1 浮点指令 2.2 整数指令 2.3 其他指令 3 后续版本 3.1 SSE2 3.2 SSE3 3.3 SSSE3 3.4 SSE4 3.5 SSE5 3.6 AVX 3.7 FMA 4 参见

SSE的缓存器

SSE 加入新的 8 个 128 位缓存器（XMM0～XMM7）。而 AMD 发表的x86-64延伸架构《又称 AMD64》再加入额外 8 个缓存器。除此之外还有一个新的 32 位的控制／状态缓存器（MXCSR）。不过只能在 64 位的模式下才能使用额外 8 个缓存器。

每 个缓存器可以容纳 4 个 32 位单精度浮点数，或是2 个 64 位双精度浮点数，或是 4 个 32 位整数，或是 8 个 16 位短整数，或是 16 个字符。整数运算能够使用正负号运算。而整数 SIMD 运算可能仍然要与 8 个 64 位 MMX 缓存器一起执行。

因为操作系统必须要在进程切换的时候保护这些 128 位的缓存器状态，除非操作系统去启动这些缓存器，否则默认值是不会去启用的。这表示操作系统必须要知道如何使用 FXSAVE 与 FXRSTOR 指令才能储存 x87 与 SSE 缓存器的状态。而在当时 IA-32 的主流操作系统很快的都加入了此功能。

由于 SSE 加入了浮点支持，SSE 就比MMX 更加常用。而 SSE2 加入了整数运算支持之后让SSE 更加的有弹性，当 MMX 变成是多余的指令集，SSE 指令集甚至可以与 MMX 并行运作，在某些时候可以提供额外的性能增进。

第一个支持 SSE 的 CPU 是 Pentium III，在FPU 与SSE 之间共享执行支持。当编译出来的软件能够交叉的同时以 FPU 与 SSE 运作，Pentium III 并无法在同一个周期中同时执行 FPU 与 SSE。这个限制降低了指令管线的有效性，不过 XMM 缓存器能够让 SIMD 与纯量浮点运算混合执行，而不会因为切换 MMX／浮点模式而产生性能的折损。

SSE指令表

SSE 提供纯量与包裹式（packed）浮点指令。

浮点指令

• 内存到缓存器／缓存器到内存／缓存器之间的数据搬移
  • 纯量 – MOVSS
  • 包裹式 – MOVAPS, MOVUPS, MOVLPS, MOVHPS, MOVLHPS, MOVHLPS
• 数学运算
  • 纯量 – ADDSS, SUBSS, MULSS, DIVSS, RCPSS, SQRTSS, MAXSS, MINSS, RSQRTSS
  • 包裹式 – ADDPS, SUBPS, MULPS, DIVPS, RCPPS, SQRTPS, MAXPS, MINPS, RSQRTPS
• 比较
  • 纯量 – CMPSS, COMISS, UCOMISS
  • 包裹式 – CMPPS
• 资料拆包（unpack）与随机搬移（shuffle）
  • 包裹式 – SHUFPS, UNPCKHPS, UNPCKLPS
• 数据型态转换
  • 纯量 – CVTSI2SS, CVTSS2SI, CVTTSS2SI
  • 包裹式 – CVTPI2PS, CVTPS2PI, CVTTPS2PI
• 逐位逻辑运算
  • 包裹式 – ANDPS, ORPS, XORPS, ANDNPS

整数指令

• 数学运算
  • PMULHUW, PSADBW, PAVGB, PAVGW, PMAXUB, PMINUB, PMAXSW, PMINSW
• 数据搬移
  • PEXTRW, PINSRW
• 其他
  • PMOVMSKB, PSHUFW

其他指令

• MXCSR 管理
  • LDMXCSR, STMXCSR
• 快取与内存管理
  • MOVNTQ, MOVNTPS, MASKMOVQ, PREFETCH0, PREFETCH1, PREFETCH2, PREFETCHNTA, SFENCE

后续版本

SSE2

SSE2是 Intel在Pentium 4处理器的最初版本中引入的，但是AMD后来在Opteron 和Athlon64处理器中也加入了SSE2的支持。SSE2指令集添加了对64位双精度浮点数的支持，以及对整型数据的支持，也就是说这个指令集中所有的MMX指令都是多余的了，同时也避免了占用浮点数寄存器。这个指令集还增加了对CPU快取的控制指令。AMD对它的扩展增加了8个XMM寄存器，但是需要切换到64位 模式（x86-64/AMD64）才可以使用这些寄存器。Intel后来在其Intel 64架构中也增加了对x86-64的支持。

SSE3

SSE3是 Intel在Pentium 4处理器的 Prescott 核心中引入的第三代SIMD指令集，AMD在Athlon64的第五个版本，Venice核心中也加入了SSE3的支持。这个指令集扩展的指令包含寄存器的局部位之间的运算，例如高位和低位之间的加减运算；浮点数到整数的转换，以及对超线程技术的支持。

SSSE3

SSSE3是Intel针对SSE3指令集的一次额外扩充，最早内建于Core2 Duo处理器中。

SSE4

SSE4是Intel在Penryn核心的Core 2 Duo与Core2 Solo处理器时，新增的47条新多媒体指令集，并且现在更新至SSE4.2。AMD也开发了属于自己的SSE4a多媒体指令集，并内建在Phenom与 Opteron等K10架构处理器中，不过无法与Intel的SSE4系列指令集兼容。

SSE5

SSE5是AMD为了打破Intel垄断在处理器指令集的独霸地位所提出的，SSE5初期规划将加入超过100条新指令，其中最引人注目的就是三操作数指令（3-OperandInstructions）及熔合乘法累积（Fused Multiply Accumulate）。其中，三操作数指令让处理器可将一个数学或逻辑函式库，套用到操作数或输入数据。藉由增加操作数的数量，一个 x86 指令能处理二至三笔数据， SSE5 允许将多个简单指令汇整成一个指令，达到更有效率的指令处理模式。提升为三运算指令的运算能力，是少数RISC架构的水平。熔合乘法累积让允许建立新的指令，有效率地执行各种复杂的运算。熔合乘法累积可结合乘法与加法运算，透过单一指令执行多笔重复计算。透过简化程序码，让系统能迅速执行绘图着色、快速相片着色、音场音效，以及复杂向量演算等效能密集的应用作业。目前AMD已放弃下一代Bulldozer核心内建 SSE5指令集，改内建Intel授权SSE4系列指令集。

--------------------------------------------------------------------------------------------------------------------------------------------------------------------

AVX

　　是Sandy Bridge和Larrabee架构新指令集　　Intel的微架构也进入了全速发展的时期，在2010年4月结束的IDF峰会上Intel公司就发布了 2010年的RoadMap。2011年1月Intel发布全新的处理器微架构Sandy Bridge，其中全新增加的指令集也将带来CPU性能的提升。

        AVX(Advanced Vector Extensions) 是Intel的SSE延伸架构，如IA16至IA32般的把缓存器XMM 128bit提升至YMM 256bit，以增加一倍的运算效率。此架构支持了三运算指令（3-Operand Instructions），减少在编码上需要先复制才能运算的动作。在微码部分使用了LES LDS这两少用的指令作为延伸指令Prefix。

FMA

• FMA是Intel的AVX扩充指令集，如名称上熔合乘法累积（Fused Multiply Accumulate）的意思一样。

--------------------------------------------------------------------------------------------------------------------------------------------------------------------

3DNow!

3DNow!（据称是“3D No Waiting!”的缩写）是由AMD开发的一套SIMD多媒体指令集，支持单精度浮点数的矢量运算，用于增强x86架构的计算机在三维图像处理上的性能。

目录  [隐藏]  1 历史 2 支持检测 3 执行环境 4 3DNow!指令集 4.1 单精度浮点运算指令 4.2 增强的MMX指令 4.3 数据类型转换指令 4.4 数据预取指令 4.5 快速退出MMX状态指令 5 外部链接

历史

1996年Intel首先推出了支持MMX的Pentium处理器，极大地提高了CPU处理多媒体数据的能力，被广泛地应用于语音合成、语音识别、音频视频编解码、图像处理和串流媒体等领域。但是MMX只支持整数运算，浮点数运算仍然要使用传统的x87协处理器指令。由于MMX与x87的寄存器相互重叠，在MMX代码中插入x87指令时必须先执行EMMS指令清除MMX状态，频繁地切换状态将严重影响性能。这限制了MMX指令在需要大量浮点运算的程序，如三维几何变换、裁剪和投影中的应用。

另一方面，由于x87古怪的堆栈式缓存器结构，使得硬件上将其流水线化和软件上合理调度指令都很困难，这成为提高x86架构浮点性能的一个瓶颈。

为了解决以上这两个问题，AMD公司于1998年推出了包含21条指令的3DNow!指令集，并在其K6-2处理器中实现。K6-2是第一个能执行浮点SIMD指令的x86处理器，也是第一个支持水平浮点寄存器模型的x86处理器。借助3DNow!，K6-2实现了x86处理器上最快的浮点单元，在每个时钟周期内最多可得到4个单精度浮点数结果，是传统x87协处理器的4倍。许多游戏厂商为3DNow!优化了程序，微软的DirectX 7也为3DNow!做了优化，AMD处理器的游戏性能第一次超过Intel，这大大提升了AMD在消费者心目中的地位。K6-2和随后的K6-III成为市场上的热门货。

1999年，随着Athlon处理器的推出，AMD为3DNow!增加了5条新的指令，用于增强其在DSP方面的性能，它们被称为“扩展3DNow!”（Extended 3DNow!）。

为了对抗3DNow!，Intel公司于1999年推出了SSE指令集。SSE几乎能提供3DNow!的所有功能，而且能在一条指令中处理两倍多的单精度浮点数；同时，SSE完全支持IEEE 754，在处理单精度浮点数时可以完全代替x87。这迅速瓦解了3DNow!的优势。

1999年后，随着主流操作系统和软件都开始支持SSE并为SSE优化，AMD在其2000年发布的代号为“Thunderbird”的 Athlon处理器中添加了对SSE的完全支持（“经典”的Athlon或K7只支持SSE中与MMX有关的部分，AMD称之为“扩展MMX”即 Extended MMX）。随后，AMD致力于AMD64架构的开发；在SIMD指令集方面，AMD跟随Intel，为自己的处理器添加SSE2和SSE3支持，而不再改进3DNow!。

2010年八月，AMD宣布将在新一代处理器中取消除了两条数据预取指令之外3DNow!指令的支持，并鼓励开发者将3DNow!代码重新用SSE实现。

支持检测

支持3DNow!的CPU的CPUID扩展功能字（EAX=80000001h时执行CPUID指令得到的EDX的内容）的（从低位到高位）第31位为1。支持扩展3DNow!的CPU的CPUID扩展功能字的（从低位到高位）第30位为1。

K6-2以后AMD所有的x86处理器都支持3DNow!，包括最新的Athlon 64、Opteron和Sempron处理器；Cyrix等一些其他厂家生产的某些处理器也支持3DNow!；但Intel生产的所有处理器都不支持3DNow!。

执行环境

3DNow!指令的执行环境与MMX一样，都是将8个x87寄存器ST0～ST7的低64位重命名为MMX寄存器MM0～MM7，并依平坦模式进行操作（即指令可以任意访问这8个寄存器中的任何一个而不必使用堆栈）。

由于3DNow!使用的寄存器与x87寄存器重叠，任务切换时，保存x87寄存器状态的同时也保存了3DNow!的状态，所以3DNow!不需要操作系统的额外支持。只要CPU支持3DNow!，含有3DNow!代码的程序可以在只考虑到x87状态的原有的操作系统上不加修改地运行。

由于3DNow!依平坦模式访问寄存器，对3DNow!浮点单元的管线化变得容易，这也利于编译器生成高效的浮点代码。

3DNow!指令集

3DNow!和扩展3DNow!的26条指令从功能上可以分为以下五类。

单精度浮点运算指令

此类指令的操作数均为64位，其高32位和低32位分别是IEEE754格式的单精度浮点数。大部分指令一次可接受两个这样的操作数，并得到两个单精度浮点数的结果。它们的汇编语言助记符都以PF开头。

3DNow!还包含有计算单精度倒数和开方倒数的指令，并可以依程序需要，得到12位精度和24位精度的结果。这些指令一次只能处理一个单精度浮点数。

3DNow!的一个特色是可以将同一寄存器内的64位操作数中的两个单精度浮点数相加或相乘，这在复数运算和内积运算中非常有用。Intel直到最近才在SSE3指令集中增加了这项功能，称之为“水平操作”。

为了保证与旧有操作系统的兼容性，与MMX指令一样，3DNow!指令不引发任何算术异常。3DNow!指令不会生成也不能正确处理NaN和非规格化数，也不支持指定舍入模式。因此3DNow!并不是IEEE 754的一个完整实现，即使是只涉及单精度浮点数时也不能完全代替x87。

增强的MMX指令

PAVGUSB用于求64位紧缩字节（8×8位字节）的平均值，可用于视频编码中的像素平均和图像缩放等。可能是意识到这个功能的重要性，Intel在SSE中添加了功能完全相同的PAVGB指令。

PMULHRW则用来补充MMX指令PMULHW的不足，在紧缩字（4×16位字）相乘时可以得到比后者更准确的结果。Intel直到最近才在SSSE3中增加了功能相似的指令PMULHRSW。

PSWAPD指令用于交换紧缩双字（2×32位字）中两个双字数据的位置。

数据类型转换指令

PF2ID、PI2FD等4条指令用于完成整数和单精度浮点数之间的相互转换。

数据预取指令

PREFETCH/PREFETCHW指令用于把将要使用到的数据从主存储器提前加载快取中，以减少访问主存储器的指令执行时的延迟。Intel在SSE中添加了类似的PREFETCHTx指令

快速退出MMX状态指令

FEMMS指令与MMX中的EMMS功能相同，用于退出MMX状态。在K6-2和K6-III处理器中，FEMMS比EMMS更快；在Athlon及更新的处理器中，FEMMS等同于EMMS。