【CPP】加速

最新推荐文章于 2024-07-25 12:39:48 发布
最新推荐文章于 2024-07-25 12:39:48 发布
阅读量191 收藏
点赞数
分类专栏： CPP 文章标签： c++
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38362786/article/details/134022038
版权

1-C and CPP with ARM

Intel vs ARM

  • With the help of C/C++ compilers, C and C++ are platform independent
  • But we need to know some background information on different CPUs
  • Intel achieved a dominant position the personal computer market. But recently

ARM

  • ARM(previously an acronym for Advanced RISC Machine and originally Avon RISC Machine) is a family of reduced instruction set computing (RISC) architectures for computer processor
  • ARM is the most widely used instruction set architecture (ISA) and the ISA produced in the largest quantity

功耗低

很多核，并行计算

Raspberry Pi 4

在这里插入图片描述

How to develop programs with ARM Development broads

Almost the same with an X86 PC with Linux OS

  • gcc/g++
  • Makefile
  • cmake

2- Speedup Your Program

Principle for Programming

Simple is Beautiful
Short, Simple, Efficient

Some Tips on Optimization

  • Choose an appropriate algorithm
  • Clear and simple code for the compiler to optimize
  • Optimize code for memory
  • Do not copy large memory
  • No printf() / cout in loops
  • Table lookup (sin(), cos(), …)
  • SIMD, OpenMP

An example: libfacedetection

  • Face detection and facial landmark detection in 1600 lines of source code
  1. facedetectcnn.h :
    400 lines
    CNN APIs
  2. facedetectcnn.cpp:
    900 lines
    CNN function definitions
  3. facedetectcnn-model.cpp:
    300 lines
    Face detection model
  4. facedetectcnn-int8data.cpp:
    CNN model parameters in static variables

不依赖任何库

SIMD: Single Instruction, Multiple Data

在这里插入图片描述

一个指令可以处理多个数据

SIMD in OpenCV

openMP

在这里插入图片描述

把计算分给多个核进行计算

  • Where should #prama be? The 1st loop or the 2nd
    在这里插入图片描述

拆开需要时间成本的

一般来说放在外面
注意：如果每个线程写同一个数据，会有数据冲突，这里是没有保护的，要先检查循环体里面是不是相互依赖，如果是的话则不行，需要先破除依赖，再进行并行计算

3-An Example with SIMD and OpenMP

ARM Cloud Server

  • HUAWEI ARM Cloud Server

  • Kunpeng 920 (2 Cores of many)

  • RAM: 3GB

  • openEuler Linux

  • Functions for dot product

matoperation.hpp

#pragma once


float dotproduct(const float *p1, const float * p2, size_t n);
float dotproduct_unloop(const float *p1, const float * p2, size_t n);
float dotproduct_avx2(const float *p1, const float * p2, size_t n);
float dotproduct_avx2_omp(const float *p1, const float * p2, size_t n);
float dotproduct_neon(const float *p1, const float * p2, size_t n);
float dotproduct_neon_omp(const float *p1, const float * p2, size_t n);

matoperation.cpp

#include <iostream>
#include "matoperation.hpp"

#ifdef WITH_AVX2
#include <immintrin.h>
#endif 


#ifdef WITH_NEON
#include <arm_neon.h>
#endif

#ifdef _OPENMP
#include <omp.h>
#endif

float dotproduct(const float *p1, const float * p2, size_t n)
{
    float sum = 0.0f;
    for (size_t i = 0; i < n ; i++)
        sum += (p1[i] * p2[i]);
    return sum;
}


float dotproduct_unloop(const float *p1, const float * p2, size_t n)
{
    if(n % 8 != 0)
    {
        std::cerr << "The size n must be a multiple of 8." <<std::endl;
        return 0.0f;
    }

    float sum = 0.0f;
    for (size_t i = 0; i < n; i+=8)
    {
        sum += (p1[i] * p2[i]);
        sum += (p1[i+1] * p2[i+1]);
        sum += (p1[i+2] * p2[i+2]);
        sum += (p1[i+3] * p2[i+3]);
        sum += (p1[i+4] * p2[i+4]);
        sum += (p1[i+5] * p2[i+5]);
        sum += (p1[i+6] * p2[i+6]);
        sum += (p1[i+7] * p2[i+7]);
    }
    return sum;

}

float dotproduct_avx2(const float *p1, const float * p2, size_t n)
{
#ifdef WITH_AVX2
    if(n % 8 != 0)
    {
        std::cerr << "The size n must be a multiple of 8." <<std::endl;
        return 0.0f;
    }

    float sum[8] = {0};
    __m256 a, b;
    __m256 c = _mm256_setzero_ps();

    for (size_t i = 0; i < n; i+=8)
    {
        a = _mm256_loadu_ps(p1 + i);
        b = _mm256_loadu_ps(p2 + i);
        c =  _mm256_add_ps(c, _mm256_mul_ps(a, b));
    }
    _mm256_storeu_ps(sum, c);
    return (sum[0]+sum[1]+sum[2]+sum[3]+sum[4]+sum[5]+sum[6]+sum[7]);
#else
    std::cerr << "AVX2 is not supported" << std::endl;
    return 0.0;
#endif
}

float dotproduct_avx2_omp(const float *p1, const float * p2, size_t n)
{
#ifdef WITH_AVX2
    if(n % 8 != 0)
    {
        std::cerr << "The size n must be a multiple of 8." <<std::endl;
        return 0.0f;
    }

    float sum[8] = {0};
    __m256 a, b;
    __m256 c = _mm256_setzero_ps();

    #pragma omp parallel for
    for (size_t i = 0; i < n; i+=8)
    {
        a = _mm256_loadu_ps(p1 + i);
        b = _mm256_loadu_ps(p2 + i);
        c =  _mm256_add_ps(c, _mm256_mul_ps(a, b));
    }
    _mm256_storeu_ps(sum, c);
    return (sum[0]+sum[1]+sum[2]+sum[3]+sum[4]+sum[5]+sum[6]+sum[7]);
#else
    std::cerr << "AVX2 is not supported" << std::endl;
    return 0.0;
#endif
}


float dotproduct_neon(const float *p1, const float * p2, size_t n)
{
#ifdef WITH_NEON
    if(n % 4 != 0)
    {
        std::cerr << "The size n must be a multiple of 4." <<std::endl;
        return 0.0f;
    }

    float sum[4] = {0};
    float32x4_t a, b;
    float32x4_t c = vdupq_n_f32(0);

    for (size_t i = 0; i < n; i+=4)
    {
        a = vld1q_f32(p1 + i);
        b = vld1q_f32(p2 + i);
        c =  vaddq_f32(c, vmulq_f32(a, b));
    }
    vst1q_f32(sum, c);
    return (sum[0]+sum[1]+sum[2]+sum[3]);
#else
    std::cerr << "NEON is not supported" << std::endl;
    return 0.0;
#endif
}

float dotproduct_neon_omp(const float *p1, const float * p2, size_t n)
{
#ifdef WITH_NEON
    if(n % 4 != 0)
    {
        std::cerr << "The size n must be a multiple of 4." <<std::endl;
        return 0.0f;
    }

    float sum[4] = {0};
    float32x4_t a, b;
    float32x4_t c = vdupq_n_f32(0);

    #pragma omp parallel for
    for (size_t i = 0; i < n; i+=4)
    {
        a = vld1q_f32(p1 + i);
        b = vld1q_f32(p2 + i);
        c =  vaddq_f32(c, vmulq_f32(a, b));
    }
    vst1q_f32(sum, c);
    return (sum[0]+sum[1]+sum[2]+sum[3]);
#else
    std::cerr << "NEON is not supported" << std::endl;
    return 0.0;
#endif
}

cpp里定义了一些宏，是在CMakeList定义的

CMakeList.txt

cmake_minimum_required(VERSION 3.12)

add_definitions(-DWITH_NEON)
#add_definitions(-DWITH_AVX2)

set(CMAKE_CXX_STANDARD 11)

project(dotp)

ADD_EXECUTABLE(dotp main.cpp matoperation.cpp)

find_package(OpenMP)
if(OpenMP_CXX_FOUND)
    message("OpenMP found.")
    target_link_libraries(dotp PUBLIC OpenMP::OpenMP_CXX)
endif()

main.cpp

#include <iostream>
#include <cstdlib>
#include <chrono>
#include "matoperation.hpp"
using namespace std;

#define TIME_START start=std::chrono::steady_clock::now();
#define TIME_END(NAME) end=std::chrono::steady_clock::now(); \
             duration=std::chrono::duration_cast<std::chrono::milliseconds>(end-start).count();\
             cout<<(NAME)<<": result="<<result \
             <<", duration = "<<duration<<"ms"<<endl;



int main(int argc, char ** argv)
{
    size_t nSize = 200000000;
    float * p1 = new float[nSize](); //the memory is not aligned
    float * p2 = new float[nSize](); //the memory is not aligned

    // // 256bits aligned, C++17 standard
    // float * p1 = static_cast<float*>(aligned_alloc(256, nSize*sizeof(float))); 
    // float * p2 = static_cast<float*>(aligned_alloc(256, nSize*sizeof(float)));
    float result = 0.0f;

    p1[2] = 2.3f;
    p2[2] = 3.0f;
    p1[nSize-1] = 2.0f;
    p2[nSize-1] = 1.1f;

    auto start = std::chrono::steady_clock::now();
    auto end = std::chrono::steady_clock::now();
    auto duration = 0L;

    result = dotproduct(p1, p2, nSize);
    result = dotproduct(p1, p2, nSize);

    TIME_START
    result = dotproduct(p1, p2, nSize);
    TIME_END("normal")

    TIME_START
    result = dotproduct_unloop(p1, p2, nSize);
    TIME_END("unloop")

    TIME_START
    result = dotproduct_neon(p1, p2, nSize);
    TIME_END("SIMD")

    TIME_START
    result = dotproduct_neon_omp(p1, p2, nSize);
    TIME_END("SIMD+OpenMP")

    delete []p1;
    delete []p2;

    return 0;
}

mkdir build
cd build
cmake ..
make

normal: result=9.1, duration = 706ms
unloop: result=9.1, duration = 697ms
SIMD: result=9.1, duration = 348ms
SIMD+OpenMP: result=9.1, duration = 347ms

多线程写同一个数据，造成数据冲突了

4-Avoid Memory Copy

What’s an image

在这里插入图片描述

彩色：有三个这样的矩阵

ccv::Mat class

在这里插入图片描述

在这里插入图片描述

Ref count 用来记录还剩多少个指针没有被释放，如果为0，说明所有指针都被释放了

step in. cv::Mat

  • How many bytes for a row of Matrix 4(row) x 3(col)?
  1. Can be 3, ,4, 8, and any other values >= 3
  2. Memory alignment for SIMD

ROI: Region of Interest

在这里插入图片描述

扣一个小矩阵，可以直接指向小矩阵的起始位置

LAWKAWAI
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
cpp-用C编程加速器PACXX
08-16
【cpp-用C编程加速器PACXX】项目是一个创新性的软件开发工具，它专注于提升C++程序的执行效率。自2013年起源于一个博士研究课题，PACXX致力于为C++开发者提供一种优化代码性能的新途径，如今已发展成为一个开源项目...
Cppcheck_1.83_manual
05-09
- **多线程检查：**利用多线程技术加速代码分析过程。 - **平台适配：**根据不同的操作系统平台，Cppcheck 会自动调整相关配置。 #### 三、项目配置 - **CMake 配置：**支持 CMake 项目，可以将 Cppcheck 的配置...
cpp输入输出加速
windows is yes
01-19 302
cpp输入输出加速 std::ios::sync_with_stdio(false); 解释：这个函数是一个“是否兼容stdio”的开关，C++为了兼容C，保证程序在使用了std::printf和std::cout的时候不发生混乱，将输出流绑到了一起。 cin，cout之所以效率低，是因为先把要输出的东西存入缓冲区，再输出，导致效率降低，而这段语句可以来打消iostream的输入 输出缓存，可以...
llama.cpp
编码时光
07-16 1092
一、关于 llama.cpp 支持的模型： **Multimodal models:** **Bindings:** **UI: ** **Tools:** 二、Demo 1、Typical run using LLaMA v2 13B on M2 Ultra 2、Demo of running both LLaMA-7B and whisper.cpp on a single M1 Pro MacBook 三、用法 1、基本用法 2、对话模式 3、网络服务 4、交互模式 5、持久互动 6、语法约束输出 四
llama-cpp-python
编码时光
07-16 1020
一、关于 llama-cpp-python 二、安装 安装配置 支持的后端 Windows 笔记 MacOS笔记 升级和重新安装 三、高级API 1、简单示例 2、从 Hugging Face Hub 中提取模型 3、聊天完成 4、JSON和JSON模式 JSON模式 JSON Schema 模式 5、函数调用 6、多模态模型 7、Speculative Decoding 8、Embeddings 9、调整上下文窗口 四、OpenAI兼容Web服务器 Web服务器功能 五、Docker镜像 六、低级API
qt环境cpp编译加速
weixin_39241911的博客
05-16 541
前言 我试图让 cpp 项目编译的更快一些以缩短”coffee time”，试用了以下方法，有的没有成功，不知道是不是使用方式不当，若有大牛发现不足之处，欢迎纠正指点，提前谢过。（持续更新中） 我的正常开发环境是： win10 + msvc & ubuntu 18.04。 1.Pimpl 我的理解是类里不要放其它类实例，而是放指针。比如Class Zoo里要有个Class Panda，如果放实例，那么Class Panda改动则 Class Zoo大小发生改变，也会重新编译；若用指针则可能不会，
[IL2CPP] IL2CPP 减速（部分解决）
unity尧明的博客
01-16 832
英文原文： https://www.jacksondunstan.com/articles/3001   Unity 4.6.2 和 5.0 中的新 IL2CPP 脚本后端应该比旧的 Mono 后端快得多。我运行了一些基准测试，但与 Mono 相比，大部分都发现了速度下降。今天的文章展示了我运行的测试，我得到的结果，并想知道为什么 IL2CPP 版本看起来这么慢。亲爱的读者，也许你们中的一个人知道原因。更新：部分原因已被发现。继续阅读以获取更新的结果。   今天测试中的所有基准测试均取自 The Com
cpp, mkl 加速 eigen 实例
Talk Is Cheap
10-18 3980
安装mkl https://software.intel.com/en-us/get-started-with-mkl-for-linux 把eigen放到代码文件平行目录 使用mkl编译: mkl_test.cpp #define EIGEN_USE_MKL_ALL #include &lt;iostream&gt; #include &lt;Eigen/Core&gt; #include &...
基于ChatGLM.cpp实现低成本对ChatGLM3-6B的量化加速
最美dee时光的博客
02-04 3319
基于ggml的纯C++实现，工作方式与llama.cpp相同。通过 int4/int8 量化、优化的 KV 缓存和并行计算加速内存高效的 CPU 推理。具有打字机效果的流式生成。Python 绑定、Web demo、API server和更多可能性。硬件：x86/arm CPU、NVIDIA GPU、Apple Silicon GPU平台：Linux、MacOS、Windows。
提高apk打包速度（il2cpp打包速度慢）
qq_43503580的博客
08-12 2626
本片文章为记录篇 一、为什么il2cpp比mono打包慢？ 使用Mono打包： 使用il2cpp打包： 可以看出，il2cpp比mono多了几个步骤，具体分析原因，请点击这里。 二、为什么要是使用il2cpp打包？ 三、怎样加快速度？ 目前搜遍全网，就发现三种方式： 您应该使用IL2CPP来开发和交付您的项目。如果使用il2cpp时迭代时间太慢，请在开发期间临时切换到mono脚本后端以提高迭代速度。 升级硬件。 Unity的DOTS技术存在巨多问题，无论Unity ECS还是Burst，说起来都.
llama.cpp部署
m0_37749564的博客
03-24 2015
训练完成之后，模型的参数就固定了，这时候就可以使用模型进行推理，对外提供服务。llama.cpp 主要解决的是推理过程中的性能问题。计算类 Python 库的优化手段之一就是使用 C 重新实现，这部分的性能提升非常明显。另外一个是量化，量化是通过牺牲模型参数的精度，来换取模型的推理速度。llama.cpp 提供了大模型量化的工具，可以将模型参数从 32 位浮点数转换为 16 位浮点数，甚至是 8、4 位整数。除此之外，llama.cpp 还提供了服务化组件，可以直接对外提供模型的 API。
加速编译C++项目的一些方法
jintemp的博客
09-12 363
1、使用ccache 方式，通过空间换时间的方法加速编译。 2、优化cpp文件include的包含关系。（去除没用的头文件，或重复包含的现象） 3、联合编译器-IncrediBuild 4、通过C/C++的include方式，正常include都是.h文件。通过include cpp文件的方式。极大的减少目标代码的生成。也可以极大的减少链接过程。Unity Build的编译方式采用了此方法加...
panoshow cpp
07-31
"panoshow cpp" 是一个与全景图展示相关的项目，可能是使用C++编程语言实现的。在编程领域，"cpp"通常指的是C++，一种通用的、面向对象的编程语言，以其性能高效、功能强大而著称。在这个项目中，"panoshow"可能是一...
jni.rar_cpp944_图像识别
09-21
在本案例中，`asift.cpp`源代码文件是用C++编写的，它包含了实现特定图像识别算法的函数和类。编译后，这个源代码将被转化为`asift.dll`，这是一个动态链接库。DLL文件是Windows操作系统中的一个重要组件，它可以在...
cpp-安装GPU加速的tensorflow教程
08-16
然而，对于初学者或者那些想要利用GPU加速的人来说，安装TensorFlow可能是一项挑战。这篇教程将指导你如何在C++环境中，顺利、完美地安装具有GPU支持的TensorFlow。 首先，你需要一个支持CUDA和cuDNN的系统。CUDA是...
C语言 之 理解指针（1）
fallzzzzz的博客
07-20 1187
就是先获取该数组的首元素的地址，从前面我们知道，指针的类型的作用是指针+1 所跳过的字节数，int为整形，大小为4个字节，所以p+1就跳过4个字节，p+2就跳过8个字节，计算机的CPU（中央处理器）在处理数据的时候，需要的数据是在内存中读取的，处理后数据也会放回内存中，如果想对这些空间进行高效的管理，就可以。并且我们知道，数组的元素存放是随着下标增长，内存地址变大的。上面的代码创建了一个整型变量n，因为一个整形的大小是4个字节，所以内存中申请了4个字节，⽤于存放整数10，其中每个字节都有地址。
C++ primer plus 第16章string 类和标准模板库, 关联容器
最新发布
zhyjhacker的博客
07-25 656
C++ primer plus 第16章string 类和标准模板库, 关联容器。
VS2019编译和使用gtest测试（C++）
m0_65635427的博客
07-24 267
下载下来解压到文件夹，再在文件夹里面新建一个build文件夹，如下：再安装cmake，可以先检查一下是否安装了cmake，打开命令窗口，输入cmake -version：然后双击就对了，我这里已经安装好了，无法提供截图，注意一点就是在让选择是否建立系统环境变量（path）的时候，记得勾上第二个建立系统环境变量！下载好之后，记得检验一下是否安装成功，如果在普通用户下显示没有，建议用管理员身份打开命令窗口，再次尝试。之后命令窗口进入创建的build文件夹路径里面执行cmake ../
【C++修炼之路 第五章】string 类（补充）：string 扩展空间规律 + reserve 的缩容 + resize 的使用
唯有忍受别人不能忍受的，才能享受别人不能享受的
07-23 1130
【详细剖析】string 扩展空间规律 + reserve 的缩容性质与只改变capacity的性质 + resize 的使用 + shink_to_fit 的缩容函数
Cppcheck 1.83 使用手册：从入门到进阶
- **多线程检查**：利用多核处理器加速检查速度。 - **平台兼容性**：Cppcheck适用于多种操作系统，包括Windows、Linux和Mac OS。 4. **项目集成** - **CMake**：提供了与CMake构建系统的集成方法，使Cppcheck...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值