CUDA初级——矩阵乘法 (both in CPU and GPU)

最新推荐文章于 2021-08-21 18:21:32 发布
最新推荐文章于 2021-08-21 18:21:32 发布
阅读量309 收藏
点赞数
文章标签： c++ cuda
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YaoJiawei329/article/details/114950225
版权

简单说一下，void cpu_matrix_multiply()是CPU版本的代码，
global void gpu_matrix_multiply()是GPU版本的代码。

//matrix[800][800] x matrix[800][800]
#include "stdio.h"
#include <iostream>
#include <cuda.h>
#include <cuda_runtime.h>
#include <math.h>
#include <time.h>
#include <chrono>

#define size 800

using namespace std;

/*//错误用法，忽略
void cpu_matrix_multiply(int** h_a, int** h_b, int** h_c)
{
    for (int i = 0; i < size; i = i + 1) {
        for (int j = 0; j < size; j = j + 1) {
        h_c[i][j] = 0;
            for (int k = 0; k < size; k = k + 1) {
                h_c[i][j] += h_a[i][k] * h_b[k][j];
            }
        }
    }
}
*/

//二级指针形参的正确用法
void cpu_matrix_multiply(int (&h_a)[size][size], int (&h_b)[size][size], int (&h_c)[size][size])
{
    for (int i = 0; i < size; i = i + 1) {
        for (int j = 0; j < size; j = j + 1) {
        h_c[i][j] = 0;
            for (int k = 0; k < size; k = k + 1) {
                h_c[i][j] += h_a[i][k] * h_b[k][j];
            }
        }
    }
}


//gpu matrix multiplication without shared memory
__global__ void gpu_matrix_multiply(int *d_a, int *d_b, int *d_c, const int size){
    for (int row = blockDim.y * blockIdx.y + threadIdx.y; row < size; row = row + blockDim.y * gridDim.y) {
        for (int col = blockDim.x * blockIdx.x + threadIdx.x; col < size; col = col + blockDim.x * gridDim.x) {
            for (int k = 0; k < size; k = k + 1) {
                d_c[row * size + col] += d_a[row * size + k] * d_b[k * size + col];
            }
        }
    }
}

int main(void)
{
    int h_a[size][size], h_b[size][size], h_c[size][size];
    int *d_a, *d_b, *d_c;//d_a, d_b are vectors to store matrix h_a and h_b.

	//为h_a和h_b初始化赋值
    for(int i = 0; i < size; i++)
        for(int j = 0; j < size; j++)
        {
        	//initialize h_a and h_b
            h_a[i][j] = 2;
            h_b[i][j] = i + j;
        }

    auto start = std::chrono::steady_clock::now();
    cpu_matrix_multiply(h_a, h_b, h_c);
    auto end = std::chrono::steady_clock::now();
    std::chrono::duration<double, std::micro> elapsed = end - start;
    std::cout<< "Time in CPU is "  << elapsed.count()/1000.0 << "ms" << std::endl;

    cudaMalloc((void**)&d_a, size * size * sizeof(int));
    cudaMalloc((void**)&d_b, size * size * sizeof(int));
    cudaMalloc((void**)&d_c, size * size * sizeof(int));

    cudaEvent_t start1;
    cudaEventCreate(&start1);
    cudaEvent_t stop1;
    cudaEventCreate(&stop1);
    cudaEventRecord(start1, NULL);
    
    cudaMemcpy(d_a, h_a, size * size * sizeof(int), cudaMemcpyHostToDevice);
    cudaMemcpy(d_b, h_b, size * size * sizeof(int), cudaMemcpyHostToDevice);

    dim3 dimGrid(10, 10, 1);
    dim3 dimBlock(32, 32, 1);

    gpu_matrix_multiply << <dimGrid, dimBlock>> >(d_a, d_b, d_c);

    cudaMemcpy(h_c, d_c, size * size * sizeof(int), cudaMemcpyDeviceToHost);

    cudaEventRecord(stop1, NULL);
    cudaEventSynchronize(stop1);
    float msecTotal1 = 0.0f;
    cudaEventElapsedTime(&msecTotal1, start1, stop1);

    std::cout << "Time in GPU is " << msecTotal1 << "ms" << std::endl;

//    for(int i = 0; i < size; i++)
//        printf("h[%d][%d] = %d\n", i, i, h_c[i][i]);

    cudaFree(d_a);
    cudaFree(d_b);
    cudaFree(d_c);

    return 0;
}


//simple example
//int main()
//{
//    int a[3][3];
//    for(int i = 0; i < 3; i++)
//        for(int j = 0; j < 3; j++)
//            a[i][j] = i;
//    int b[9];
//    for(int i = 0; i < 9; i++)
//    {
//        b[i] = a[i / 3][i % 3];
//    }
//    for(int i = 0; i < 9; i++)
//    {
//        printf("b[i] = %d\n", b[i]);
//    }
//    return 0;
//}

6月6日更新，学习了一下用std::vector写矩阵乘法

#include <iostream>
#include <vector>


using namespace std;

void matrix_multiply(const vector<vector<int> >& vec_a, const vector<vector<int> >& vec_b, vector<vector<int> >& vec_c) {
    if (vec_a[0].size() != vec_b.size()) {
        std::cout << "The two matrix cannot do multiplying." << std::endl;
    }

    for (unsigned long row = 0; row < vec_a.size(); row = row + 1) {
        for (unsigned long col = 0; col < vec_b[0].size(); col = col + 1) {
            vec_c[row][col] = 0;
            for (unsigned long k = 0; k < vec_b.size(); k = k + 1) {
                vec_c[row][col] += vec_a[row][k] * vec_b[k][col];
            }
        }
    }
}

int main()
{
    vector<vector<int> > vec_a = {{1, 1, 1, 1}, {1, 1, 1, 1}, {1, 1, 1, 1}};  //3x4
    vector<vector<int> > vec_b = {{1, 2, 3, 4, 5}, {2, 3, 4, 5, 6}, {3, 4, 5, 6, 7}, {4, 5, 6, 7, 8}};//4x5
    vector<vector<int> > vec_c(vec_a.size(), vector<int>(vec_b[0].size()));
//Another way to initialize vec_c.
//    vector<vector<int> > vec_c;
//    vec_c.resize(vec_a.size());
//    for (unsigned long i = 0; i < vec_a[0].size(); i = i + 1) {
//        vec_c[i].resize(vec_b[i].size());
//    }

    matrix_multiply(vec_a, vec_b, vec_c);
    
	//print vec_c by index.
    for (unsigned long row = 0; row < vec_c.size(); row = row + 1) {
        for (unsigned long col = 0; col < vec_c[0].size(); col = col + 1) {
            std::cout << "vec_c[" << row << "][" << col << "] = " << vec_c[row][col] << "  ";
        }
        std::cout << std::endl;
    }

    std::cout << std::endl;

	//print vec_c by iterator
    vector<vector<int> >::iterator iter = vec_c.begin();
    for (unsigned long row = 0; row < vec_c.size(); row = row + 1) {
        vector<int>::iterator iter_col = iter->begin(); //(*iter).begin()
        for (unsigned long col = 0; col < vec_c[0].size(); col = col + 1) {
            std::cout << "vec_c[" << row << "][" << col << "] = " << *iter_col << "  ";
            iter_col += 1;
        }
        iter += 1;
        std::cout << std::endl;
    }

    return 0;
}

NOTE(2021-12-25)

vector<vector<int>> a1(40, vector<int>(80, 1));
cudaMallocManaged((void**)&d_p1, sizeof(int)*(a1.size())*(a1[0].size()));
cudaMemcpy(d_p1, a1[0].data(), sizeof(int)*(a1.size())*(a1[0].size()), cudaMemcpyHostToDevice);
for (int i = 0; i < (a1.size())*(a1[0].size()); ++i) {
    cout << d_p1[i] << " ";
}

turns out:

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 337 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 337 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 337 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 337 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 337 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 337 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 337 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 337 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 337 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 337 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 337 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 337 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 337 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 337 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 337 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 337 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 337 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 337 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 337 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 337 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 337 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 337 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 337 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 337 0 1 1 1 1 1 1 1 1 
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 337 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 337 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 337 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 337 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 337 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 337 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 337 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 337 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 337 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 337 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 337 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 337 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 337 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 337 0 1 1 1 1 1 1 1 1 3
YaoJiawei329
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
CUDA之矩阵乘法——TILE&sharedmemory
摸爬滚打琦琦子的博客
05-25 3308
CUDA 矩阵乘法将输入数据分成很多个TILE使用shared memory进行并行计算
CUDA~矩阵乘运算
最新发布
whaosoft143ai的博客
11-01 2809
心爱的cuda文章终于又找到一个 赶紧搬啊本文主要介绍用CUDA实现矩阵乘法运算（C = A x B）的几个基本方法，帮助大家理解矩阵在GPU上面的运算与CPU上的有何异同，通过实践上手CUDA的优化计算，相比基础方法，能提速10倍以上。本文内容涉及到CUDA矩阵1D运算、2D运算、共享内存、CUBLAS的使用。代码:https://github.com/CalvinXKY/BasicCUDA/tree/master/matrix_multiply。​ whaosoft aiothttp://143a
基于CUDA的矩阵相乘
身是菩提树、心是明镜台、时时勤拂拭、莫使惹尘埃
03-09 9408
这几天研究了一下CUDA，发现其并行的思想和普通的CPU多线程思想不太一致，但还是挺不错。主要是将任务划分成一个个block，然后每个block里面再划分成细的线程。然后每个线程做自己做的 事情。这种并行思想很适用于像矩阵运算这些元素与元素之间的运算并不耦合得很厉害，但整体数据很大的情况，这只是我对CUDA的初步感觉。 矩阵相乘的CPU程序如下： //C = A*B void
CUDA学习(十一):原子操作实现向量内积
hjxu2016的博客
11-20 1319
文章目录一、原子操作的概念二、一次原子操作替换两次归约三、Block内归约，block间原子操作 本文章为 《 GPU编程与优化 大众高性能计算》的读书笔记，例子也都取自书中教程。 向量内积运算中，需要用到的原子操作函数是原子加法函数，GPU的向量内积运算包含的两个累加部分都可以采用原子操作替换，分别是block内thread间归约和block间归约，当然也可以只用一次原子操作。 原子操作又可以分为全局存储原子操作和共享存储原子操作，抢号能对应向量内积中的两个累加部分。 一、原子操作的概念 摘自 CUDA
矩阵乘法-CUDA CPU&GPU加速比
qq_33562636的博客
05-26 1335
#include <stdio.h> #include <stdlib.h> #include <time.h> #include "cuda_runtime.h" #include "device_launch_parameters.h" #define M 8 #define K 8 #define N 8 void initial(double *array, int size) { for (int i = 0; i < size; i++) {
矩阵乘法——基于GPU的并行编程模型CUDA程序设计
千色千寻的博客
08-21 3618
CUDA并行编程——矩阵乘法 目录CUDA并行编程——矩阵乘法1 题目描述2 设计思路实验环境3 源码3.1 串行程序3.2 并行程序3.3 性能对比与分析 1 题目描述 题目1：编写一个矩阵乘法的GPU并行程序，并且与对应规模的串行程序进行运行时间的比对（n=500，1000，1500，2000，3000，5000），画出规模和时间对比图。 矩阵A（n，n） 矩阵B（n，n） C = A x B 要求：   1、完成程序的开发并验证其正确性，完成一个实验报告（程序源代码、变量和语句的详细说明；   2、
cpu版矩阵乘法和cuda矩阵乘法 GPU加速
11-21
本项目探讨了两种不同的矩阵乘法实现：CPU版本和CUDA（Compute Unified Device Architecture）版本，后者利用GPU（图形处理器）进行加速。 CPU版矩阵乘法是传统的并行计算方式，通常依赖于多线程技术，如OpenMP，...
cuda.zip_cuda矩阵_矩阵乘法
09-23
CUDA（Compute Unified Device Architecture）是由NVIDIA公司推出的一种并行计算平台和编程模型，它允许开发者利用GPU（图形处理器）的强大计算能力来处理原本由CPU执行的计算密集型任务，如矩阵乘法。在高性能计算...
mul.zip_cuda程序_矩阵乘法
09-20
CUDA（Compute Unified Device Architecture）是NVIDIA推出的一种编程模型，它允许开发者利用GPU（图形处理单元）的强大并行计算能力来加速计算密集型任务，如矩阵乘法。以下是关于CUDA C矩阵乘法的详细知识点： 1....
基于CUDA架构矩阵乘法的研究
10-19
实验结果显示，基于CUDA的矩阵乘法相对于CPU实现，可以获得显著的加速比，最高可达1079.64，这意味着GPU的计算效率远超CPU。此外，GPU的浮点运算能力得到了充分利用，峰值比最高达到30.85%，这充分展示了CUDA架构在...
GPU上 多种方法的矩阵乘法
11-16
GPU上使用多种方法的矩阵乘法，让你在用到 矩阵乘的时候有更为简洁的方法
CUDA矩阵乘法计算
08-26
CUDA实现的矩阵乘法，运用了共享内存，纹理内存。
几个cuda源代码示例
09-04
几个cuda源代码示例 1.cuda矩阵例子.cu 2.实现矩阵的乘法.cu 3.... /*****************************************************************************************/ /核心代码部分,实现了矩阵的乘法运算/核心代码部分,实现了矩阵的乘法运算 /*****************************************************************************************/ / // Matrix multiplication kernel –thread specification __global__ void MatrixMulKernel(Matrix M, Matrix N, Matrix P) { // 2D Thread ID int tx = threadIdx.x; int ty = threadIdx.y; // Pvalue is used to store the element of the matrix // that is computed by the thread float Pvalue = 0; // 并行计算体现在次,多个thread并行进行 // 每个thread计算一行与一列的乘积 for (int k = 0; k < M.width; ++k) { float Melement = M.elements[ty * M.pitch + k]; float Nelement = Nd.elements[k * N.pitch + tx]; Pvalue += Melement * Nelement; } // Write the matrix to device memory; // each thread writes one element P.elements[ty * P.pitch + tx] = Pvalue; }
GPU.rar_GPU_GPU CUDA_cuda_cuda矩阵
09-24
本文将深入探讨GPU的通用计算能力，特别是通过CUDA（Compute Unified Device Architecture）来实现矩阵相乘这一重要计算任务。CUDA是NVIDIA公司推出的一种编程模型，它允许程序员直接利用GPU的强大并行计算能力进行...
GPU编程(三): CPU与GPU的矩阵乘法对比
weixin_34092370的博客
01-21 913
目录 前言 代码 计时函数 最后 前言 在上一篇的最后, 我提到了一个矩阵乘法, 这次与CPU进行对比, 从中可以很明显GPU在并行计算上的优势. 计时函数 在贴出代码之前, 来看下我常用的计时函数, 可以精确到微秒级. 首先头文件是#include&lt;sys/time.h&gt;. 结构体为: struct timeval{ long tv_sec; /*秒*/ ...
cpu gpu做矩阵乘法效率比对，虽然如此，但是对需要自己做的算法是否能如此高效的提高还是未知
a925907195的专栏
09-25 3826
vs2008上创建cuda项目，新建test.cu文件，将如下代码拷贝进去，编译执行，能很清楚地看到GPU跑矩阵乘法和CPU的效率区别。在我的pc机上执行得到如下结果，可见矩阵乘法的GPU效率大概提高了一个数量级（相对应CPU而言）,开发环境VS2008+cuda5.x开发包+GT520M显卡
使用cuda C完成矩阵相乘算法详解
sinat_38368658的博客
03-26 4958
矩阵相乘大家应该都不陌生。 设有两个矩阵M和N，假设M和N都是方阵，维度均为width × width 如果M和N均为1000 × 1000的矩阵，总共要进行1000000次点乘。其中，每次点乘有1000次乘法和1000次加法。 Matirx Multiply：CPU实现 先来看看使用普通的c代码在CPU端如何实现 void MatrixMulOnHost(float* M,float* N,...
CUDA vector 存储
家家的专栏
04-02 2127
转自：http://blog.csdn.net/xhz1234/article/details/7522454 [cpp] view plaincopyprint? /*  * Copyright 徐洪志(西北农林科技大学.信息工程学院).  All rights reserved.  * Data: 2012-4-26  */   // 此程序是演
C++矩阵乘法计算 || GPU && CPU 实现
春江水暖鸭先知
09-03 5012
废话 使用英伟达加速矩阵运算一般使用cublas库进行操作，在cublas库中，使用cublasSgemv()和cublasSgemm()分别进行矩阵向量间的乘法运算与矩阵矩阵间的乘法运算。本文将具体的解释上述两个函数的参数以及具体的应用例子。参照官方解释 矩阵乘法函数解释 仅仅使用单精度(float)进行解释，若想尝试双精度(double),可以进入官网查看相应函数. ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值