基于cuda实现自定义torch算子

       在 PyTorch 中，您可以通过自定义 CUDA 和 C++ 扩展来替换和实现一些自带的算子，并实现信息前向传递和误差反向传导。这通常需要以下几个步骤：

1. 编写 CUDA 内核和 C++ 包装代码：

   • CUDA 内核负责执行计算。
   • C++ 包装代码用于调用 CUDA 内核并与 PyTorch 进行交互。

2. 编写 Python 接口：使用 pybind11 或 torch::jit 等工具将 C++ 包装代码暴露给 Python。

3. 集成到 PyTorch：将自定义算子注册到 PyTorch，以便在前向传递和反向传导中使用。

（1）简单示例

下面是一个简单的示例，展示了如何实现一个自定义的 CUDA 扩展，并将其集成到 PyTorch 中。这个示例实现了一个简单的加法算子，并支持前向和反向传播。

1. 编写 CUDA 内核和 C++ 包装代码

首先，编写 CUDA 内核（add_kernel.cu）：

#in