from knn_cuda import knn安装过程遇到的问题

已于 2022-12-20 22:30:58 修改
阅读量3.8k 收藏 9
点赞数 3
文章标签： 深度学习 pytorch python
于 2022-12-15 03:35:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/goodgoodstudy___/article/details/128311918
版权
本文记录了在Windows环境下使用pip安装KNN_CUDA扩展遇到的问题及解决过程。作者首先尝试直接安装预编译的whl文件，但遇到了UnicodeDecodeError。之后尝试按照官方指南编译源代码，又遇到了knn.so与PyTorch不匹配的错误。最终通过调整PyTorch版本解决了问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

首先安装的总体步骤
在这里插入图片描述

windows下安装

本来尝试

pip install --upgrade https://github.com/unlimblue/KNN_CUDA/releases/download/0.2/KNN_CUDA-0.2-py3-none-any.whl  -i http://pypi.doubanio.com/simple/ --trusted-host pypi.doubanio.com

进行安装，但是安装完成后报错

File "E:\Anaconda_app\lib\site-packages\torch\utils\cpp_extension.py", line 1681, in _run_ninja_build message += f": {error.output.decode()}" # type: ignore[union-attr] 
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd5 in position 804: invalid continuation byte

所以打算按照for windows步骤重新安装

提前实验过的博文

按照此博客走一遍

过程中遇到错误

过程中执行make，遇到makefile中

ifndef NINJA 
	copy %cd%\ninja C:\Windows\System32\bin
endif

在这里插入图片描述
直接把语句用‘#’注释掉，再手动将下载的KNN_CUDA根目录下的ninja复制到C:\Windows\System32\bin下（或者C:\Windows\System32）s

运行过程中遇到问题：

  File "/root/.local/lib/python3.7/site-packages/torch/utils/cpp_extension.py", line 1092, in load
    keep_intermediates=keep_intermediates)
  File "/root/.local/lib/python3.7/site-packages/torch/utils/cpp_extension.py", line 1318, in _jit_compile
    return _import_module_from_library(name, build_directory, is_python_module)
  File "/root/.local/lib/python3.7/site-packages/torch/utils/cpp_extension.py", line 1701, in _import_module_from_library
    module = importlib.util.module_from_spec(spec)
ImportError: /root/.local/lib/python3.7/site-packages/knn_cuda/csrc/_ext/knn/knn.so: undefined symbol: _ZN2at4_ops19empty_memory_format4callEN3c108ArrayRefINS2_6SymIntEEENS2_8optionalINS2_10ScalarTypeEEENS6_INS2_6LayoutEEENS6_INS2_6DeviceEEENS6_IbEENS6_INS2_12MemoryFormatEEE

问题应该在于编译好的knn.so和pytorch不匹配，因为自己有在中途重新更改过torch版本，所以此时重新换回原来的torch版本

如果其他服务器有编译好的build文件，迁移到同环境不同服务器，也可以直接复制粘贴文件，不用费劲重新编译

study_&
关注
命令行import kNN失败
weixin_42947848的博客
08-18 1054
在python中，只要模块（.py文件）或者包（具有__init__.py文件的目录）的目录在sys.path中，即要导入的模块（.py文件）和当前模块在同一目录，import相应的文件名即可。 （1）按win+R，输入cmd弹出命令行 （2）从命令行进入python解释器 比如我的目录是E:/python/python36/python.exe 法一： C:\Users\Administrator>E: E:\>cd python/python36 E:\python\python36>
python knn代码详解_knn算法详解（附练习代码）
weixin_31002509的博客
01-28 2476
KNN算法KNN算法是一个用于对数据样本进行分类预测的算法KNN算法就是根据样本之间的距离，来对新的样本来进行分类计算过程：将新的样本点，与历史样本点中的每一个样本点进行距离的计算 取前k个距离最近的样本点的分类结果 取分类结果频次最好的二分类项作为新样本的分类。网络搜索：手动指定不同参数的检索范围，通过网络搜索来寻找最优的超参数或者模型参数K就表示要取离新样本最近的K个样本进行分类决策通常我们...
3DGS-SuGaR部署 simple-knn安装报错处理[已解决] ——不新装cuda版本
m0_51476524的博客
08-22 2352
cuda版本和pytorch版本不匹配。
推荐文章：KNN_CUDA——GPU加速的高效近邻搜索库
gitblog_00018的博客
05-27 825
推荐文章：KNN_CUDA——GPU加速的高效近邻搜索库 去发现同类优质开源项目:https://gitcode.com/ 1、项目介绍 KNN_CUDA 是一个基于CUDA实现的Python库，用于在PyTorch环境中进行大规模数据集上的K最近邻（K-Nearest Neighbors，简称KNN）搜索。这个库通过充分利用NVIDIA GPU的并行计算能力，显著提升了KNN搜索的速度，并且兼容...
【人工智能】手把手教你安装CUDA：从版本确认到安装完成
最新发布
田豆芽的IT技术专栏
04-17 1557
本文将通过三个关键步骤，详细讲解如何正确安装与显卡匹配的CUDA版本。
pytorch： knn cuda编译
qq_41035283的博客
03-14 5216
pytorch： knn cuda在windows下的编译前言编译流程编译前准备编译测试（可选） 前言 本篇记录一下在windows系统下的pytorch版knn cuda编译。 看pytorch官方issue上写了今年可能会官方提供knn算法，但不知道啥时候会添加这个功能。远水解不了近渴，还是得上github找资源。 编译流程 编译前准备 首先把windows版knn cuda代码clone下来： git clone --branch windows https://github.com/unlimblu
R的数据预处理之数据清洗和数据变换
DAT｜R科学与人工智能
03-22 850
数据预处理是数据科学工作流中的重要环节。通过数据清洗、数据集成、数据变换和数据规约等步骤，可以显著提高数据质量，为后续的分析和建模提供坚实基础。在实际应用中，结合具体数据的特点和分析目标，选择合适的数据预处理方法，可以有效提升模型的准确性和稳定性。
CUDA-KNN:CUDA 上的 KNN 算法
06-02
CUDA-KNN CUDA 上的 KNN 算法
关于python使用jupyter进行import kNN操作的相关问题
m0_47747430的博客
10-13 2907
关于python使用jupyter进行import kNN操作的相关问题 学习机器学习时用到jupyter，在进行K近邻算法时，import kNN发现出现no module named kNN错误，查找课本源代码“kNN.py”将其复制到jupyter运行文件夹，（不清楚可以在jupyter中使用import os print(os.path.abspath(","))进行查找），复制后要打开kNN.py文件，将文件内代码全选复制，在jupyter要运行的文件夹下新建python3文件，然后Ctrl+V将
KNN算法的CUDA实现
Time_Runner的专栏
09-07 6574
在参考了《Fast k Nearest Neighbor Search using GPU》后，结合现在在做的课题，写点东西。 1.  算法思路         KNN算法的基础是对给定的query点集，对应查找在参考空间中距离最近的K个紧邻点。KNN的应用方面非常广泛，在ICP配准问题，Spin-image旋转图像配准法，SIFT点提取，数据挖掘，机器学习等多个方面中有广泛应用。
KNN分类算法（K近邻算法）—— 基于GPU的并行编程模型CUDA程序设计
千色千寻的博客
08-21 3035
CUDA并行编程——KNN分类算法（K近邻算法） 目录CUDA并行编程——KNN分类算法（K近邻算法）1 题目描述2 设计思路实验环境3 源码3.1 串行程序3.3 性能对比与分析 1 题目描述   用CUDA设计一个KNN分类算法（K近邻算法）程序。在特征空间中查找K个最相似或者距离最近的样本，然后根据K个最相似的样本对未知样本进行分类。通过训练集和测试集给出算法的正确率。 2 设计思路 首先写出knn的串行代码，包括以下几部分： 1、定义KNN类 2、用constructor创建对象，传进去文件名，用
矩阵序列matlab代码-kNN-CUDA:使用GPU快速进行k最近邻搜索
05-19
矩阵序列matlab代码介绍 k最近邻算法（k-NN）是广泛用于分类和回归的机器学习算法。 k-NN算法被用于许多研究和工业领域，例如3维对象渲​​染，基于内容的图像检索，统计（熵和散度的估计），生物学（基因分类）等。kNN搜索的处理时间在许多应用领域，尤其是在高维空间中，仍然是瓶颈。 在这项工作中，我们尝试通过使用GPU执行kNN搜索来解决此处理时间问题。 作者 文森特·加西亚（Vincent Garcia） 埃里克·德布鲁夫（ÉricDebreuve） 米歇尔·巴劳德（Michel Barlaud） 描述 输入k-NN算法的值： 一组参考点。 查询点集。 参数k对应于要搜索的邻居数。 对于每个查询点，k-NN算法在参考点集中找到k个最近的点（k个最近的邻居）。 该算法返回（1）参考点集中k个最近点的索引（位置）和（2）k个相关联的欧几里得距离。 我们为此算法提供3种CUDA实现： knn_cuda_global使用GPU全局内存计算k-NN，以存储参考点和查询点，距离和索引。 knn_cuda_texture使用用于存储参考点的GPU纹理内存和用于存储其他阵列的GPU全局内存来计算
knn和svm中文文本分类系统，可安装运行
01-13
是一个不错的中文分类器，里面包括knn 和svm分类法。李荣陆的作品。安装后即可使用。
实验记录 | 点云处理 | K-NN算法3种实现的性能比较
Junseer的博客
09-07 1861
本菜在复现点云文章过程，遇到了三种 KNN 的实现方式：knn、knn_point、knn_cuda，故在此一并对比总结，最后对三种实现方案进行了性能比较。
机器学习实战中怎样使用kNN模块
小知的博客
10-03 1932
首先建立一个kNN.py的项目文件（记住这里有个特殊情况，文件名必须为kNN.py，否则后面导入 import kNN 会出错的 ） from numpy import * import operator def createDataSet(): group=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]]) labels=['A','A','B...
PyCuda学习笔记之KNN加速
jsmok_xingkong的博客
08-09 3525
KNN 算法是看B站的视频:https://www.bilibili.com/video/av52220223?t=1413 前几天简单的学习了PyCuda, 所以就想应用一下, 然后就选了kNN作为加速对象, 其中也有一些坑, 所以就总结一下. kNN算法 KNN算法是机器学习中一个非常简单的算法,它是一个分类算法,也叫k-近邻算法.大致意思就是查找所求点的周围最近的k个点, 看看哪一类在这...
【python】机器学习实战KNN算法之约会网站
lyl771857509的博客
02-03 809
一、算法流程： 二、约会网站实例流程： 三、代码详解： import numpy as np import operator import matplotlib.pyplot as plt def classify(inX, dataset, labels, k): """ inX 是输入的测试样本，是一个[x,
cuda编程（6）：实现knn算法
SeventhBlue
07-05 2213
暴力实现的复杂度： 实现分析： 完整的代码： Ubuntu运行命令： nvcc -o knn_cuda_with_indexes.exe knn_cuda_with_indexes.cu -lcuda -D_CRT_SECURE_NO_DEPRECATE #include <cuda.h> #include <cuda_runtime.h> #include <cuda_runtime_api.h> #include <device_laun.
Python实现KNN
Aaron
04-09 303
import numpy as np import math import matplotlib.pyplot as plt from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split class KNN: def __init__(self,k,dataSet):...
安装pytorch_knn安装
03-23
### 安装 PyTorch KNN 库的方法 PyTorch KNN 的安装可以通过多种方式实现，具体取决于用户的环境需求以及硬件支持情况。以下是几种常见的安装方法： #### 方法一：通过预编译 Wheel 包安装 对于大多数用户而言，推荐使用预编译的 wheel 包来简化安装过程。这种方式无需手动配置 CUDA 或其他依赖项。 运行以下命令以安装 `knn-cuda`： ```bash pip install knn-cuda ``` 此命令适用于已经正确设置好 PyTorch 和 CUDA 环境的情况[^4]。 --- #### 方法二：从源代码编译安装 如果需要自定义功能或者针对特定版本优化性能，则可以选择从源码编译的方式安装。这通常用于开发阶段或特殊场景下的调试。 执行以下步骤完成编译和安装： 1. **克隆仓库** 使用 Git 将官方存储库克隆至本地： ```bash git clone https://github.com/your-repo/knn-cuda.git cd knn-cuda ``` 2. **构建扩展模块** 执行 Python 脚本来编译 C++/CUDA 部分代码： ```bash python setup.py install ``` 3. **验证安装成功与否** 可以利用 `pytest` 工具测试已编译好的包是否正常工作： ```bash pip install pytest pytest tests/test_knn_cuda.py ``` 如果所有测试用例均通过，则说明安装无误[^1]。 --- #### 方法三：结合现有模型推理部署 当仅需在推断模式下使用该库时，可进一步优化资源消耗并提升效率。例如，在实际应用中可通过禁用梯度计算降低显存占用率： ```python import torch from knn_cuda import KNearestNeighbor # 假设这是目标 API 名称 with torch.no_grad(): model = KNearestNeighbor() input_tensor = torch.randn(1, 3, 224, 224).cuda() # 输入张量 output = model(input_tensor) ``` 上述代码片段展示了如何在推理过程中关闭自动求导机制，从而节省内存开销[^3]。 --- ### 注意事项 - 确保当前环境中已正确安装对应版本的 PyTorch 和 CUDA。 - 若遇到兼容性问题，请尝试更新相关组件或将项目迁移到虚拟隔离空间（如 Conda）重新搭建适配框架。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值