- 博客(109)
- 资源 (18)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 faiss上的GPU流程，GPU与CPU之间的联系
GPU使用流程分为初始化、数据加载、计算和优化四个阶段。首先初始化GPU资源并创建索引类型（如GpuIndexFlatL2）。数据从CPU内存传输到GPU显存后，通过并行计算构建索引并执行近邻搜索。FAISS优化了数据传输效率，支持多GPU并行和分片处理。结果返回CPU后清理资源。FAISS的GPU索引与CPU兼容，支持自动数据转换和PyTorch张量直接输入，同时提供灵活的资源管理和临时内存优化。支持的索引类型包括GpuIndexFlat、GpuIndexIVFFlat等，适用于不同精度需求。
2025-06-12 15:51:39
355
原创 使用cmake安装faiss-GPU.so(无网或者内网情况下）
GPU使用流程主要包括安装NVIDIA驱动、CUDA Toolkit并配置环境变量，最后编译安装FAISS-GPU版本。首先通过nvidia-smi和nvcc -v验证驱动和CUDA安装，然后安装必要的开发工具和依赖库。在编译FAISS时需开启GPU支持，指定CUDA路径和架构，并处理测试依赖项。最后通过修改构建配置完成安装，可使用nvidia-smi监控GPU使用情况。整个过程需确保硬件、驱动、CUDA和软件环境的正确配置与兼容性。
2025-06-12 15:50:05
215
原创 最大似然估计（Maximum Likelihood Estimation, MLE）详解
最大似然估计（MLE）通过最大化观测数据的概率来估计参数。经典例子包括正态分布的均值/方差估计（$\mu^=\frac{1}{n}\sum x_i$）和二项分布参数估计（$p^*=k/n$）。在大模型（如GPT、BERT）中，MLE是损失函数（如交叉熵）的基础，但需结合正则化、优化算法（如Adam）应对过拟合和高维问题，并扩展至生成模型（如GAN）。其局限性（过拟合、非凸优化）通过贝叶斯方法、数据增强等技术缓解，成为统计学习与深度学习的核心方法论
2025-05-24 15:59:45
1458
原创 win11安装Joplin Server私有化部署(docker)
win11安装Joplin Server私有化部署，并且进入到joplin里面创建新的用户
2025-05-15 12:56:43
1043
原创 理解 DuckDB 的逻辑计划（Logical Plan）、优化器（Optimizer）和物理执行计划模块的工作流程
理解duckdb中的逻辑计划，优化器和物理执行的工作流程
2025-04-08 17:01:34
978
原创 端侧设备（如路由器、家庭网关、边缘计算盒子、工业网关等）的典型系统、硬件配置和内存大小
端侧设备（如路由器、家庭网关、边缘计算盒子、工业网关等）的典型系统、硬件配置和内存大小
2025-03-28 16:04:03
753
原创 faiss库中ivf-sq（ScalarQuantizer，标量量化）代码解读-4
分析测试代码，并以测试代码整理各个函数的调用栈，为后续的调用分析打下基础。
2024-11-27 17:10:20
1163
原创 faiss库中ivf-sq（ScalarQuantizer，标量量化）代码解读-6
分析里面add流程，查看ivfsq训练得到了vmin和vdiff之后，如何对库中的向量如何进行处理
2024-11-27 16:35:07
364
原创 faiss库中ivf-sq（ScalarQuantizer，标量量化）代码解读-1
分解faiss源代码，帮助大家理解ivf-sq的流程以及ivf-sq转移到pgsql上进行重写
2024-11-25 16:23:02
1285
原创 5万字讲解大模型语言高效推理研究（清华综述）
大模型由于其在各种任务中的出色表现而引起了广泛的关注。然而，大模型推理的大量计算和内存需求对其在资源受限场景的部署提出了挑战。业内一直在努力开发旨在提高大模型推理效率的技术。本文对现有的关于高效大模型推理的文献进行了全面的综述总结。首先分析了大模型推理效率低下的主要原因，即大模型参数规模、注意力计算操的二次复杂度作和自回归解码方法。然后，引入了一个全面的分类法，将现有优化工作划分为数据级别、模型级别和系统级别的优化。此外，本文还对关键子领域的代表性方法进行了对比实验，以及分析并给出一定的见解。
2024-09-19 15:38:26
1174
线性代数中奇异值分解与特征值分解的理论及其在大模型中的应用解析
2025-05-24
南京大学数理逻辑考试内容
2025-01-28
南京大学软件学院专硕论文编写模板
2024-09-02
南京大学软件学院学硕论文编写模板
2024-09-02
Off-chaining Models and Approaches to Off-chain Computations
2022-01-29
用来查看AIGC的数字标注产业的前景
2024-07-10
用于解决Matlab路径的问题
2023-10-14
利用VMWare来部署Hyperledger Fabric
2023-10-09
南京大学服务器上搭建UOJ系统的保姆级步骤
2023-09-30
leetcode动态规划算法详细讲解
2023-08-29
高级算法-nju-onlineJudge-master-java和python的答案
2022-06-15
操作系统+软件工程+计算机网络相关PPT资源
2022-05-26
飞机大战源码地址--用于帮助初学者理解Java--java练手项目
2022-05-16
走向后量子区块链：抗量子计算攻击的区块链加密综述
2022-03-11
简洁非交互式零知识证明参数（zk-SNARKS），本文系统介绍了zk-SNARKS的数学理论，需要有一定的数学功底的人进行阅读
2022-03-28
研究生面临着选择研究方向的困难
2022-03-23
TA创建的收藏夹 TA关注的收藏夹
TA关注的人