- 博客(551)
- 资源 (45)
- 收藏
- 关注
原创 一文了解开源大语言模型文件结构,以 Hugging Face DeepSeek-V3.1 模型仓库为例
一文了解开源大语言模型文件结构,以 Hugging Face DeepSeek-V3.1 模型仓库为例
2025-10-24 21:35:58
1528
1
原创 一文掌握 CodeX CLI 安装以及使用!
CodeX CLI 是一个可在本地终端运行的编码智能体,能够在本机指定目录中读取、修改并执行代码。CodeX CLI 为开源项目,使用 Rust 开发,侧重性能与效率。该项目托管于 GitHub(https://github.com/openai/codex),并在持续迭代中不断完善。
2025-10-17 21:19:39
21550
2
原创 Claude Code 太贵?这五个工具都能让 Claude Code 支持更多自定义模型 + API 中转!
Claude Code 太贵?这五个工具都能让 Claude Code 支持更多自定义模型 + API 中转!
2025-10-07 21:39:02
2905
原创 一文了解大语言模型推理性能优化关键技术之 PD 分离及典型的 PD 分离方案
本文首先明确大语言模型推理系统的关键性能指标,继而剖析预填充(Prefilling)与解码(Decoding)这两个阶段的核心特征。基于上述分析,本文指出:持续批处理(Continuous Batching)采用阶段隔离与抢占机制,虽有助于提高系统吞吐量并降低首令牌延迟(Time To First Token,TTFT),但会显著增加词元间延迟(Token-to-Token Delay,TBT),进而对端到端(End-to-End,E2E)延迟造成不利影响。最后,本文简要回顾了预填充与解码相分离(Prefi
2025-10-07 16:41:57
3916
2
原创 一文了解国产算子编程语言 TileLang,TileLang 对国产开源生态的影响与启示
TileLang 旨在简化高性能 GPU/CPU 内核(Kernels)的开发,例如 MLA(Multi-Head Latent Attention)、GEMM(GEneral Matrix Multiplication)、Dequant GEMM、FlashAttention 和 LinearAttention 等。通过在 TVM 之上构建底层编译器基础设施,并采用 Pythonic 语法,tile-lang 使开发者能够专注于提升开发效率(门槛较低、易用),而无需牺牲实现最佳性能所需的底层优化。
2025-10-01 19:39:42
6311
3
原创 使用 np.zeros_like(label) 保存预测概率时发现数据类型不匹配导致的隐式类型转换
使用 np.zeros_like(label) 保存预测概率时发现数据类型不匹配导致的隐式类型转换
2025-04-29 20:41:10
789
1
原创 对张量 output_tensor - torch.Size([36, 1, 1000, 2048]) 进行 torch.mean(output_tensor, dim=-2).squeeze()
含义:对每个隐藏层、每个 “分段”,把 1000 个 Token 的 2048 维向量做平均,得到一个长度 2048 的 “全序列平均” 向量。该序列将所有 Token 的上下文信息融合为一个固定长度的向量,常用于文本分类、相似度计算等需要句子级表示的场景。:dim=-2 指的是从后往前数的第 2 个维度,也就是原张量的 “1000” 这一维(序列长度维度)。就是对原始序列在 Token 维度上进行 Token 平均后,去掉多余维度得到的最终特征表示。具体阐述此操作对输入张量进行了怎样的变换。
2025-04-28 13:24:12
723
原创 PyTorch 深度学习框架中 torch.cuda.empty_cache() 的妙用与注意事项
PyTorch 深度学习框架中 torch.cuda.empty_cache() 的妙用与注意事项
2025-02-20 20:57:04
2727
原创 解决问题: wps 无法加载此加载项程序 (c:\users\administratorappdata\roaming\microsoft\word\startup\mathpage.wll)
解决问题:wps 无法加载此加载项程序 (c:\users\administratorappdata\roaming\microsoft\word\startup\mathpage.wll)
2025-02-18 22:58:45
3373
1
原创 为何实现大语言模型的高效推理以及充分释放 AI 芯片的计算能力对于企业级落地应用来说,被认为具备显著的研究价值与重要意义?
为何实现大语言模型的高效推理以及充分释放 AI 芯片的计算能力对于企业级落地应用来说,被认为具备显著的研究价值与重要意义?
2025-02-06 22:44:45
1180
原创 计算机科学与人工智能专业的应届毕业生应如何提高自身的就业的认知和竞争力?
深入分析:在当前中国高校的教育体系及就业市场环境下,计算机科学与人工智能专业的应届毕业生应如何提高自身的就业的认知和竞争力?
2025-02-06 21:31:25
1587
2
原创 一文了解硅基流动(SiliconCloud):有前景的大模型云服务平台
一文了解硅基流动(SiliconCloud):强大的大模型云服务平台
2025-02-03 17:04:49
101165
16
原创 Matlab 和 R 语言的数组索引都是从 1 开始,并且是左闭右闭的
Matlab 和 R 语言的数组索引都是从 1 开始,并且是左闭右闭的。
2024-12-22 23:59:12
1641
原创 深入分析:将大语言模型生成的结果称为 “Responses“(响应),这是否为标准说法呢?
深入分析:将大语言模型生成的结果称为 “Responses“(响应),这是否为标准说法呢?
2024-12-11 23:51:04
662
原创 如何解决将长视频转换为易于处理的 Spacetime Patch 的问题?
如何解决将长视频转换为易于处理的 Spacetime Patch 的问题?
2024-11-18 20:55:56
1063
原创 了解针对基座大语言模型(类似 ChatGPT 的架构,Decoder-only)的重头预训练和微调训练
了解针对基座大语言模型(类似 ChatGPT 的架构,Decoder-only)的重头预训练和微调训练
2024-09-26 00:22:10
1479
原创 一点思考:在 Python 数据科学和机器学习研究背景下,代码审查(Code Review, CR)的必要性
一点思考:在 Python 数据科学和机器学习研究背景下,代码审查(Code Review, CR)的必要性
2024-09-07 12:31:58
1798
高效准备面试 整理的一些面试技巧.pdf
2021-08-05
FPGA开发_UART串口通信设计.zip
2021-08-03
天津市公交网络数据分析与可视化(源码+数据集)
2021-08-04
2020年死亡公司数据分析与可视化(源码+数据集)
2021-08-03
C语言期末考试题库+十套数据结构与算法试题及答案+实验报告.zip
2021-08-03
解决pyecharts运行后产生的html文件用浏览器打开空白 下载引用资源到本地
2021-08-04
本地搜索神器Everything windows 64位专用版.zip
2021-08-03
PyCharm设置 数十款漂亮的代码主题风格整理
2021-08-07
中文常用停用词表 stopwords-master.zip
2021-08-06
Magic Mouse Trails 跟随鼠标移动有拖尾特效 很炫酷
2021-08-05
FolderPainter 一个可以修改Windows文件夹颜色、样式的软件,可以用于文件标记
2021-08-04
全网最全 表白网页源码整理.zip
2021-08-03
逃课?给老师的jQuery随机点名中奖后放烟花动画特效源码
2021-08-03
draw.io免安装版
2021-08-03
经过3D立体动态展示图片特效源码(带背景音乐)
2021-08-03
HTML+CSS+JavaScript实现超级玛丽小游戏.zip
2021-08-03
Python快速入门培训ppt+面试题精选.zip
2021-08-02
MATLAB人脸识别程序 带GUI界面(完美运行 注释详细).zip
2021-11-01
Python 实现FISTA算法.zip
2021-10-14
YOLO网络 手部检测数据集.zip
2021-08-26
NetworkX 绘制精美网络图.rar
2021-09-10
Python+pygame游戏25个案例及源码+pygame中文教程(注释详细 完美运行)
2021-12-11
基于贝叶斯改进的群组推荐(代码+数据+论文资料)
2021-08-07
xpath_helper.zip
2021-08-18
全网最详细!C语言 设计贪吃蛇游戏.zip
2021-10-08
springboot、vue-simple-uploader文件上传、续传、秒传 源码.zip
2021-08-18
湖人队2019-2020赛季全队投篮数据.xlsx
2021-08-19
jdk-8u211-linux-x64.tar.gz和hadoop-2.7.3.tar.gz的压缩包.zip
2021-08-10
FolderPainter 一个可以修改Windows文件夹颜色、样式的软件,可以用于文件标记
2021-08-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅