自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Michael是个半路程序员

两个孩子的父亲,8年机械工程师,已转行互联网做算法,一起继续加油!高举智慧,她就使你高升;怀抱智慧,她就使你尊荣。-- 箴言(4:8)我的微信公众号:Michael阿明

  • 博客(2628)
  • 资源 (9)
  • 收藏
  • 关注

原创 《统计学习方法》学习笔记目录

此篇为 李航老师著的《统计学习方法》的学习笔记汇总,准备学习并敲一敲代码,还请大家不吝赐教!

2019-12-10 21:54:27 8311 109

原创 LeetCode解题汇总目录

此篇为学习完《数据结构与算法之美》后,在LeetCode刷题的汇总目录,方便大家查找(Ctrl+Find),一起刷题,一起PK交流!如果本文对你有帮助,可以给我点赞加油! Updated on 2022.6.12刷题可以按照不同的专题进行,便于加强某个知识点的理解。另有《剑指Offer》面试题(更新完毕)、《程序员面试金典》面试题(更新完毕)、LintCode代码能力测试CAT。LeetCode MySQL 数据库解题目录点击访问 我的 LeetCode 主页我的 GitHub 主页注:本文超过字数限制,

2019-09-06 13:43:51 81020 367

原创 吴恩达-《深度学习DeepLearning》汇总目录

从2019年2月底开始学习《数据结构与算法之美》,王争老师的课程非常好,到2019年8月底已经学完一遍,后面还要多次复习巩固以及OJ刷题。生命不息,学习不止,又要开始新的篇章了–《机器学习》,有点小兴奋,哈哈,之前Python已经大致过了2遍(小甲鱼的视频&从入门到实践),现在要补NumPy、复习高等数学、然后开始吴恩达老师的课程。此篇文章作为学习的汇总目录,供大家参考,一起学习,共同进步...

2019-08-28 00:43:33 8602 66

原创 《数据结构与算法之美》学习汇总

此篇文章是对自己学习这门课程的一个总结和课后的一些练习,做一个汇总,希望对大家有帮助。本人是半路程序员,2018年2月开始学习C++的,下面的代码基本都是C++11版本的,代码有错误的地方请不吝留言赐教。附有部分练习LeetCode、POJ的题目。

2019-04-22 21:13:00 25425 218

原创 CUDA编程:用 Nsight Compute 分析 Naive、Shared Memory 与 WMMA GEMM

每 block 只 1 warp,SM 上最多 16 block = 16 warp,硬件上限 32。推导:4096 block × 64 次(n/16)× 4 条 HMMA.16816 硬件指令 = 1,048,576。说明 Tensor Core 用对了,运算量正确。occupancy 又只有 50%,没有别的 warp 来掩盖这个延迟。wmma 一个 warp 算一个 16×16 块。环境:Turing CC 7.5,40 SM,585 MHz。warp 约 1/10 时间在等全局内存。

2026-09-21 22:01:19 387

原创 Strip Plot vs Swarm Plot:看清每一个数据点

Strip Plot 和 Swarm Plot 都能保留每个数据点的信息,前者适合快速浏览,后者更适合看清数据密集区、离散程度和慢请求。

2026-08-26 23:28:49 310

原创 小提琴图:箱线图看不到的密度分布

小提琴图通过宽度展示数据密度,比箱线图更直观地揭示 数据的集中区域、偏态和长尾结构。

2026-08-24 23:11:12 257

原创 七夕节,我做了个数字人来送祝福

哇,今天是七夕节,我准备给我的爱人送祝福,最近看到一个3d数字人挺好玩的,我准备做一个数字人来送祝福。输入名字,和你想说的话,AI会自动生成祝福语,并由数字人进行播报祝福。进行调试,sdk可获取你的密钥,接入你的应用程序。

2026-08-19 22:43:03 264

原创 箱线图:一眼看懂大模型 TTFT 的快慢、波动与尾延迟

箱线图通过中位数、四分位区间和离群点,同时展示 LLM 性能的典型水平、波动程度和异常慢请求。规则确定,超出范围的请求会被标记为离群点。,快速概括一组数据的分布。

2026-08-17 22:45:48 209

原创 ECDF:怎么看大模型 TTFT 的 P50、P90 和 P99?

ECDF 能同时展示大模型请求的整体延迟分布和尾延迟指标。

2026-08-13 02:30:00 370

原创 每天 3000 万 Token 免费:MonkeyCode 编程 Agent 快速上手

工程师负责描述需求、定义边界和 Review,AI Agent 负责执行具体开发任务。MonkeyCode 目前提供的云端开发环境 + GitHub + Coding Agent 这种模式,就是这种变化的一个比较典型的例子。再加上目前注册无需绑卡,每天有 30M Token 免费额度,基本没有什么试用成本。感兴趣的可以直接注册一个账号,找一个自己的 GitHub 小项目体验一下。

2026-08-12 08:45:47 468

原创 KDE 核密度图:用一条曲线看清数据分布

KDE 用平滑曲线展示连续数据的分布形状,特别适合观察数据的集中位置、偏态、长尾和多峰结构。

2026-08-11 22:49:24 325

原创 直方图:如何正确观察连续变量的分布

直方图通过把连续数据划分为若干区间,展示每个区间内的数据数量或概率密度。数据集中位置;数据离散程度;分布是否对称;是否存在长尾;是否存在多个峰;图形是否对分组数量敏感。直方图不是简单地“看柱子高低”。它真正表达的是连续变量的整体分布结构。

2026-08-07 22:00:19 405

原创 Hermes Agent 是如何“学习”新技能的?

Hermes Agent 的“学习”并非更新模型参数,而是将任务执行、错误修正和工具调用经验沉淀为可复用的技能文件。本文介绍其技能生成、渐进加载、持续修订与生命周期管理机制,并分析这一模式在企业落地中的价值、局限及治理要求。

2026-08-06 00:08:13 392

原创 CUDA 编程:Tensor Core 与混合精度 GEMM

从 cuBLAS SGEMM 到 Tensor Core GEMM,探索现代 GPU 矩阵计算的核心优化路径。

2026-07-27 22:23:09 392

原创 CUDA 编程:cuBLAS SGEMM 与手写矩阵乘法性能对比

从手写 CUDA Kernel 到工业级高性能库,理解 GPU 矩阵计算优化的差距。

2026-07-26 17:42:10 398

原创 CUDA编程:Histogram 直方图统计与 Atomic 优化

我们希望统计每个数字出现了多少次。如果 bin 数量是 4,也就是统计0,1,2,3。

2026-07-21 22:53:42 375

原创 SofterPlease: 让家庭沟通更温柔

SofterPlease 不是想让 AI 变成家庭里的裁判。它更像一面温和的镜子:下一次,也许可以说得更温柔一点。如果你也相信技术不只应该提高效率,也可以帮助人和人更好地相处,欢迎关注 SofterPlease。也欢迎提出宝贵建议,一起把家庭沟通这件小事,做得更认真、更温柔。

2026-07-10 22:17:30 481

原创 CUDA 编程:Parallel Prefix Sum / Scan 并行前缀和

第 10 课我们学习了 Reduction 归约:把很多数变成一个数。另一个非常核心的并行算法:它是很多 GPU 算子的基础,例如:1. 本课目标本节课重点掌握:2. 什么是 Prefix Sum?假设输入数组是:2.1 Inclusive Scan包含自己:也就是:2.2 Exclusive Scan不包含自己:也就是:CUDA 中很多场景更常用 exclusive scan。例如你有一个 flag 数组:exclusive scan 后:它可以告诉每个有效元素应该写到输出数

2026-07-04 22:26:07 267

原创 我做了一个「简谱唱名标注工具」:自动识别音符,一键给歌谱加 do re mi

阈值高,结果更干净,但可能漏掉一些音符。如果下次打开工程时图片文件移动了,软件不会直接崩溃,而是在列表中灰色显示,并允许用户右键“浏览图片”找回。这个工具不是替代视唱练耳,而是把“认音符”的机械步骤先帮你减轻一点,让注意力更多放在旋律、节奏和表达上。它不是一个复杂的专业制谱软件,而是一个偏实用的小工具:把已有图片快速加工成更适合“唱”的版本。标注完成后,可以直接导出一张与原图同尺寸的新图片,用于打印、分享、课堂教学或排练。最后得到的就是一张带唱名的新歌谱图片,尺寸和原图一致,可以直接打印或分享。

2026-07-03 00:24:23 327

原创 从 Hermes Agent 到 Harness 工程:AI Agent 落地,靠的不只是大模型

Hermes Agent 不是普通聊天机器人,而是可自部署、可长期运行的个人 AI Agent Runtime。它支持多渠道接入、长期记忆、Skills、定时任务和工具调用。其核心价值在于 Harness 工程:通过记忆、权限、验证、日志和恢复机制,让大模型真正安全、稳定地完成任务。

2026-07-01 22:06:47 404

原创 让 AI Agent 学会收发邮件:Agent Mail CLI 配置体验与玩法

Agent Mail CLI 的意义不只是“让 Agent 会发邮件”,而是让 Agent 有了一个真实的任务交付出口。以前我们让 Agent 生成内容,往往还需要自己复制、整理、发送。整理资料 → 写成邮件 → 等待确认 → 发送同时,它也可以反过来读取邮件,帮助我们提取任务、过滤通知、整理待办事项。这让 Agent 从“问答工具”进一步变成了“工作流助手”。

2026-06-30 06:31:12 400

原创 CUDA编程:Parallel Reduction 并行归约与 Warp Shuffle 优化

Reduction 就是把很多数据归约成一个或少量结果。i < n;++i) {就会发生数据竞争。因为多个线程会同时读写同一个sum。1. Reduction 是 CUDA 算子开发中的基础模式2. atomicAdd 写法简单,但全局竞争严重,通常很慢3. Shared Memory Reduction 通过 block 内局部归约减少全局写入4. Warp Shuffle Reduction 用寄存器交换减少 shared memory 和同步开销。

2026-06-28 18:52:58 437

原创 Occupancy、Block Size 与 Kernel 启动配置调优

一个 SM 上实际活跃 warp 数量,占这个 SM 理论最大 warp 数量的比例。一个 SM 理论最多可以同时驻留 64 个 warp当前 kernel 实际只能驻留 32 个 warpGPU 为什么需要较高 occupancy?因为 GPU 访问 Global Memory 有延迟。当一个 warp 在等内存时,SM 可以切换warp A 等内存↓SM 执行 warp B↓warp B 等内存↓SM 执行 warp C所以 occupancy 高,通常更容易隐藏延迟。

2026-06-27 07:19:55 394

原创 把九九乘法表装进口袋:我给孩子做了一款会听、会说、会复盘的乘法口诀 App

所以我想做一个更接近“真人陪练”的 App:它能出题、能读题、能听孩子回答、能判断对错,还能把错题和练习表现记录下来。对我来说,这个项目就是一次很小但很有成就感的实践:把 Android、语音识别、大模型和家庭学习场景结合起来,做成一个孩子真的能用的小工具。孩子不是每一道都不会,而是常常卡在少数几道题上,比如 6×7、7×8、8×9。让孩子“说出来”,比让孩子“点出来”,更接近真实掌握。孩子可能会背“二三得六、三四十二”,但一旦随机问“7×8 等于多少”,就容易卡壳。停止后,本次练习结果会保存。

2026-06-17 21:14:49 238

原创 CUDA编程:Shared Memory Bank Conflict 与 Padding 优化

Shared Memory 很快,但也有内部结构Shared Memory 被划分成多个 bank一个 warp 内多个线程访问同一个 bank,会发生 bank conflictBank conflict 会导致 shared memory 访问串行化矩阵转置中的列访问非常容易触发 bank conflicttile[32][33] 通过 padding 打散 bank 映射Padding 代价很小,但可能明显提升性能。

2026-05-26 21:40:10 526

原创 CacheDiT、TaylorSeer 与 SCM:DiT 扩散模型推理加速到底在加速什么?

不同cache-dit版本 API 可能有小差异。下面是通用写法,如果你的版本支持import osif DEVICE!= "cuda":MODEL_ID,pipe,),.2fs")")CacheDiT 的核心不是“魔法加速”,而是利用扩散模型推理过程中的一个结构性冗余:相邻 denoising steps 的中间特征高度相似。DBCache:Transformer block 级别缓存,减少重复 block 计算。

2026-05-24 20:51:24 557

原创 TeaCache:让扩散模型少算几步,但尽量不掉画质

利用 timestep embedding 感知相邻 denoising step 的输出变化;变化小时复用缓存,变化大时完整计算。它最适合 DiT 类图像/视频/音频扩散模型,尤其是 denoising steps 较多、Transformer 计算占主要瓶颈的场景。生产里建议从开始,逐步调大,同时用固定 prompt、seed、分辨率和 steps 对比不开缓存、保守缓存、激进缓存三组结果。

2026-05-13 23:31:43 741

原创 Global 内存访问与 Memory Coalescing 实验解析

第 7 课围绕 CUDA 中非常关键的Memory Coalescing,即内存合并访问展开。实验通过对比连续访问data[idx]和跨步访问,验证了 Global 内存访问模式对性能的巨大影响。结果显示,在 Tesla T4 上,当stride=32时,非合并访问比合并访问慢约25.5 倍;当stride=16时慢约14.6 倍;当stride=8时慢约8.0 倍。这说明 GPU 性能不仅取决于“算多少”,更取决于 warp 内线程是否访问连续地址。

2026-05-10 01:41:29 486

原创 Shared Memory 与矩阵乘法分块优化实验

本文围绕 CUDA 矩阵乘法中的 Shared Memory 优化展开,通过 Naive 矩阵乘法与 Shared Memory Tiled 矩阵乘法的对比实验,分析不同TILE大小对kernel 性能的影响。实验基于 Tesla T4,测试矩阵规模包括TILE包括8、16、32、64。结果表明,Shared Memory 在大多数有效配置下能够明显加速矩阵乘法。

2026-05-09 06:30:00 498

原创 异步拷贝与 CUDA Stream(计算与数据传输重叠)

例如 Stream 1 正在计算 chunk 1 时,Stream 2 可以同时传输 chunk 2,从而让 copy engine 和 SM(Streaming Multiprocessor) 并行工作,降低总耗时、提升吞吐。顺序运行,数据传输时 GPU 计算单元空闲,kernel 计算时 copy engine 又可能空闲,资源利用率不高。是 kernel 启动的简写形式,默认使用 sharedMemBytes=0 和默认 stream;,可以让不同 chunk 的数据传输与计算交错执行。

2026-05-07 00:37:15 251

原创 CUDA编程:Pinned Memory(固定页内存)如何提升 CPU↔GPU 数据传输效率

因此更合理的做法是:在大数据传输、批量推理、流式处理、异步拷贝等关键路径上使用 Pinned Memory,而不是把所有主机内存都改成 Pinned Memory。申请的固定页内存,它不会被操作系统换出,GPU 可以更直接地进行 DMA 传输,因此能够显著提升 Host 与 Device 之间的数据传输带宽。时,数据往往需要先经过一个临时的锁页缓冲区,再通过 DMA 传输到 GPU,过程相对多了一次中转。这说明 Pinned Memory 并不是偶然加速,而是在不同数据规模下都能稳定提升传输效率。

2026-05-05 12:02:44 516

原创 CUDA 内存管理和数据传输

这张图是核心实验数据。H2D / D2H:约 4.5–5.0 GB/sD2D :约 120 GB/scudaMemset:约 200–232 GB/s也就是说,CPU 和 GPU 之间的数据传输速度比较慢,而 GPU 显存内部操作快得多。CPU↔GPU 跨设备传输:约 5 GB/sGPU 显存内部拷贝:约 120 GB/sGPU 显存内部写入:约 230 GB/sGPU 内部显存操作远快于 CPU↔GPU 跨设备数据传输。这也解释了为什么第一节课里vector_add。

2026-04-30 20:06:49 611

原创 CUDA编程 - vector加法

在 jupyter notebook 中执行cuda代码的方法。使用的是 colab 的 T4 卡。

2026-04-30 00:55:55 102

原创 为什么要做大模型粘性调度?

大模型推理的成本核心在于Prefill——就像每次做饭都得从头切菜备料。传统负载均衡像随机分配顾客去不同窗口,每位顾客都得重新“自我介绍”,造成了巨大的算力浪费。粘性调度的本质,不是死板地固定机器,而是让请求优先去“最可能有缓存”的地方,这直接带来四大改善:TTFT更低、Cache Hit更高、GPU更省力、吞吐更稳。RAG/模板化问答,优先前缀哈希,最大化复用系统提示和模板缓存。大规模在线服务,则需缓存感知调度,动态平衡命中率与实时负载。多轮聊天机器人,首选会话粘性,实现简单,上下文连续。

2026-04-29 22:12:23 78

原创 大模型推理 DP\TP\PP\EP 理解

│ 大模型推理并行体系 ││ ││ DP 数据并行 ││ - 多个完整模型副本 ││ - 分摊不同请求 ││ - 提高并发吞吐 ││ ││ TP 张量并行 ││ - 拆单层矩阵计算 ││ - 多 GPU 一起算同一层 ││ - 适合大 Dense 模型 ││ ││ PP 流水线并行 ││ - 按 Transformer 层切分 ││ - 不同 GPU 负责不同层 ││ - 适合超深、超大模型 ││ ││ EP 专家并行 ││ - 拆 MoE Expert │。

2026-04-26 08:06:04 795

原创 GPT-5.5 vs DeepSeek-V4:技术速览

两者并不是简单的“谁更强”关系,而是代表了当前大模型发展的两条重要路线:一条是面向高端闭源工作流智能体,另一条是面向高性能、低成本、可部署的开放权重模型。而 DeepSeek-V4 则突出开放权重、MoE 架构、1M 超长上下文和长文本推理效率,在竞赛型编码、数学推理和开放模型生态方面具有较强吸引力。整体来看,GPT-5.5 更强调真实工作流中的代理式执行能力,尤其适合编码、数据分析、在线研究、文档处理和复杂任务协作;

2026-04-25 08:20:08 255

原创 AutoClaw实测:动口就能搞定音频提取、视频拼接,还能接入飞书!

亲测可通过对话指令完成视频音频提取、视频拼接等操作,支持自定义模型,还能接入飞书配置机器人,全程动口不动手,操作简单且效果稳定,实测过程和细节分享如下。再试试接入飞书,在 https://open.feishu.cn/ 创建自建应用,把配置信息填写进去即可。操作过程中500点额度用完了,切换成免费的 glm-4.7模型继续运行。任务最终完成,真的是动口就能搞定操作的时代了,内心还挺激动的。顺便看了下token消耗,这次一共用了12k token。没想到真的顺利把视频音频提取出来了,体验相当不错!

2026-03-18 01:03:27 469

原创 AI编程:乘法竖式计算演示web应用

✅乘法竖式动画演示:清晰展示乘法竖式的计算步骤✅自定义数字输入:支持输入任意数进行计算✅播放控制:提供播放、暂停、重置功能✅速度调节:支持0.5x到3x的速度调节✅随机数生成:一键生成随机的乘数和被乘数。

2026-01-01 18:35:37 1080

原创 多进程CUDA初始化的问题 Cannot re-initialize CUDA in forked subprocess

上面这个例子会报错,主进程触发了 CUDA 初始化,fork 出来的子进程中创建 tensor 的时候报错了。这句去掉,那么主进程就没有 CUDA 初始化的操作,子进程不会报错。,它们在底层机制、内存共享、安全性、兼容性等方面有根本差异。背景:在多实例算法服务的时候,出现了 cuda 初始化错误。时,选择错误的启动方法会导致程序崩溃或未定义行为。的,每个进程使用CUDA时,都会触发。父子进程之间有 cuda 状态的。的,没有问题,不会出现二次初始化。上面 fork 的示例中。

2025-12-05 22:03:35 1290

bert-base-uncased 预训练模型

来自 https://huggingface.co/bert-base-uncased/tree/main

2021-01-12

Python-3.7.9.tar.xz

源码安装包, linux可用

2021-01-24

distilbert-base-uncased-finetuned-sst-2-english 预训练模型

来自 https://huggingface.co/distilbert-base-uncased-finetuned-sst-2-english/tree/main#

2021-01-12

python383.chm

python3.8.3参考文档

2020-06-05

WinRAR5.60.zip

解压缩软件,无广告。

2020-06-05

tensorflow_datasets.tf_flowers.3.0.1.rar

tensorflow tf_flowers数据集, win路径C:\Users\yourname\tensorflow_datasets\tf_flowers\3.0.1\*, linux路径:/root/tensorflow_datasets/tf_flowers/3.0.1/*

2021-01-26

Everything-1.4.1.969.x64.zip

非常快速的查找工具,比windows的自带搜索快速很多倍,提高工作效率的小工具,非常好用!非常快速的查找工具,比windows的自带搜索快速很多倍,提高工作效率的小工具,非常好用!

2020-03-27

【Excel示例文件】深度学习的数学.rar

深度学习的数学,随书示例文件,辅助更好的理解深度学习的原理!

2020-03-27

ScreenToGif.2.22.1.Portable.zip

桌面录屏成动图的小软件。生成的图片尺寸小,质量高,非常好用!桌面录屏成动图的小软件。生成的图片尺寸小,质量高,非常好用!

2020-03-27

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除