- 博客(37)
- 收藏
- 关注
原创 Jetson 上开启 MTP 能让 LLM 快多少?llama.cpp 多 Token 预测实测近 2 倍
在 Jetson AGX Orin 32GB 上用 llama.cpp CUDA 跑 Qwen3.5-4B Q4_K_M,开启 MTP(Multi-Token Prediction,多 Token 预测)推测解码后,同一条 Prompt 的生成速度从 25.6 tokens/s 提升到 49.7 tokens/s。本文讲清 MTP 与推测解码的原理、--spec-type draft-mtp 的开启方法、acceptance rate 的验证方式,以及哪些 Jetson 边缘 AI 场景值得开启 MTP。
2026-10-23 15:29:04
286
原创 一句话指挥两轮机器人?Jetson 跑通视觉语言导航(VLN)× MuJoCo 数字孪生闭环
把开源 VLN 模型 LightNav-0 接到课程底盘 DM-H65 的 MuJoCo 数字孪生上,跑通指令、预测、碰撞检查、MPC 跟踪、再观察的闭环,全程在一块 Jetson AGX Orin 上本地推理。本文记录 CAD 到仿真的搭建、闭环里的恢复行为、严格安全审计模式的真实开销,以及一个容易骗自己的坑。仿真实录,开发中版本
2026-10-19 18:34:20
346
原创 在 Jetson 上跑通视觉语言导航,把 LightNav-0 接进 Microduck 仿真的实践记录
在一块 Jetson AGX Orin 32GB 上,把开源 VLN 模型 LightNav-0 接进 Microduck 的 MuJoCo 仿真,做出"输入一句指令、鸭子看一眼算路迈腿"的完整链路。本文记录环境版本、CPU/GPU 分工、实测延迟与内存、严格任务 0/12 的失败诊断,以及最新底盘进展。仿真、开发中版本,展示的是链路运行,不是任务成功。
2026-10-16 17:34:47
276
原创 官方要 16GB,实测 4-bit 压到 2.9GB:把 LocateAnything-3B 搬上 8GB Jetson
摘要 NVIDIA的LocateAnything-3B开放词汇目标检测模型通过自然语言描述实现任意类别检测,但官方要求16GB显存的Jetson Thor设备。本文介绍了在8GB Jetson Orin NX上通过4-bit量化将模型压缩至2.9GB显存成功运行的实践。内容包括项目背景(开放词汇检测的价值)、硬件配置(reComputer Thor J6015)、批量化引擎实现(保留原生MTP解码)、Web交互界面,以及首次运行指南。文章还指出了当前方案的不足(如视频模式NMS问题)并分享了非官方的4-bi
2026-07-16 17:41:48
388
原创 一键部署到 Jetson:在 PC 上开发,点击一下自动同步代码 + 配环境 + 运行(demo 开源)
pc一键配置jetson运行环境,减轻环境部署负担
2026-02-10 17:19:18
361
原创 在 Jetson 上跑通 FoundationPose!从零部署 NVIDIA 6D 位姿估计系统实战全流程
本文介绍了在Jetson Orin NX上部署NVIDIA开源6D位姿估计系统FoundationPose的全流程。主要内容包括:硬件环境配置(Jetpack 6.2、CUDA 12.6)、项目依赖安装(PyTorch 2.3、PyTorch3D等)、模型数据下载、以及关键库的编译安装(pybind11、Eigen、nvdiffrast)。特别针对Jetson平台的特殊性提供了详细的安装指导,如GPU架构配置、GCC版本管理等。该部署过程历时较长但步骤清晰,最终可在Jetson设备上实现无需微调的新物体6D
2025-10-28 15:01:50
2053
1
原创 NASA 开源视觉感知引擎上手实战:在 Jetson Orin NX 部署 Visual Perception Engine 全流程!
在jetson上部署nasa开源的视觉推理引擎
2025-10-16 13:32:37
1294
1
原创 在 Jetson 上部署 PyCuVSLAM 全流程实战:从安装到实时视觉里程计!
主要介绍了如何在Jetson Orin NX / Nano 系列上部署 NVIDIA Isaac ROS Visual SLAM (cuVSLAM),并通过 PyCuVSLAM Python 接口 快速实现一个视觉里程计与建图系统。
2025-10-14 16:39:27
1167
1
原创 DBSCAN与分层聚类
DBSCAN(Density-Based Spatial Clustering of Applications with Noise,具有噪声的基于密度的聚类方法)是一种基于密度的空间聚类算法。该算法将具有足够密度的区域划分为簇,并在具有噪声的空间数据库中发现任意形状的簇,它将簇定义为密度相连的点的最大集合。基于密度这点有什么好处呢?,我们知道Kmeans聚类算法只能处理球形的簇,也就是一个聚成实心的团(这是因为算法本身计算平均距离的局限)。
2023-07-19 10:15:12
580
原创 简单SVM
C值较小,最终间隔会较大,但会有较多的样本点出现在间隔内。C值越大,分类器会减少误分类,但最终间隔会较小。有三个类别,这里只拿两个类别来展示二分类。
2023-07-18 21:10:14
120
1
原创 Kmeans简单实现
从上图中可以明显的看出,kmeans的缺点了。在每次的聚类产生的划分都是不一样的这表明它受随机初始化的初始簇中心影响较大,而且样本分布如左上图的这种,用简单的距离就很难把他们细分开了。
2023-07-18 20:39:07
990
1
原创 如何理解线性的SVM
一般情况下我们会认为,L2较L1和L3更好,为什么?假设,当有一个蓝色类别的测试数据,如果是L1的这种分法,那它就会把这个蓝色的点归回,紫色三角形那一类。对与L3同理会有这种情况。如图:那使我们的模型在无数条线中,分的完美,?L2直线有什么特点?换句话说就是b线之上的区域都是蓝色类别的地盘,a线下面的都是紫色类别的地盘。本着公平公正的原则,类似于拔河,双方队伍中离绳子中点最近的那两个人,到中点的距离要一样。(可能是不恰当的比方)这样才不会使得算法有偏向于某一对的嫌疑!
2023-07-17 18:54:34
119
1
原创 softmax回归实现手写数字识别
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KIAOq2DU-1689218911304)(output_6_2.png)]第一列是label,其余列是图片像素矩阵的平铺向量,共784个像素值。784个特征太多了,而且大多数都是0的稀疏矩阵,计算没什么意义。这里利用PCA多特征进行降维,减少特征的维度。
2023-07-13 11:30:23
592
1
原创 天池工业蒸汽量中不同梯度下降策略的效果
梯度下降法(Gradient Descent)是一个算法,但不是像多元线性回归那样是一个具体做回归任务的算法,而是一个非常通用的优化算法来帮助一些机器学习算法(都是无约束最优化问题)求解出最优解, 所谓的通用就是很多机器学习算法都是用梯度下降,甚至深度学习也是用它来求解最优解。所有优化算法的目的都是期望以最快的速度把模型参数θ求解出来,梯度下降法就是一种经典常用的优化算法。
2023-07-10 17:45:31
142
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅