新缸中之脑-CSDN博客

原创 KPConv：一种新型的点云卷积

点云是 3D 空间中的点的集合，其中每个点都由一组笛卡尔坐标 (x, y, z) 定义。点云稀疏且无序，这与图像的网格状结构不同。点云中的每个点都通过其坐标进行空间定位，这意味着我们可以通过查看 (x, y, z) 处点的邻居来识别相似的点。我们可以添加一些偏移量（x ± r, y ± r, z ± r），这样就可以在原始点周围形成一个球体，而球体中则包含它的邻近点。直观地讲，我们可以在球体中执行一些操作，从而得到一些代表原始结构的低维结构。

2024-07-23 12:47:33 928

原创 Conv1d 一维卷积图解

在深度学习中，卷积层是许多深度神经网络的主要构建块。该设计的灵感来自视觉皮层，其中单个神经元对视野的受限区域（称为感受野）做出反应。这些区域的集合重叠以覆盖整个可见区域。虽然卷积层最初应用于计算机视觉，但其平移不变特性使卷积层可以应用于自然语言处理、时间序列、推荐系统和信号处理。理解卷积的最简单方法是将其视为应用于矩阵的滑动窗口函数。本文将了解一维卷积的工作原理并探讨每个参数的影响。

2024-07-23 12:46:17 609

原创用神经网络求解微分方程

微分方程是物理科学的主角之一，在工程、生物、经济甚至社会科学中都有广泛的应用。粗略地说，它们告诉我们一个量如何随时间变化（或其他参数，但通常我们对时间变化感兴趣）。我们可以了解人口、股票价格，甚至某个社会对某些主题的看法如何随时间变化。通常，用于解决微分方程的方法不是分析性的（即没有解决方案的“封闭公式”），我们必须利用数值方法。然而，从计算的角度来看，数值方法可能很昂贵，更糟糕的是：累积误差可能非常大。

2024-07-22 12:50:02 1550 5

原创双边性：构建神经网络的新方法

正如承诺的那样，这是最近我遇到的最有趣的想法之一的第二部分。如果你错过了，请务必观看本系列的第一部分 -- 我们讨论了双边性的生物学基础以及我们大脑的不对称性质如何带来更高的性能。在这篇文章中，我将介绍一些人工智能研究，这些研究对这个想法有很大的希望。如果你们中有人正在寻找下一篇研究论文/项目 - 这可能是一个不错的选择。无论我的意见如何 - 我相信解决神经网络中的双边性将真正改变人工智能领域的游戏规则。

2024-07-22 12:48:52 888

原创不用torch.nn.Module

这篇博文不涉及一般概念——它只涉及代码细节。我已经使用 C# 和 Python 从头实现了数百个神经网络，并且使用 PyTorch 实现了数百个神经网络。即便如此，我在不使用 torch.nn 模块的情况下实现 PyTorch 神经网络时还是遇到了很大困难。出于好奇，我决定尝试在低级层面实现 PyTorch 神经网络。我的意思是不使用封装了大量功能的 torch.nn 模块。需要处理的细节比我想象的要多得多，编写代码所花的时间也比我想象的要长得多。但我从概念挑战中学到了很多东西，所以这段时间花得很值。

2024-07-22 12:47:26 258

原创航片转GIS数据自动化管线

近年来，计算机视觉领域的进步已显著改善了物体检测和分割任务。一种流行的方法是 YOLO（You Only Look Once）系列模型。YOLOv8 是 YOLO 架构的演进，兼具准确性和效率，是各种应用的绝佳选择，包括分割卫星航拍图像中的建筑物。在这篇博文中，我们将引导你完成实施 YOLOv8 对卫星航拍图像进行图像分割的过程，使用 Roboflow 平台的标注数据训练模型，最后将结果转换为shapefle——这是一项提供基于位置信息的新任务。

2024-07-22 12:46:07 904

原创基于神经网络的聚类分析

神经网络是一种非常有用的机器学习模型，具有无数的应用。今天，我们将分析一个数据集，看看我们是否可以通过应用无监督聚类技术来查找数据中的模式和隐藏分组，从而获得新的见解。我们的目标是对复杂数据进行降维，以便我们可以创建无监督的、可解释的集群，如下所示：图 1：在三维空间中编码的亚马逊手机数据，使用 K 均值聚类定义了八个聚类。

2024-07-22 12:44:44 1104

原创基于自组织映射的检索增强生成

大量数据用于训练大型语言模型 (LLM)，该模型包含数百万和数十亿个模型参数，目的是生成文本，例如文本补全、文本摘要、语言翻译和回答问题。虽然 LLM 从训练数据源中开发知识库，但总有一个训练截止日期，在此日期之后 LLM 将不会知道任何新生成的数据。例如，训练 OpenAI 的 GPT-3.5-turbo-instruct LLM 的截止日期是 2021 年 9 月，因此，GPT-3.5-turbo-instruct LLM 可能无法准确回答有关 2022、2023 或 2024 年事件的问题。

2024-07-22 12:43:09 975

原创 CSPVD 智慧工地安全帽安全背心检测开发包

CSPVD SDK适用于为各种智慧工地应用增加安全防护穿戴合规的检测能力，能够有效检测未戴安全帽和未穿安全背心的人员，提供Web API和原生API。

2024-07-19 19:35:35 564

原创写博客的AI智能体

在我们不断发展的 AI 世界中，检索信息的能力是基础。无论是从庞大的数据库中提取信息，还是提取过去交互的片段，检索都会塑造背景并增强 AI 系统的能力。此旅程将涵盖语义搜索、文档索引和检索增强生成 (RAG) 工作流的复杂性。检索不仅仅是获取数据；它还涉及理解和情境化信息。记忆和检索机制之间的协同作用使 AI 能够模拟类似人类的理解和响应模式。通过深入研究检索的工作原理，我们可以更好地理解我们正在构建的人工智能。在此博客中，我们将探讨 AI 应用中检索的关键方面。

2024-07-19 07:29:31 1017

原创 Rhino 3D建模的世界

由于 NURBS 在 Rhino 的开发中扮演了如此重要的角色，我们需要解释一下它们是什么。这个首字母缩略词代表非均匀有理 B 样条线，简单地说，它是曲线或曲面的数学表示。这些曲线由一组控制点、权重和节点向量定义。控制点决定曲线或曲面的一般形状，而权重则影响每个控制点的影响。这些因素使我们能够完全精确地控制曲线/曲面，这就是汽车设计、工业设计、建筑等行业使用 Rhino 的原因。NURBS 数据是交互式的，我们可以实时修改几何图形，而且它非常灵活，允许我们使用各种形状，从简单的圆弧到高度复杂的双曲面。

2024-07-19 07:28:10 706

原创 NURBS曲面建模基础

NURBS 是一种使用曲线创建可修剪和对齐的矩形面片的方法。等等！就是这样？我一直以为 NURBS（非均匀有理基样条）比上面的线复杂得多！其实不是。这当然是一个实用的定义，有许多工具或工具组合可以以不同的形式完成同一件事，这可能需要一段时间才能习惯，但原理相当简单。曲线创建/修改。矩形表面创建/修改。布尔/相交/投影操作。对齐工具。对齐可以使 2 个面片或曲线看起来无缝地融合在一起。测量和评估工具。

2024-07-17 10:56:57 832

原创 CUDA C GPU并行开发简明教程

"Hello, world" 通常是我们编写的第一个程序。我们可以对 CUDA 做同样的事情。

2024-07-17 10:52:59 1013

原创基于计算机视觉的工地钢筋计数

手动钢筋计数是一项耗时的任务，而且容易出错和不一致。但是，你可以使用计算机视觉自动进行钢筋计数。你可以使用经过微调的计算机视觉模型来计算单个钢筋，这对于构建库存管理和质量验证系统非常有用在这篇博文中，我们将学习如何使用计算机视觉自动进行钢筋计数。我们将构建的钢筋计数系统使用摄像头捕捉钢筋排列的图像，并应用使用 Roboflow 构建和托管的计算机视觉模型来分析和解释视觉数据。Roboflow Universe 上已经有一个可用于钢筋计数的公共模型，因此我们不必训练模型。相反，我们可以使用现有的模型。

2024-07-17 10:51:41 1134

原创 GraphRAG：整合知识图谱的检索增强生成

在数据泛滥的世界里，高效地提取有意义的见解至关重要，但是，虽然大型语言模型 (LLM) 彻底改变了我们与信息的交互方式，但它们往往难以将大型数据集中的点连接起来或掌握数据中的复杂关系……这就是检索增强生成 (RAG) 介入的地方，它增强了 LLM 访问和利用外部知识的能力！GraphRAG 是微软研究院开发的一种新颖方法，它将 RAG 更进一步：它超越了简单的语义搜索，利用知识图谱的力量使 LLM 能够更深入地理解复杂的数据关系。所以……让我们一起探索 GraphRAG！

2024-07-16 07:48:27 1040

原创 11个最受欢迎的AI Agent开发框架

AI智能体架构于 2023 年 3 月诞生，但直到几个月后才在开源社区中扎根。智能体领域可能仍然看起来像是一种“疯狂科学家”式的实验，但已经有一些非常强大的模型可以尝试，本文介绍其中最流行的11个开源AI Agent框架。

2024-07-16 07:47:19 1056

原创 ReAct 大模型提示框架

ReAct 模式是Reasoning and Acting（推理和行动）的缩写，是一个将AI模型中的推理过程与行动过程分开的框架。ReAct 模式的核心是将观察结果提供给 LLM，使其能够更新其上下文窗口。该模型重新评估信息并根据这些见解采取行动以提高其推理能力。这个过程与思维链 (CoT) 提示等技术形成鲜明对比，其中推理步骤嵌入在单个提示中。ReAct 框架通过提供处理复杂查询的结构化方法来提高 LLM 响应的质量和连贯性。

2024-07-16 07:46:13 901

原创 AutoGen实战AI Agent开发

最近，关于 AI 智能体或AI代理（AI Agent）的讨论很多。受这种炒作的影响，我阅读了一些资料，偶然发现了 AutoGen，这是一个构建 AI 代理的很棒的库。但 AI 代理到底是什么？为什么它们很重要？让我们深入研究一下。LLM 已经存在了几年，它们正在迅速向 AI 代理和 Agentic 工作流程发展。别误会我的意思，LLM 很棒，但它们在自行实现自动化方面仍然效率不高。通过消耗大量语言数据，LLM 与其他工具相结合是一种非常有效的方式，可以充分利用 LLM 所拥有的通用智能。AI 代理是可以自主

2024-07-16 07:45:09 749

原创 AI Agent 开发综合指南

ReAct 模式以思考、行动、暂停、观察、回答的循环方式运行。此循环允许 AI 代理推理输入，利用外部资源对其采取行动，然后将结果重新整合到其推理过程中。通过这样做，AI 代理可以提供更准确、更符合上下文的响应，从而显著扩展其实用性。ReAct 模式是一种强大的设计模式，它结合了推理和行动技能来提高 AI 代理的能力。GPT-3 或 GPT-4 等 LLM 从这种技术中受益匪浅，因为它允许它们与其他工具和 API 交互，以执行超出其原始编程的活动。思考：AI 代理处理输入并推理需要做什么。

2024-07-15 11:03:52 697

原创 6个图像着色AI模型的实践对比

图像着色（image colorization）的目标是建立一个能够将逼真的颜色应用于黑色和灰色图像的模型。在本文中，我将指导你使用六种不同的神经网络为图像着色的生成模型的过程。整个模型是用 PyTorch 构建的，图像预处理是借助 Scikit-Image 库进行的。所有代码都可以在找到。

2024-07-15 11:02:47 545

原创 XLPR车牌自动识别开发包

XLPR SDK适用于为各种应用增加车牌自动识别能力，支持多个区域检测，支持车牌颜色和号码输出，提供Web API和原生API。。

2024-07-14 11:19:44 917

原创 Solid Edge实战3D模型逆向工程

逆向工程是一种将现有物理对象转换为三维 (3D) 模型的方法。首先，对物理对象进行测量，然后使用 3D 扫描技术将其重建为 3D 模型。生成的数据为点云形式，然后转换为网格文件，可以保存为各种文件格式，包括 STL。然后使用 3D CAD 软件（在本例中为西门子 Solid Edge）对网格文件进行逆向工程处理。在逆向工程过程中，我们参考了原始物理对象的设计意图。我将演示注塑成型部件之一锁紧块的重塑过程。在此之前，我完成了 3D 扫描过程，并获得了 STL 形式的网格文件。

2024-07-11 09:34:28 847

原创从3D扫描到CAD模型【逆向工程】

该过程的第一部分涉及使用 3D 扫描仪快速准确地收集现有零件的几何表面测量值。传统上，人们使用卡尺和手动工具进行测量。然而，当尝试测量具有复杂特征的复杂零件（例如有机表面）时，它们通常被证明是有限的。扫描仪通常以 obj、ply 或 stl 网格格式输出 3D 扫描数据作为密集三角形网格——从几千个到数百万个多边形有了这种智能，你可以使用它来复制零件或基于原始零件创建新设计。3D 扫描数据可作为绘制 CAD 图纸的视觉指南。它基本上是在扫描数据的顶部进行跟踪。

2024-07-11 09:33:03 1272

原创 Z-Fighting 深度冲突权威指南

Z-Fighting 是渲染管道中深度测试中出现的问题。它是由深度值的有限数值精度引起的。故障将表现为不正确的渲染，即屏幕上错误地显示应该被遮挡在另一个后面的对象。故障主要发生在透视投影变换中，但也可能发生在正交投影变换中。到目前为止，一个众所周知的好的解决方案是使用对数深度测试，但在实施和使用它时必须小心谨慎。无论哪种方式，要处理 Z-Fighting，重要的是正确识别给定条件下的定量限制。这篇博文旨在成为处理 Z-Fighting 的实用信息来源。

2024-07-11 09:30:04 839

原创 4个最强大的单图像深度估计AI模型

2010 年底，当第一款 Kinect 传感器发布时，我们看到了这款相对实惠的 3D 相机带来的大量新奇应用，从沉浸式纪录片到实时互动装置，再到几何重建。我们从使用破解的 DIY 红外相机（还记得旧款 PS3 Eye 吗？）加上通过 OpenCV 2.0 进行一些背景移除的复杂而挑剔的设置，到几乎自动的人物分割、手部跟踪、3D 映射和投影、点云视频剪辑等等。深度数据是这种创新爆炸式增长的催化剂。

2024-07-11 09:27:05 874

原创相机镜头、焦距与视野

随着非标准传感器尺寸的数码相机的出现，人们似乎对焦距、视场和数字倍增器以及它们之间的关系产生了许多困惑。本文旨在尝试消除一些困惑。从摄影的角度来看，我们真正最感兴趣的是视野。如果我们想要广角拍摄，我们需要宽视野（例如，水平 84 度）。如果我们想要“正常”拍摄，我们需要“正常”视野（例如，水平 40 度），如果我们想要远摄拍摄，我们需要一个狭窄的视野（例如，水平 6.5 度）。左图：鱼眼右图：由鱼眼直线转换而来。

2024-07-11 09:24:13 1071

原创 Three.js相机简明教程

相机校准是 3D 计算机图形学中的一个基本概念，涉及设置虚拟相机以模拟真实世界相机的视角和行为。在 Three.js（一种流行的 3D 渲染 JavaScript 库）中，了解相机校准对于创建逼真且身临其境的 3D 场景至关重要。在本文中，我们将探讨 Three.js 中相机校准的基础知识，面向希望提高 3D 图形技能的初学者。

2024-07-11 09:22:48 1015

原创用VLM训练实时计算机视觉模型

经过数十亿个参数训练的 AI 模型非常强大，但并不总是适合实时使用。但是，它们可以通过自动监督快速专用模型的标注来减少人力投入。‍如果你曾经构建过计算机视觉模型，就就会知道监督需要大量工作——人类花时间（数小时或数天）绘制边界框并添加标签来注释训练图像。最终结果是快速的机器学习模型，可用于实时检测和自动化。‍但是，随着收集更多数据，人工参与的要求不仅会减慢模型的初始训练速度，还会减慢模型的任何迭代微调或改进速度。

2024-07-09 08:26:19 629

原创本地LLM & VLM性能评测

作为一名数据工程师，我对测试一些生成式 AI 模型并在本地安装/运行模型很感兴趣。大型语言模型 (LLM) 和视觉语言模型 (VLM) 是最有趣的。OpenAI 提供了 ChatGPT 网站和移动应用程序。微软创建了 Windows 11 Copilot 供我们使用。但是，我们无法控制哪些数据被发送到互联网并存储在他们的数据库中。他们的系统不是开源的，就像神秘的黑匣子一样。

2024-07-09 08:24:33 615

原创变长输入神经网络设计

我脑海中的应用程序具有可变数量的相同类型的输入。DeepMind 的研究人员最近发表了“关系网络”的想法，它将可变数量对象的特征作为输入并以顺序不变的方式处理它们，而无需对原始数据集的置换重复进行训练。此外，网络的大小是手动输入的，而不是来自一些更严格的程序，例如 k 倍交叉验证等。以下是一个例子：给定一组从高斯分布中抽取的点，估计它们的均值和方差。请注意，对于样本的每一行，点的数量可能不同。受此启发，我尝试在 PyTorch 中实现一个网络，它可以学习估计高斯分布的方差，给定从中抽取的可变数量的点。

2024-07-09 08:23:19 817

原创测试Andrew NG的语言翻译Agent

我正在测试 Andrew Ng 的语言翻译 AI 代理系统及其在逆变换下的稳定性。给定源语言的文本，我们应用翻译函数 f，然后应用 f 的逆。它应该是不变的：但是，数学与语言翻译有什么关系？在完美的系统中，从英语翻译成西班牙语再翻译成英语不应该改变源文本的含义。

2024-07-03 11:32:15 620

原创学习率调度器简明教程

在机器学习的背景下，学习率（learning rate）是一个超参数，它决定了优化算法（如梯度下降）在尝试最小化损失函数时进行的步长。现在，让我们继续讨论学习率调度程序。学习率调度器（learning rate scheduler）是一种在训练过程中调整学习率的方法，通常会随着训练的进展而降低学习率。这有助于模型在训练开始时当参数远离其最佳值时进行大量更新，并在稍后当参数更接近其最佳值时进行较小的更新，从而允许进行更多微调。实践中广泛使用了几种学习率调度器。

2024-07-03 11:30:56 797

原创人脸嵌入向量提取计算

本文将讨论如何使用开源中提供的预训练模型从图像中提取人脸编码或人脸嵌入。我还附上了代码，请参阅。

2024-07-03 11:29:06 514

原创混淆矩阵简明教程

混淆矩阵是机器学习中的一种性能评估工具，表示分类模型的准确性。它显示真阳性、真阴性、假阳性和假阴性的数量。该矩阵有助于分析模型性能、识别错误分类并提高预测准确性。混淆矩阵是一个 N x N 矩阵，用于评估分类模型的性能，其中 N 是目标类别的总数。矩阵将实际目标值与机器学习模型预测的值进行比较。这让我们全面了解我们的分类模型的表现如何以及它犯了哪些类型的错误。

2024-07-03 11:28:07 619

原创基于内容的3D模型文件格式检测【3DFD】

3DFD是基于深度学习的3D模型文件格式检测开发包，支持DAE、FBX、GLB、GLTF、OBJ、PLY、STL等7种常见格式。。

2024-07-02 09:03:40 245

原创基于深度学习的图像背景剔除

在过去几年的机器学习领域，我一直想打造真正的机器学习产品。几个月前，在参加了精彩的 Fast.AI 深度学习课程后，似乎一切皆有可能，我有机会：深度学习技术的进步使许多以前不可能实现的事情成为可能，而且开发了新工具，使部署过程比以往任何时候都更容易。在上述课程中，我遇到了经验丰富的 Web 开发人员 Alon Burg，我们合作追求这一目标。我们最初的想法是承担一些医疗项目，因为这个领域与我们息息相关，我们觉得（现在仍然觉得）在医疗领域，深度学习有大量唾手可得的成果。

2024-07-01 11:31:14 1223 2

原创 Pickle, SafeTensor, GGML和GGUF

让我们从描述机器学习模型开始。最简单的说，模型是一个文件或一组文件，其中包含模型架构以及从训练循环生成的模型的权重和偏差。在 LLM 领域，我们通常对 Transformer 风格的模型和架构感兴趣。在 Transformer 中，我们有许多活动部件。对于输入，我们使用从人类生成的自然语言内容中聚合的训练数据语料库将这些数据转换为嵌入对嵌入进行位置编码，以提供有关单词在序列中彼此相对位置的信息基于初始化的权重组合，为序列中每个单词相对于其他单词创建多头自注意力。

2024-07-01 11:23:56 647

原创 Sora DiT图解【文生视频】

在古老的迪萨罗斯大陆，曾经住着一位传奇人物，名叫索拉（Sora）。这个传奇人物体现了无限潜力的本质，包括天空的浩瀚和壮丽。当它飞得很高，彩虹色的翅膀横跨广阔的空间，光线从它引人注目的身体上反射出来时，人们可以听到“索拉就是天空”这句话在天空中回荡。它之所以成为传奇，不仅是因为它史诗般的巨大，还因为它能够驾驭散落在旋转云层中的光元素。凭借其强大的力量，索拉只需旋转一下就能创造出神奇的魔法，令人叹为观止！他们说，Sora活着，日复一日地磨练技能，变得越来越强大，准备在黄金时刻飞翔。

2024-06-30 11:56:06 710

原创 LLM App统计报告【Streamlit】

本文重点介绍了 Streamlit 报告：2023 年 LLM 应用状况，深入了解了 2023 年在 Streamlit 社区云上部署的所有 LLM 应用程序的统计数据。Streamlit 是一个开源框架，旨在方便部署数据科学和机器学习应用程序。LLM 的最新发展使 Streamlit 成为开发人员有吸引力的部署工具/UI。该报告包含约 18,000 名开发人员构建的约 30,000 个 LLM 应用程序的数据，这些应用程序托管在 streamlit 社区云上。

2024-06-28 10:42:04 294

原创用合成数据训练边缘侧火灾检测器

火灾是人类面临的重大威胁，检测火灾至关重要。目前的火焰传感器在距离检测方面存在局限性。为了克服这个问题，我的目标是使用机器学习方法创建一个轻量级且高度准确的火灾检测系统。当需要实时数据处理或机器学习模型可用的数据集很少时，这个问题变得非常具有挑战性。因此，这里合成数据集就派上用场了。该项目为在火灾检测系统中使用合成数据集的优势提供了概念验证。合成数据集是一种数据类型，使我们能够模拟在现实生活中可能很少遇到但需要解决的情况。它提供了一种使用真实数据的高度经济高效的替代方案。

2024-06-28 10:39:22 1025