新缸中之脑-CSDN博客

原创用神经网络求解微分方程

微分方程是物理科学的主角之一，在工程、生物、经济甚至社会科学中都有广泛的应用。粗略地说，它们告诉我们一个量如何随时间变化（或其他参数，但通常我们对时间变化感兴趣）。我们可以了解人口、股票价格，甚至某个社会对某些主题的看法如何随时间变化。通常，用于解决微分方程的方法不是分析性的（即没有解决方案的“封闭公式”），我们必须利用数值方法。然而，从计算的角度来看，数值方法可能很昂贵，更糟糕的是：累积误差可能非常大。

2024-07-22 12:50:02 255

原创双边性：构建神经网络的新方法

正如承诺的那样，这是最近我遇到的最有趣的想法之一的第二部分。如果你错过了，请务必观看本系列的第一部分 -- 我们讨论了双边性的生物学基础以及我们大脑的不对称性质如何带来更高的性能。在这篇文章中，我将介绍一些人工智能研究，这些研究对这个想法有很大的希望。如果你们中有人正在寻找下一篇研究论文/项目 - 这可能是一个不错的选择。无论我的意见如何 - 我相信解决神经网络中的双边性将真正改变人工智能领域的游戏规则。

2024-07-22 12:48:52 512

原创不用torch.nn.Module

这篇博文不涉及一般概念——它只涉及代码细节。我已经使用 C# 和 Python 从头实现了数百个神经网络，并且使用 PyTorch 实现了数百个神经网络。即便如此，我在不使用 torch.nn 模块的情况下实现 PyTorch 神经网络时还是遇到了很大困难。出于好奇，我决定尝试在低级层面实现 PyTorch 神经网络。我的意思是不使用封装了大量功能的 torch.nn 模块。需要处理的细节比我想象的要多得多，编写代码所花的时间也比我想象的要长得多。但我从概念挑战中学到了很多东西，所以这段时间花得很值。

2024-07-22 12:47:26 165

原创航片转GIS数据自动化管线

近年来，计算机视觉领域的进步已显著改善了物体检测和分割任务。一种流行的方法是 YOLO（You Only Look Once）系列模型。YOLOv8 是 YOLO 架构的演进，兼具准确性和效率，是各种应用的绝佳选择，包括分割卫星航拍图像中的建筑物。在这篇博文中，我们将引导你完成实施 YOLOv8 对卫星航拍图像进行图像分割的过程，使用 Roboflow 平台的标注数据训练模型，最后将结果转换为shapefle——这是一项提供基于位置信息的新任务。

2024-07-22 12:46:07 514

原创基于神经网络的聚类分析

神经网络是一种非常有用的机器学习模型，具有无数的应用。今天，我们将分析一个数据集，看看我们是否可以通过应用无监督聚类技术来查找数据中的模式和隐藏分组，从而获得新的见解。我们的目标是对复杂数据进行降维，以便我们可以创建无监督的、可解释的集群，如下所示：图 1：在三维空间中编码的亚马逊手机数据，使用 K 均值聚类定义了八个聚类。

2024-07-22 12:44:44 655

原创基于自组织映射的检索增强生成

大量数据用于训练大型语言模型 (LLM)，该模型包含数百万和数十亿个模型参数，目的是生成文本，例如文本补全、文本摘要、语言翻译和回答问题。虽然 LLM 从训练数据源中开发知识库，但总有一个训练截止日期，在此日期之后 LLM 将不会知道任何新生成的数据。例如，训练 OpenAI 的 GPT-3.5-turbo-instruct LLM 的截止日期是 2021 年 9 月，因此，GPT-3.5-turbo-instruct LLM 可能无法准确回答有关 2022、2023 或 2024 年事件的问题。

2024-07-22 12:43:09 566

原创 CSPVD 智慧工地安全帽安全背心检测开发包

CSPVD SDK适用于为各种智慧工地应用增加安全防护穿戴合规的检测能力，能够有效检测未戴安全帽和未穿安全背心的人员，提供Web API和原生API。

2024-07-19 19:35:35 365

原创写博客的AI智能体

在我们不断发展的 AI 世界中，检索信息的能力是基础。无论是从庞大的数据库中提取信息，还是提取过去交互的片段，检索都会塑造背景并增强 AI 系统的能力。此旅程将涵盖语义搜索、文档索引和检索增强生成 (RAG) 工作流的复杂性。检索不仅仅是获取数据；它还涉及理解和情境化信息。记忆和检索机制之间的协同作用使 AI 能够模拟类似人类的理解和响应模式。通过深入研究检索的工作原理，我们可以更好地理解我们正在构建的人工智能。在此博客中，我们将探讨 AI 应用中检索的关键方面。

2024-07-19 07:29:31 1012

原创 Rhino 3D建模的世界

由于 NURBS 在 Rhino 的开发中扮演了如此重要的角色，我们需要解释一下它们是什么。这个首字母缩略词代表非均匀有理 B 样条线，简单地说，它是曲线或曲面的数学表示。这些曲线由一组控制点、权重和节点向量定义。控制点决定曲线或曲面的一般形状，而权重则影响每个控制点的影响。这些因素使我们能够完全精确地控制曲线/曲面，这就是汽车设计、工业设计、建筑等行业使用 Rhino 的原因。NURBS 数据是交互式的，我们可以实时修改几何图形，而且它非常灵活，允许我们使用各种形状，从简单的圆弧到高度复杂的双曲面。

2024-07-19 07:28:10 682

原创 NURBS曲面建模基础

NURBS 是一种使用曲线创建可修剪和对齐的矩形面片的方法。等等！就是这样？我一直以为 NURBS（非均匀有理基样条）比上面的线复杂得多！其实不是。这当然是一个实用的定义，有许多工具或工具组合可以以不同的形式完成同一件事，这可能需要一段时间才能习惯，但原理相当简单。曲线创建/修改。矩形表面创建/修改。布尔/相交/投影操作。对齐工具。对齐可以使 2 个面片或曲线看起来无缝地融合在一起。测量和评估工具。

2024-07-17 10:56:57 803

原创 CUDA C GPU并行开发简明教程

"Hello, world" 通常是我们编写的第一个程序。我们可以对 CUDA 做同样的事情。

2024-07-17 10:52:59 1003

原创基于计算机视觉的工地钢筋计数

手动钢筋计数是一项耗时的任务，而且容易出错和不一致。但是，你可以使用计算机视觉自动进行钢筋计数。你可以使用经过微调的计算机视觉模型来计算单个钢筋，这对于构建库存管理和质量验证系统非常有用在这篇博文中，我们将学习如何使用计算机视觉自动进行钢筋计数。我们将构建的钢筋计数系统使用摄像头捕捉钢筋排列的图像，并应用使用 Roboflow 构建和托管的计算机视觉模型来分析和解释视觉数据。Roboflow Universe 上已经有一个可用于钢筋计数的公共模型，因此我们不必训练模型。相反，我们可以使用现有的模型。

2024-07-17 10:51:41 1120

原创 GraphRAG：整合知识图谱的检索增强生成

在数据泛滥的世界里，高效地提取有意义的见解至关重要，但是，虽然大型语言模型 (LLM) 彻底改变了我们与信息的交互方式，但它们往往难以将大型数据集中的点连接起来或掌握数据中的复杂关系……这就是检索增强生成 (RAG) 介入的地方，它增强了 LLM 访问和利用外部知识的能力！GraphRAG 是微软研究院开发的一种新颖方法，它将 RAG 更进一步：它超越了简单的语义搜索，利用知识图谱的力量使 LLM 能够更深入地理解复杂的数据关系。所以……让我们一起探索 GraphRAG！

2024-07-16 07:48:27 1020

原创 11个最受欢迎的AI Agent开发框架

AI智能体架构于 2023 年 3 月诞生，但直到几个月后才在开源社区中扎根。智能体领域可能仍然看起来像是一种“疯狂科学家”式的实验，但已经有一些非常强大的模型可以尝试，本文介绍其中最流行的11个开源AI Agent框架。

2024-07-16 07:47:19 988

原创 ReAct 大模型提示框架

ReAct 模式是Reasoning and Acting（推理和行动）的缩写，是一个将AI模型中的推理过程与行动过程分开的框架。ReAct 模式的核心是将观察结果提供给 LLM，使其能够更新其上下文窗口。该模型重新评估信息并根据这些见解采取行动以提高其推理能力。这个过程与思维链 (CoT) 提示等技术形成鲜明对比，其中推理步骤嵌入在单个提示中。ReAct 框架通过提供处理复杂查询的结构化方法来提高 LLM 响应的质量和连贯性。

2024-07-16 07:46:13 887

原创 AutoGen实战AI Agent开发

最近，关于 AI 智能体或AI代理（AI Agent）的讨论很多。受这种炒作的影响，我阅读了一些资料，偶然发现了 AutoGen，这是一个构建 AI 代理的很棒的库。但 AI 代理到底是什么？为什么它们很重要？让我们深入研究一下。LLM 已经存在了几年，它们正在迅速向 AI 代理和 Agentic 工作流程发展。别误会我的意思，LLM 很棒，但它们在自行实现自动化方面仍然效率不高。通过消耗大量语言数据，LLM 与其他工具相结合是一种非常有效的方式，可以充分利用 LLM 所拥有的通用智能。AI 代理是可以自主

2024-07-16 07:45:09 746

原创 AI Agent 开发综合指南

ReAct 模式以思考、行动、暂停、观察、回答的循环方式运行。此循环允许 AI 代理推理输入，利用外部资源对其采取行动，然后将结果重新整合到其推理过程中。通过这样做，AI 代理可以提供更准确、更符合上下文的响应，从而显著扩展其实用性。ReAct 模式是一种强大的设计模式，它结合了推理和行动技能来提高 AI 代理的能力。GPT-3 或 GPT-4 等 LLM 从这种技术中受益匪浅，因为它允许它们与其他工具和 API 交互，以执行超出其原始编程的活动。思考：AI 代理处理输入并推理需要做什么。

2024-07-15 11:03:52 686

原创 6个图像着色AI模型的实践对比

图像着色（image colorization）的目标是建立一个能够将逼真的颜色应用于黑色和灰色图像的模型。在本文中，我将指导你使用六种不同的神经网络为图像着色的生成模型的过程。整个模型是用 PyTorch 构建的，图像预处理是借助 Scikit-Image 库进行的。所有代码都可以在找到。

2024-07-15 11:02:47 540

原创 XLPR车牌自动识别开发包

XLPR SDK适用于为各种应用增加车牌自动识别能力，支持多个区域检测，支持车牌颜色和号码输出，提供Web API和原生API。。

2024-07-14 11:19:44 914

原创 Solid Edge实战3D模型逆向工程

逆向工程是一种将现有物理对象转换为三维 (3D) 模型的方法。首先，对物理对象进行测量，然后使用 3D 扫描技术将其重建为 3D 模型。生成的数据为点云形式，然后转换为网格文件，可以保存为各种文件格式，包括 STL。然后使用 3D CAD 软件（在本例中为西门子 Solid Edge）对网格文件进行逆向工程处理。在逆向工程过程中，我们参考了原始物理对象的设计意图。我将演示注塑成型部件之一锁紧块的重塑过程。在此之前，我完成了 3D 扫描过程，并获得了 STL 形式的网格文件。

2024-07-11 09:34:28 798

原创从3D扫描到CAD模型【逆向工程】

该过程的第一部分涉及使用 3D 扫描仪快速准确地收集现有零件的几何表面测量值。传统上，人们使用卡尺和手动工具进行测量。然而，当尝试测量具有复杂特征的复杂零件（例如有机表面）时，它们通常被证明是有限的。扫描仪通常以 obj、ply 或 stl 网格格式输出 3D 扫描数据作为密集三角形网格——从几千个到数百万个多边形有了这种智能，你可以使用它来复制零件或基于原始零件创建新设计。3D 扫描数据可作为绘制 CAD 图纸的视觉指南。它基本上是在扫描数据的顶部进行跟踪。

2024-07-11 09:33:03 1228

原创 Z-Fighting 深度冲突权威指南

Z-Fighting 是渲染管道中深度测试中出现的问题。它是由深度值的有限数值精度引起的。故障将表现为不正确的渲染，即屏幕上错误地显示应该被遮挡在另一个后面的对象。故障主要发生在透视投影变换中，但也可能发生在正交投影变换中。到目前为止，一个众所周知的好的解决方案是使用对数深度测试，但在实施和使用它时必须小心谨慎。无论哪种方式，要处理 Z-Fighting，重要的是正确识别给定条件下的定量限制。这篇博文旨在成为处理 Z-Fighting 的实用信息来源。

2024-07-11 09:30:04 838

原创 4个最强大的单图像深度估计AI模型

2010 年底，当第一款 Kinect 传感器发布时，我们看到了这款相对实惠的 3D 相机带来的大量新奇应用，从沉浸式纪录片到实时互动装置，再到几何重建。我们从使用破解的 DIY 红外相机（还记得旧款 PS3 Eye 吗？）加上通过 OpenCV 2.0 进行一些背景移除的复杂而挑剔的设置，到几乎自动的人物分割、手部跟踪、3D 映射和投影、点云视频剪辑等等。深度数据是这种创新爆炸式增长的催化剂。

2024-07-11 09:27:05 856

原创相机镜头、焦距与视野

随着非标准传感器尺寸的数码相机的出现，人们似乎对焦距、视场和数字倍增器以及它们之间的关系产生了许多困惑。本文旨在尝试消除一些困惑。从摄影的角度来看，我们真正最感兴趣的是视野。如果我们想要广角拍摄，我们需要宽视野（例如，水平 84 度）。如果我们想要“正常”拍摄，我们需要“正常”视野（例如，水平 40 度），如果我们想要远摄拍摄，我们需要一个狭窄的视野（例如，水平 6.5 度）。左图：鱼眼右图：由鱼眼直线转换而来。

2024-07-11 09:24:13 1043

原创 Three.js相机简明教程

相机校准是 3D 计算机图形学中的一个基本概念，涉及设置虚拟相机以模拟真实世界相机的视角和行为。在 Three.js（一种流行的 3D 渲染 JavaScript 库）中，了解相机校准对于创建逼真且身临其境的 3D 场景至关重要。在本文中，我们将探讨 Three.js 中相机校准的基础知识，面向希望提高 3D 图形技能的初学者。

2024-07-11 09:22:48 1006

原创用VLM训练实时计算机视觉模型

经过数十亿个参数训练的 AI 模型非常强大，但并不总是适合实时使用。但是，它们可以通过自动监督快速专用模型的标注来减少人力投入。‍如果你曾经构建过计算机视觉模型，就就会知道监督需要大量工作——人类花时间（数小时或数天）绘制边界框并添加标签来注释训练图像。最终结果是快速的机器学习模型，可用于实时检测和自动化。‍但是，随着收集更多数据，人工参与的要求不仅会减慢模型的初始训练速度，还会减慢模型的任何迭代微调或改进速度。

2024-07-09 08:26:19 625

原创本地LLM & VLM性能评测

作为一名数据工程师，我对测试一些生成式 AI 模型并在本地安装/运行模型很感兴趣。大型语言模型 (LLM) 和视觉语言模型 (VLM) 是最有趣的。OpenAI 提供了 ChatGPT 网站和移动应用程序。微软创建了 Windows 11 Copilot 供我们使用。但是，我们无法控制哪些数据被发送到互联网并存储在他们的数据库中。他们的系统不是开源的，就像神秘的黑匣子一样。

2024-07-09 08:24:33 601

原创变长输入神经网络设计

我脑海中的应用程序具有可变数量的相同类型的输入。DeepMind 的研究人员最近发表了“关系网络”的想法，它将可变数量对象的特征作为输入并以顺序不变的方式处理它们，而无需对原始数据集的置换重复进行训练。此外，网络的大小是手动输入的，而不是来自一些更严格的程序，例如 k 倍交叉验证等。以下是一个例子：给定一组从高斯分布中抽取的点，估计它们的均值和方差。请注意，对于样本的每一行，点的数量可能不同。受此启发，我尝试在 PyTorch 中实现一个网络，它可以学习估计高斯分布的方差，给定从中抽取的可变数量的点。

2024-07-09 08:23:19 815

原创测试Andrew NG的语言翻译Agent

我正在测试 Andrew Ng 的语言翻译 AI 代理系统及其在逆变换下的稳定性。给定源语言的文本，我们应用翻译函数 f，然后应用 f 的逆。它应该是不变的：但是，数学与语言翻译有什么关系？在完美的系统中，从英语翻译成西班牙语再翻译成英语不应该改变源文本的含义。

2024-07-03 11:32:15 618

原创学习率调度器简明教程

在机器学习的背景下，学习率（learning rate）是一个超参数，它决定了优化算法（如梯度下降）在尝试最小化损失函数时进行的步长。现在，让我们继续讨论学习率调度程序。学习率调度器（learning rate scheduler）是一种在训练过程中调整学习率的方法，通常会随着训练的进展而降低学习率。这有助于模型在训练开始时当参数远离其最佳值时进行大量更新，并在稍后当参数更接近其最佳值时进行较小的更新，从而允许进行更多微调。实践中广泛使用了几种学习率调度器。

2024-07-03 11:30:56 784

原创人脸嵌入向量提取计算

本文将讨论如何使用开源中提供的预训练模型从图像中提取人脸编码或人脸嵌入。我还附上了代码，请参阅。

2024-07-03 11:29:06 510

原创混淆矩阵简明教程

混淆矩阵是机器学习中的一种性能评估工具，表示分类模型的准确性。它显示真阳性、真阴性、假阳性和假阴性的数量。该矩阵有助于分析模型性能、识别错误分类并提高预测准确性。混淆矩阵是一个 N x N 矩阵，用于评估分类模型的性能，其中 N 是目标类别的总数。矩阵将实际目标值与机器学习模型预测的值进行比较。这让我们全面了解我们的分类模型的表现如何以及它犯了哪些类型的错误。

2024-07-03 11:28:07 616

原创基于内容的3D模型文件格式检测【3DFD】

3DFD是基于深度学习的3D模型文件格式检测开发包，支持DAE、FBX、GLB、GLTF、OBJ、PLY、STL等7种常见格式。。

2024-07-02 09:03:40 245

原创基于深度学习的图像背景剔除

在过去几年的机器学习领域，我一直想打造真正的机器学习产品。几个月前，在参加了精彩的 Fast.AI 深度学习课程后，似乎一切皆有可能，我有机会：深度学习技术的进步使许多以前不可能实现的事情成为可能，而且开发了新工具，使部署过程比以往任何时候都更容易。在上述课程中，我遇到了经验丰富的 Web 开发人员 Alon Burg，我们合作追求这一目标。我们最初的想法是承担一些医疗项目，因为这个领域与我们息息相关，我们觉得（现在仍然觉得）在医疗领域，深度学习有大量唾手可得的成果。

2024-07-01 11:31:14 1212 2

原创 Pickle, SafeTensor, GGML和GGUF

让我们从描述机器学习模型开始。最简单的说，模型是一个文件或一组文件，其中包含模型架构以及从训练循环生成的模型的权重和偏差。在 LLM 领域，我们通常对 Transformer 风格的模型和架构感兴趣。在 Transformer 中，我们有许多活动部件。对于输入，我们使用从人类生成的自然语言内容中聚合的训练数据语料库将这些数据转换为嵌入对嵌入进行位置编码，以提供有关单词在序列中彼此相对位置的信息基于初始化的权重组合，为序列中每个单词相对于其他单词创建多头自注意力。

2024-07-01 11:23:56 629

原创 Sora DiT图解【文生视频】

在古老的迪萨罗斯大陆，曾经住着一位传奇人物，名叫索拉（Sora）。这个传奇人物体现了无限潜力的本质，包括天空的浩瀚和壮丽。当它飞得很高，彩虹色的翅膀横跨广阔的空间，光线从它引人注目的身体上反射出来时，人们可以听到“索拉就是天空”这句话在天空中回荡。它之所以成为传奇，不仅是因为它史诗般的巨大，还因为它能够驾驭散落在旋转云层中的光元素。凭借其强大的力量，索拉只需旋转一下就能创造出神奇的魔法，令人叹为观止！他们说，Sora活着，日复一日地磨练技能，变得越来越强大，准备在黄金时刻飞翔。

2024-06-30 11:56:06 708

原创 LLM App统计报告【Streamlit】

本文重点介绍了 Streamlit 报告：2023 年 LLM 应用状况，深入了解了 2023 年在 Streamlit 社区云上部署的所有 LLM 应用程序的统计数据。Streamlit 是一个开源框架，旨在方便部署数据科学和机器学习应用程序。LLM 的最新发展使 Streamlit 成为开发人员有吸引力的部署工具/UI。该报告包含约 18,000 名开发人员构建的约 30,000 个 LLM 应用程序的数据，这些应用程序托管在 streamlit 社区云上。

2024-06-28 10:42:04 292

原创用合成数据训练边缘侧火灾检测器

火灾是人类面临的重大威胁，检测火灾至关重要。目前的火焰传感器在距离检测方面存在局限性。为了克服这个问题，我的目标是使用机器学习方法创建一个轻量级且高度准确的火灾检测系统。当需要实时数据处理或机器学习模型可用的数据集很少时，这个问题变得非常具有挑战性。因此，这里合成数据集就派上用场了。该项目为在火灾检测系统中使用合成数据集的优势提供了概念验证。合成数据集是一种数据类型，使我们能够模拟在现实生活中可能很少遇到但需要解决的情况。它提供了一种使用真实数据的高度经济高效的替代方案。

2024-06-28 10:39:22 1024

原创大模型的一个有前途的应用

大型语言模型 (LLM) 通常被描述为生成人工智能 (GenAI)，因为它们确实具有生成文本的能力。LLM 的第一个流行应用是聊天机器人，其中 ChatGPT 处于领先地位。然后我们将其视野扩展到其他任务，例如语义搜索和检索增强生成 (RAG)。今天，我想谈谈 LLM 的一个新兴应用，即结构化非结构化数据，为此我将向你展示一个示例，即将原始文本结构化为 JSON 数据。使用 LLM 进行数据结构化和提取是一个非常有前途的应用，具有很大的潜力。

2024-06-28 10:35:12 652

原创图像大模型中的注意力和因果掩码

图像领域中 LLM 的对应物。尽管iGPT已经存在 2 年多了，但自回归尚未得到充分探索。在本文中，作者表明，当使用 AIM 对网络进行预训练时，一组图像数据集上的下游任务的平均准确率会随着数据和参数的增加而线性增加。要运行下面的代码，请使用我的在这篇博客中，我们将了解自注意力中的 Casual Masking 是什么，然后看看 PrefixLM 是如何设计的。在阅读这篇博客之前，我强烈建议你先观看这个。让我们先加载所需的库。让我们创建一个大小为 224x224 的图像，其中补丁大小为 32。

2024-06-28 10:31:30 779