江小皮不皮-CSDN博客

原创 Tree of Thoughts: Deliberate Problem Solving with Large Language Models

通过思维链（ToT）允许 LM 通过考虑多个不同的推理路径和自我评估选择来决定下一个动作过程来执行深思熟虑的决策，以及在做出全局选择时展望未来或回溯在24点游戏中，而具有思维链提示的 GPT-4 仅解决了4% 的任务，我们的方法的成功率为 74%。此外，ToT 等搜索方法比采样方法需要更多的资源（例如 GPT-4 API 成本），以提高任务性能，但 ToT 的模块化灵活性允许用户自定义此类性能成本权衡，并且正在进行的开源努力在不久的将来应该很容易降低此类成本。

2023-06-12 16:40:29 2156

原创 TensorRT综述

TensorRT是NVIDIA提供的用于深度学习推理的高性能推理引擎，它可以优化深度学习模型的推理速度和性能，以满足实时应用的需求。TensorRT采用了多种优化技术，包括网络剪枝、量化、层融合等，可以自动优化网络结构以减少运行时间和内存占用。与常规的深度学习框架相比，TensorRT可以将模型的推理速度提高数倍，同时减少了计算和内存的开销。TensorRT支持多种类型的神经网络，包括卷积神经网络、循环神经网络、生成对抗网络等，可以在多种平台上运行，包括GPU、CPU、嵌入式设备等。

2023-03-24 10:52:11 561

原创 YOLOV7详细解读（四）训练自己的数据集

继美团发布YOLOV6之后，YOLO系列原作者也发布了YOLOV7。YOLOV7主要的贡献在于：1.模型重参数化YOLOV7将模型重参数化引入到网络架构中，重参数化这一思想最早出现于REPVGG中。2.标签分配策略YOLOV7的标签分配策略采用的是YOLOV5的跨网格搜索，以及YOLOX的匹配策略。3.ELAN高效网络架构YOLOV7中提出的一个新的网络架构，以高效为主。4.带辅助头的训练。

2022-09-29 17:00:58 3859 2

原创 YOLOV7详细解读（三）技术要点归纳

继美团发布YOLOV6之后，YOLO系列原作者也发布了YOLOV7。YOLOV7主要的贡献在于：1.模型重参数化YOLOV7将模型重参数化引入到网络架构中，重参数化这一思想最早出现于REPVGG中。2.标签分配策略YOLOV7的标签分配策略采用的是YOLOV5的跨网格搜索，以及YOLOX的匹配策略。3.ELAN高效网络架构YOLOV7中提出的一个新的网络架构，以高效为主。4.带辅助头的训练。

2022-09-17 10:06:58 10174

原创 YOLOV7详细解读（二）论文解读

继美团发布YOLOV6之后，YOLO系列原作者也发布了YOLOV7。YOLOV7主要的贡献在于：1.模型重参数化YOLOV7将模型重参数化引入到网络架构中，重参数化这一思想最早出现于REPVGG中。2.标签分配策略YOLOV7的标签分配策略采用的是YOLOV5的跨网格搜索，以及YOLOX的匹配策略。3.ELAN高效网络架构YOLOV7中提出的一个新的网络架构，以高效为主。4.带辅助头的训练。

2022-09-06 00:00:47 23204 5

原创 YOLOV7详细解读（一）网络架构解读

继美团发布YOLOV6之后，YOLO系列原作者也发布了YOLOV7。YOLOV7主要的贡献在于：1.模型重参数化YOLOV7将模型重参数化引入到网络架构中，重参数化这一思想最早出现于REPVGG中。2.标签分配策略YOLOV7的标签分配策略采用的是YOLOV5的跨网格搜索，以及YOLOX的匹配策略。3.ELAN高效网络架构YOLOV7中提出的一个新的网络架构，以高效为主。4.带辅助头的训练。

2022-09-03 10:28:02 126447 59

原创人证比对+图片相似度+MTCNN+FACENET+CNN

人证比对+图片相似度理论算法代码理论所谓人证比对，就是人脸识别的一个分支应用。而对于人脸识别，需要满足两个充要条件：1.类内差距小。2.类间差距大。传统CNN模型使用的softmax损失，尽管可以区分每个人，但是无法满足上诉条件。所以，人证比对需要满足以下几个流程。1.获取图片中的人脸。2.CNN进行特征提取。3.三元组损失或者中心损失。算法MTCNN进行人脸裁剪和对齐。然后就是普通的训练啦，resnet,vgg,densenet啥的都行，但是损失必须要用三元组损失或者中心损失。输入两张

2020-09-02 22:06:42 1890

原创 MobileNetV2详细总结以及代码讲解

MobileNetV2模型介绍模型网络代码实现+图片预测模型介绍特点：1.相比于MobileNetV1，先进行了1x1的卷积进行升维，目的在于获得更多特征，然后用3x3的空间卷积，最后再用1x1降维。核心思想是升维再降维，参数量更少。2.为了避免Relu对特征的破坏，在在3x3网络结构前利用1x1卷积升维，在3x3网络结构后，再利用1x1卷积降维后，不再进行Relu6层，直接进行残差网络的加...

2020-05-02 10:46:13 13378

原创 DeepSeek-GRM 技术详解

本文探讨了强化学习（RL）在大规模语言模型（LLMs）后训练中的应用，重点研究如何通过推理计算改进通用查询的奖励建模（RM）及其推理时扩展性，以及如何通过适当的学习方法提升性能-计算扩展的有效性。作者提出了一种点式生成奖励建模（GRM）方法，以适应不同输入类型并实现推理时扩展潜力，同时引入自原则批评调整（SPCT）学习方法，通过在线 RL 培养 GRM 的可扩展奖励生成行为，自适应生成原则并准确批评，形成了 DeepSeek-GRM 模型。此外，作者采用并行采样扩展计算使用，并引入元 RM 指导投票过程

2025-05-21 14:19:31 848

原创为何选择MCP？自建流程与Anthropic MCP的对比分析

在当前的AI技术浪潮中，如何高效、可靠地让大型语言模型（LLM）与外部工具和服务进行交互，是一个核心议题。Anthropic提出的模型组件协议（Model Component Protocol, MCP）旨在为此提供一个标准化的解决方案。然而，一个关键问题随之而来：采用MCP与我们自行构建一套类似的工具调用流程，究竟有何本质区别？我们选择MCP的驱动力是什么？本文将深入剖析这两者之间的异同，并探讨MCP背后的潜在意义。

2025-05-13 09:23:52 918

原创使用 systemd 管理 Linux 服务：配置与自动重启指南

systemd 是现代 Linux 系统中常用的服务管理器，能够可靠地管理进程并在进程崩溃时自动重启。要创建 systemd 服务文件，需在 /etc/systemd/system/ 目录下创建一个 .service 文件，定义服务的描述、依赖关系、运行用户、工作目录、启动命令、重启策略及日志输出路径等。文件内容应避免包含注释，否则可能导致错误。创建文件后，使用 systemctl daemon-reload 重新加载配置，并通过 systemctl enable 和 systemctl start 启用和

2025-05-09 10:39:33 524

原创网络安全知识汇总

统一杀伤链是一个更全面的框架，结合了多种攻击模型和方法，提供了更广泛的威胁检测和防御能力。背景Paul Pols于2017年发布的"统一杀伤链"(Unified Kill Chain, UKC)旨在补充（而不是竞争）其他网络安全杀伤链框架，例如洛克希德马丁公司的网络杀伤链和MITRE的ATT&CK框架。UKC的结构UKC将攻击分为18个详细的阶段，涵盖了从最初的侦察到最终的数据泄露，以及理解攻击者的动机等全面过程。UKC的优势现代性UKC是一个更现代的框架，能够better适应当前的网络威胁环境。

2025-05-09 10:13:33 1028

原创大型语言模型在网络安全领域的应用综述

得益于大型语言模型（LLMs）的突破性进展，自然语言处理（NLP）在过去十年间实现了飞速发展。LLMs 正逐渐成为网络安全领域的一股强大力量，它们能够自动检测漏洞、分析恶意软件，并有效应对日益复杂的网络攻击。具体而言，LLMs 被广泛应用于软件安全领域，可从代码和自然语言描述中识别漏洞，并生成相应的安全补丁。同时，LLMs 也被用于分析安全策略和隐私政策，帮助识别潜在的安全违规行为。在网络安全领域，LLMs 能够检测和分类各种类型的攻击，例如 DDoS 攻击和僵尸网络流量。

2025-05-08 10:59:02 1057

原创 Gemma3技术总结

Gemma 是一个源自 Google 的轻量级模型系列，该系列依托于先进的 Gemini 技术进行构建。2025 年 3 月 12 日，Google 正式发布了 Gemma 系列的最新一代产品——Gemma 3。这款新一代的 Gemma 模型具有多模态处理能力，不仅能够理解和生成文本内容，还能对图像数据进行分析和处理。Gemma 3 拥有一个宽广的上下文窗口，大小达到 128K tokens，这意味着它可以在单次处理过程中考虑更多的信息。

2025-05-08 10:38:37 731

原创 Qwen3 混合思维模版解读

在人工智能迅速发展的今天，大型语言模型（Large Language Models，简称LLM）正逐渐成为各类应用的核心组件。其中，对话模板（Chat Template）作为连接用户与模型的关键桥梁，对确保高质量的交互体验至关重要。本文将深入解析Qwen3使用的对话模板，揭示其如何优雅地处理多轮对话、工具调用等复杂场景。

2025-05-07 10:39:57 1564

原创 Qwen3 技术总结

阿里通义 Qwen3 系列大模型已正式发布。此次开源包含两大类模型：混合专家模型 (MoE) 和密集模型 (Dense)。

2025-05-07 10:19:33 832

原创 MCP 原理及 FastMCP 框架实践指南

模型上下文协议 (MCP) 是一种标准化的安全机制，旨在帮助大语言模型 (LLM) 应用程序暴露其数据和功能。您可以将 MCP 视为专为 LLM 交互而设计的 Web API。通过资源暴露数据：类似于 HTTP GET 请求，将信息加载到 LLM 的上下文中。通过工具提供功能：类似于 HTTP POST/PUT 请求，允许 LLM 执行特定操作。通过提示定义交互模式：提供可复用的提示模板，规范和引导 LLM 的交互行为。

2025-05-07 09:56:34 1282

原创 DeepSeek-V3 技术要点解析

DeepSeek-V3 是一个大规模稀疏专家混合（MoE）模型，拥有高达 6710 亿个参数，其中每个 token 激活 37 亿个参数。它采用多任务注意混合架构（MLA），相较于 DeepSeek-V2 显著提高了推理效率。此外，DeepSeek-V3 引入了去随机负载平衡的负载平衡策略和 token 预测机制优化，以提高模型的鲁棒性和稳定性。DeepSeek-V3的预训练阶段在不到两个月的时间里就完成了，花费了 2664K GPU（H800 GPU）小时。

2024-12-31 11:02:54 13564 2

原创揭秘语言模型后训练：指令微调、偏好调优与强化学习的深度解析

人工智能领域的语言模型（Language Models）如GPT、Llama等，已经成为推动技术变革的核心力量。然而，预训练后的模型并非完美，它们仍需通过后训练（Post-training）来进一步优化性能，满足实际应用需求。本文将深入解析后训练的核心技巧，包括指令微调（SFT）偏好调优（DPO）和强化学习（RLVR），结合TÜLU 3的创新实践，展示如何通过后训练让模型更强大。后训练是指在语言模型大规模无监督预训练完成后，进一步针对特定任务、场景或用户需求进行的训练优化过程。提升模型的指令理解。

2024-12-17 16:25:13 1513

原创 LLM推进网络安全漏洞评估ChatNVD

本研究提出了基于大语言模型 (LLMs) 的网络安全漏洞评估工具ChatNVD，通过整合 NVD 数据库与先进的模型嵌入技术，为安全从业者提供了一种高效且可操作的解决方案。实验结果表明，GPT-4o mini 在处理漏洞信息查询任务时表现最佳，准确率达到 1.0。研究同时指出了模型在长上下文处理、成本控制和幻觉问题方面的挑战，并为未来的模型优化和改进提供了方向。

2024-12-17 15:44:52 835

原创 ShellGPT：你的全能Shell助手

本文讨论了 shellgpt 的安装、配置、使用测试、角色创建、缓存以及完整参数列表等方面的内容。安装：使用 pip install shell-gpt 命令。配置：修改相关配置文件中的参数。使用测试：包括通用知识、Shell 命令、生成代码、聊天模式、REPL 模式、角色创建等多种场景。缓存：通过 --cache 和 --no-cache 选项控制缓存。完整参数列表：涵盖了 prompt、model、temperature 等多个参数及对应的选项。

2024-11-21 13:56:10 1285

原创 VLLM + one-api + next-chat：打造私有化的聊天大模型

本文讨论了如何使用 VLLM、OneAPI 和 ChatGPT-Next-Web 打造私有化的聊天大模型。首先介绍了 VLLM 的关键技术和部署方法，包括内存优化、推理加速、模型量化等，以及通过 docker 镜像进行部署和启动服务。接着阐述了 OneAPI 的概述、部署过程，包括启动镜像、登录、添加 API、测试渠道、添加令牌和使用服务等步骤。最后说明了 ChatGPT-Next-Web 的概述、特点和部署方法，包括拉取镜像、启动镜像和使用服务。

2024-11-18 14:58:43 4027

原创 NGPT：在超球面上进行表示学习的归一化 Transformer

《NGPT：在超球面上进行表示学习的归一化 Transformer》提出 nGPT 架构。背景是 Transformer 架构不断被改进，已有多种归一化技术探索。nGPT 核心贡献包括超球面上网络参数优化，作为变度量优化器及更快收敛。从 GPT 到 nGPT 的演变涉及标记嵌入、层和块、自注意力块、MLP 块等方面的改进。实验显示 nGPT 训练速度大幅提升，在不同条件下比 GPT 快 4 到 20 倍，还对网络参数进行了检查和消融研究。相关工作涉及超球面表示学习，未来可探索扩展 nGPT。

2024-10-31 16:51:43 1303

原创 AIGC时代的网络威胁和防御

本文讨论了 AIGC 时代的网络攻击和防御，以及利用大型语言模型打造先进的交互式蜜罐系统。关键要点包括：- 生成式 AI 成为网络威胁新宠：探讨了其在网络攻击中的滥用，如被网络犯罪分子利用生成和自动化攻击。- 攻击方法多样：包括 Character Play、Switch Method、OccupyAI 等多种攻击方式。- 研究结论与应对策略：发现生成式 AI 降低攻击门槛，增加攻击复杂度，提出加强网络安全框架等应对策略。- 利用 LLM 打造蜜罐系统：介绍了利用 LLM 创建更高效蜜罐系统的研究

2024-10-31 16:32:21 1278

原创物理学不存在了：2024年诺贝尔物理学奖收入AI手中

2024年诺贝尔物理学奖首次授予了机器学习与神经网络领域的科学家——约翰·霍普菲尔德和杰弗里·辛顿，以表彰他们在该领域的开创性贡献。霍普菲尔德提出的霍普菲尔德网络基于物理学的自旋玻璃理论，为记忆存储和模式识别奠定了基础。辛顿的玻尔兹曼机则通过统计物理学模型推动了深度学习的发展。此次颁奖不仅体现了人工智能和神经网络研究的重要性，还彰显了物理学、计算机科学和神经科学的跨学科融合对现代科技的深远影响。

2024-10-12 14:52:46 730

原创解读 OpenAI o1 模型

在最近的一次访谈中，OpenAI 的 o1 模型研究团队与红杉美国的合伙人进行了深入对话，讨论了 o1 模型迄今为止未被充分开发的维度及其未来的巨大潜力。本文旨在深入剖析访谈中的关键技术要点，并分析 o1 模型在当前人工智能技术框架下的独特性，以及其未来可能带来的影响和应用场景。

2024-10-08 17:28:13 1167

原创代码编辑器Cursor 访谈总结

这次访谈全面展现了 Cursor 团队在 AI 编程工具领域的创新和挑战。尽管面临 GitHub 和 OpenAI 的竞争，Cursor 团队依然充满信心，通过优化代码差异界面、提升处理速度、改进提示工程等手段来保持竞争力。未来，他们将继续探索如何更好地集成新技术、改进用户体验，以在快速发展的 AI 编程领域中占据一席之地。

2024-10-08 16:26:25 1162

原创基于Qwen2.5技术报告的一些思考

Qwen2.5-Coder 继承了 Qwen2.5 的词汇表，但引入了几个特殊标记来帮助模型更好地理解代码。标记文本或序列的结尾，而和标记用于实现中间填充 (FIM) 技术（Bavarian 等人，2022），其中模型预测代码块的缺失部分。此外，用于在 FIM 操作期间进行填充。其他标记包括，用于标识存储库名称，以及，用作文件分隔符以更好地管理存储库级信息。这些标记对于帮助模型从不同的代码结构中学习至关重要，并使其能够在文件级和存储库级预训练期间处理更长、更复杂的上下文。

2024-09-29 14:36:21 1144

原创大模型网络安全能力和风险评估框架Cybench

随着语言模型在网络安全领域的能力提升，它们能够自动识别漏洞并执行利用，可能对现实世界产生重大影响。为了量化这些模型的能力，研究者们提出了Cybench框架，涵盖40个从Capture the Flag（CTF）竞赛中选择的专业级任务。这些任务分布在不同的难度范围内，并且提供了任务描述和启动文件。为了应对当前模型无法完成的复杂任务，Cybench引入了子任务，将复杂任务分解为更细化的评估步骤。

2024-08-26 19:28:09 1497

原创 CODEXGRAPH：突破代码与AI的壁垒，开启智能编程新时代

论文首先介绍了大型语言模型（LLMs）在代码生成和理解任务中的重要性，但也指出当前LLMs在处理整个代码库时面临的挑战。这些挑战包括难以处理长上下文输入以及在复杂代码结构中进行推理的能力不足。现有的解决方案，如基于相似性的检索方法和手动工具/API，虽然在特定任务中有效，但在应对复杂的代码库任务时表现出色的效果有限。为了解决这些问题，作者提出了CODEXGRAPH，一个将LLM与图数据库接口相结合的系统。

2024-08-14 09:45:37 1474

原创 python连接Doris数据库使用指南

在现代应用程序开发中，数据库是存储和管理数据的核心组件。Python 作为一种强大的编程语言，提供了多种库来连接和操作数据库。本文介绍了如何使用 pymysql 库连接到 MySQL 或 Apache Doris 数据库。首先，本文概述了数据库连接的基本步骤，包括建立连接、执行查询、处理结果和关闭连接。然后，详细讲解了使用 pymysql 库的代码示例，展示了如何通过 Python 程序实现与数据库的交互。最后，本文还讨论了一些常见的数据库操作，如插入数据、查询数据，以及批量处理数据的方法。这些操作对于构建

2024-08-09 16:25:22 1296

原创大模型生成优化：混合代理架构（MOA）

近年来，大型语言模型（LLMs）在自然语言理解和生成任务方面取得了显著进展。然而，单个模型在规模和训练数据上存在固有的限制，进一步扩展这些模型的成本非常高。因此，如何利用多个LLMs的集体优势成为一个有趣的研究方向。本文提出了一种新方法——代理混合（MoA），通过构建一个分层的MoA架构，每层包含多个LLM代理，每个代理在生成响应时参考前一层代理的输出。MoA模型在AlpacaEval 2.0、MT-Bench和FLASK等基准测试中表现优异，超越了GPT-4 Omni。

2024-07-23 11:47:52 1057

原创 AIGC底层技术之大模型量化分析

几乎所有量化方式在8bit 量化无损失GPTQ 和 AWQ 4bit量化对8B模型来说有1-2%的性能损失，对70B模型只有0.4%性能损失。参数越大的模型，低bit量化损失越低。综合来说，如果追求无任何性能损失，8B模型用8bit量化，70B模型用4bit量化；如果能接受2-3%损失，8B模型用4bit量化，70B模型用3bit量化。这篇论文旨在评估LLAMA3模型在低比特量化（1-8位）下的性能表现，特别是在资源受限的环境中。

2024-07-15 10:55:03 1619

原创 Nature:使用语义熵检测大语言模型中的幻觉

大语言模型（LLM）如ChatGPT和Gemini在推理和问答方面表现出色，但经常产生错误输出或未经证实的答案，被称为“幻觉”。这些幻觉在法律、新闻和医学等领域带来了可靠性问题，导致错误信息传播和潜在的严重后果。本文提出了一种基于熵的统计方法，用于检测大型语言模型（LLM）中的“虚构内容”（confabulations），即生成的任意且错误的信息。通过计算生成内容的语义熵，该方法能够在不同任务和数据集中检测虚构内容，不需要任务特定的数据，具有良好的泛化能力。图 1 语义熵和虚构检测概述a.

2024-06-27 20:05:45 3955

原创 Drain: An Online Log Parsing Approach with Fixed Depth Tree

论文提出了一种名为 Drain 的在线日志解析方法，旨在解决由于日志量快速增长而导致的离线日志解析方法的效率问题。Drain 通过使用固定深度的解析树，并在树节点中编码特殊设计的规则，实现了日志的流式解析，并大大提高了解析效率和准确性。现代云计算和服务导向架构（SOA）的普及使得日志分析在服务管理中变得至关重要。日志通常是唯一记录系统运行时信息的数据资源，然而，原始日志信息是非结构化的，需要解析成结构化事件以便进一步分析。现有大多数日志解析方法集中于离线批处理，而随着日志量的增加，这种方法变得越来越耗时。

2024-06-25 10:57:45 982

空空如也

基于onnx进行yolov5推理

关于睡觉识别数据集的问题

关于验证码识别问题，如何做图像预处理，去除干扰，只保留汉字。

爬虫通过URL访问网页，发现被屏蔽