自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(369)
  • 资源 (6002)
  • 收藏
  • 关注

原创 人工智能|大模型——训练——大模型微调全栈指南:从Transformer架构、10+种PEFT原理、流程与实战(全网最详细)

本文是一份面向工程落地的大模型参数高效微调(PEFT)深度技术指南,严格依据 8 篇权威技术文档(知乎专栏、CSDN 博客、阿里云文章、AI全书等)的原始事实提炼而成。全文覆盖:① 大模型“预训练→微调”两阶段范式本质;② Transformer 架构中各 PEFT 方法的作用位置与数学原理;③ LoRA、QLoRA、Adapter Tuning、Prefix Tuning、Prompt Tuning、P-Tuning v1、P-Tuning v2 共 7 种主流方法的完整技术解构(含公式、结构图示逻辑、参

2026-04-10 11:31:15 378

原创 人工智能|大模型——记忆——大模型 Memory 技术全景解析:Form–Function–Dynamics 三维框架 × 五大前沿范式 × 全生命周期管理与可信挑战

本文系统梳理了大模型记忆技术的最新研究进展,基于Form-Function-Dynamics三维框架,对记忆系统的本质定义、分类体系、核心范式及实现方法进行了全面解析。文章首先澄清了记忆与上下文窗口、RAG、工具调用的本质区别,提出记忆是大模型智能体的核心能力单元。随后详细阐述了记忆在形式(Token/Parametric/Latent)、功能(Factual/Experiential/Working)和动态(Formation/Evolution/Retrieval)三个维度的正交分类体系,并结合TIM、

2026-04-08 17:10:17 391

原创 人工智能|大模型——蒸馏——大模型蒸馏详解(定义/原理/关键技术/落地)

摘要 大模型蒸馏(Model Distillation)是一种将大型教师模型(如BERT、GPT-4)的知识高效迁移至轻量级学生模型(如DistilBERT)的关键技术,旨在解决大模型部署中的算力与延迟问题。其核心流程包括教师模型训练、软标签生成(含温度参数T调控)、学生模型联合训练及评估优化。关键技术涉及KL散度损失、温度参数调节、输出层与中间层双路径知识转移。工业实践表明,蒸馏模型如DistilBERT可实现推理速度提升2.5倍,而DeepSeek-R1-Distill在数学推理任务上性能媲美原模型。该

2026-04-01 17:09:45 503

原创 人工智能|大模型——应用——降低OpenClaw Token成本的四大策略

初期与资源层:优先领取阿里云百炼或国家超算互联网的免费额度,奠定低成本基础。框架与配置层:应用一键优化脚本,开启上下文修剪、缓存和压缩功能。业务逻辑层:对重复、固定的任务,使用进行封装,减少大模型的“思考”负担。知识检索层:对于涉及大量文档或历史记忆的应用,集成QMD实现离线检索,从根本上砍掉检索环节的Token消耗。通过上述多管齐下的方式,可以在不显著影响智能体能力的前提下,实现Token消耗的大幅降低,使OpenClaw的长期运行和商业化应用更加经济可行。

2026-03-30 16:17:28 433

原创 人工智能|大模型——部署——单张消费级显卡提升私有化部署大模型推理效率的 7 种方法!

本文介绍了在消费级显卡上提升大模型推理效率的7种方法:1)模型量化降低显存占用;2)采用vLLM框架的PagedAttention技术;3)连续批处理与动态调度;4)多实例并行推理;5)FlashAttention2算子加速;6)异步I/O与多线程处理;7)投机采样技术。这些方法可组合使用,在单张24GB显卡上实现数倍吞吐量提升,支持私有化部署大模型的高效运行。

2026-03-27 10:45:01 405

原创 python3_scrapy_Requests类解析(请求与回应)

Scrapy 的Request类负责定义“去哪里”以及“怎么去”,而Response类负责处理“看到了什么”以及“如何提取”。通过灵活配置Request的参数(如headersmetamethod),可以应对各种复杂的网络请求场景;通过利用Response的解析方法,可以高效地从 HTML 或 JSON 中提取结构化数据。对于轻量级需求,Requests库提供了简洁的同步请求方案,但在构建大规模爬虫系统时,Scrapy 的异步架构和组件化设计具有不可替代的优势。

2026-03-25 22:16:11 389

原创 人工智能|大模型——应用——利用大模型自建Vibe Coding上下文超限的一点思考

问题类型解决方案上下文超限降低 max_tokens 或压缩 input_tokens输入太大代码切片、摘要、RAG 检索参数配置不当动态计算 safe_max_tokens工具设计缺陷引入上下文管理系统、分层推理、用户引导“不要试图让大模型一次看完整个世界,而要教会它如何一步步探索。优秀的 AI 编程助手不是靠堆砌上下文取胜,而是靠精准的上下文选择 + 高效的推理路径规划。你可以借鉴 Cursor 的设计理念,但在实现上可以根据自己的技术栈灵活调整。

2026-03-25 21:55:48 605

原创 人工智能|大模型——模型——Token全网最详细讲解(国家数据局局长刘烈宏将其称为“词元”)

Token(词元)是自然语言处理(NLP)与大语言模型(LLM)领域的核心基础单元,是将连续的自然语言文本映射为离散符号体系的核心载体 —— 其本质是人类语言与模型可处理数学空间的 “翻译层”,也是当前生成式 AI 技术体系、工程实现与商业生态的底层锚点。随着 Transformer 架构的普及与大模型技术的爆发,Token 的角色已从早期 NLP 的预处理中间单元,升级为大模型语义建模、推理计算与商业化计价的核心对象。

2026-03-25 17:39:35 1837

原创 人工智能|大模型——模型——大模型主流架构Encoder-Only、Decoder-Only、Encoder-Decoder

本文分析了三种主流的大语言模型架构:1. Encoder-Only架构(如BERT、GLM4),擅长文本分类等单向任务,能深入理解语义但无法生成文本;2. Decoder-Only架构(如GPT、LLaMA),专长文本生成任务,具有创造性写作优势但需大量训练数据;3. Encoder-Decoder架构(如T5、盘古NLP),适用于机器翻译等序列转换任务,兼具理解与生成能力但计算复杂度高。文章详细阐述了各类架构的特点、适用场景及代表模型,包括国内外典型应用案例,如GLM4在Prompt跟随方面接近GPT4水

2026-03-24 10:37:28 461

原创 人工智能|大模型——部署——RTX 5090上通过vLLM部署0.6B模型显存占用率高?真相在这

在深度学习与大模型部署领域,硬件资源的利用率往往决定了项目的成败。近期,在拥有一张性能强悍的NVIDIA RTX 5090显卡的环境下,利用WSL2虚拟机中的Ubuntu系统及Python虚拟环境部署vLLM框架以运行0.6B参数量的Qwen模型时,遇到了显存占用瞬间"爆满"的极端情况。这一现象看似反常——小模型配大卡理应绰绰有余,实则涉及vLLM的内存管理机制、KV Cache预分配策略以及WSL2的资源调度特性。本文将结合技术原理,深度剖析显存溢出的根本原因,并提供精准的参数调优代码与解决方案。

2026-03-23 19:14:02 472

原创 人工智能|大模型——部署——GLM 4.7(FP 8)私有化部署指南

本文详细介绍了在内网环境中私有化部署大语言模型GLM-4.7的全流程。主要内容包括:1)通过ModelScope获取并传输模型文件;2)在H20服务器上安装/升级GPU驱动和CUDA环境;3)使用vLLM框架部署模型,重点说明公网环境打包迁移到内网的避坑方案;4)提供详细的命令参数说明和常见问题解决方法。该方案适用于对数据安全要求高的政企场景,确保模型、数据和算力完全自主可控,同时解决内网环境部署的技术难点。

2026-03-19 17:28:43 523

原创 人工智能|大模型—— 框架 ——一文详解MCP(从原理到实践)

​MCP起源于2024年11月25日Anthropic发布的文章:Introducing the Model Context Protocol。MCP(Model Context Protocol,模型上下文协议)定义了应用程序和 AI 模型之间交换上下文信息的方式。这使得开发者能够以一致的方式将各种数据源、工具和功能连接到 AI 模型(一个中间协议层),就像 USB-C 让不同设备能够通过相同的接口连接一样。MCP的目标是创建一个通用标准,使AI应用程序的开发和集成变得更加简单和统一。

2026-02-11 16:38:27 1303

原创 人工智能|大模型—— 框架 ——RAG从理论到实战

在当今人工智能技术飞速发展的时代,大模型已经成为各行各业关注的焦点。然而,如何将这些通用的大模型应用到我们的具体业务场景中,如何解决大模型在实际应用中的种种局限,这些都是我们需要深入思考的问题。RAG,也就是检索增强生成技术,正是解决这些问题的关键方案之一。 在接下来的分享中,我会从理论基础出发,逐步深入到技术细节和实践案例,帮助大家全面理解RAG,并掌握从0-1搭建RAG系统的核心流程及方法,以为大家在实际工作中应用这一技术提供支持。

2026-02-09 18:03:37 1165

原创 人工智能|大模型—— 开发 ——Agent Skills设计详解

AgentSkills是一种将可复用的AI协作流程封装为标准化任务的机制,通过Markdown文件定义任务名称、描述和执行步骤。OpenCode支持项目本地和全局两种Skill配置路径,采用渐进式三层加载机制(元数据、指令、资源)优化Token消耗。Skill包含核心SKILL.md文件和可选资源(scripts、references、assets),其创建可借助skill-creator元技能完成。这种设计通过模块化、标准化和按需加载,既提升了AI协作效率,又降低了资源消耗,实现了复杂工作流程的确定性执行

2026-01-30 14:48:25 4256

原创 人工智能|大模型——应用——详解ClawdBot(Moltbot)

最近,一个名为 ClawdBot 的项目在技术圈引起了广泛的讨论。许多人称其为“真正能做事的 AI”、“个人 AI 助理的未来形态”。它似乎不仅仅是一个聊天机器人,而是一个能接入我们日常生活、实际操作电脑的强大工具。那么,ClawdBot 究竟是什么?

2026-01-29 17:48:13 1866

原创 人工智能|大模型——部署——vLLM专家并行支持:MoE模型的高效部署方案

vLLM框架针对MoE模型部署提出创新解决方案,通过分组TopK路由算法、令牌重排对齐机制和混合精度专家计算三大核心技术,有效解决了计算资源碎片化、跨设备通信瓶颈和内存管理复杂性等核心挑战。该系统支持动态专家选择策略和多模态处理,在70B参数的MoE模型上实现75%以上的GPU利用率,显存占用降低40%,吞吐量较传统方案提升3倍。未来将发展自适应专家并行和异构专家部署等功能,为万亿参数模型提供高效推理支持。最佳实践包括模型权重优化、系统参数配置和性能指标监控等关键步骤。

2026-01-28 15:26:08 996

原创 人工智能|大模型 —— 开发 —— opencode与agent skills的安装与使用

本文介绍了AI编程代理OpenCode的安装配置与使用指南。主要内容包括:1) 常用Skill下载源和配置方法(手动下载/市场安装);2) OpenCode的安装方式(一键脚本/包管理器/桌面应用);3) 基础配置步骤(连接AI模型、项目初始化);4) 基本用法(切换代理、引用文件提问)。OpenCode作为开源AI编程助手,支持多模型接入,提供终端和图形界面两种操作方式,能帮助开发者更高效地理解和修改代码。

2026-01-27 14:35:01 5076

原创 人工智能|大模型——量化——Ollama模型量化参数设置全解析如何避免性能下降与显存溢出

在当今大语言模型(LLM)快速发展的时代,Ollama作为一款优秀的本地模型运行框架,为用户提供了便捷的模型部署和运行能力。然而,随着模型规模的不断增大,如何在有限的硬件资源下高效运行这些模型成为了一个重要问题。模型量化技术应运而生,它通过降低模型权重的数值精度来减少内存占用和提升推理速度。但量化并非简单的参数调整,不当的设置可能导致严重的性能下降甚至显存溢出问题。

2026-01-22 09:53:39 1719

原创 人工智能|大模型 —— 量化 —— 一文搞懂大模型量化技术:GGUF、GPTQ、AWQ

本文系统探讨了大模型量化技术的理论基础与实现方法。首先介绍了对称量化(absmax方法)和非对称量化(零点量化)的基本原理,分析了量化误差的产生机制。随后重点讨论了GGUF分组量化方法,通过具体示例展示了4位量化过程。在优化方法方面,详细阐述了GPTQ的后训练量化技术,包括其Hessian-based误差补偿机制和LazyBatch-Updates加速策略。最后介绍了AWQ方法,该方法通过激活感知选择1%关键权重进行保护,结合缩放因子优化显著降低了量化误差。实验结果表明,AWQ与GPTQ相结合能进一步提升量

2026-01-21 15:13:38 844

原创 计算机硬件|计算机组成——计算机硬件的组成与协作

本文系统介绍了计算机硬件组成及协作机制。硬件主要包括CPU、存储系统、外部设备和互连总线四大类:CPU负责指令执行与协调;存储系统包含内存和固态/机械硬盘;外部设备涵盖各类I/O设备;总线实现组件间通信。文章详细解析了各部件功能,并通过文件读取排序和网页渲染两个实际案例,展示了硬件协作流程。最后指出性能瓶颈主要来自访问模式和延迟,建议编写程序时注意局部性、减少拷贝、善用DMA等技术优化硬件利用率。理解硬件协作原理有助于性能优化和架构设计。

2025-12-24 17:13:49 1316

原创 人工智能|大模型 —— 部署 ——Ollama 安装部署教程,一键搭建本地大模型

Ollama是一款支持在Windows、Linux和MacOS上本地运行大语言模型的工具,提供1700+预训练模型和自定义模型功能。安装方式包括直接下载安装包(Windows/Mac)或脚本/二进制安装(Linux)。用户可通过命令行管理模型,支持参数调整和多GPU加速。文章详细介绍了各平台安装步骤、环境变量配置、模型路径修改方法,以及如何从Huggingface导入模型。最新版本0.3.13新增支持直接从Huggingface Hub拉取GGUF量化模型的功能,并提供了具体操作命令示例。

2025-12-05 16:48:27 1246

原创 环境配置|GPUStack安装——GPUStack安装与配置指南

GPUStack是一个开源的GPU集群管理工具,支持跨平台部署AI模型。它兼容多种硬件架构(NVIDIA CUDA/AMD ROCm/华为Ascend),提供分布式推理、用户管理、监控等功能,并通过Docker容器化部署。安装需预装Python 3.8+和Docker,支持Linux/macOS/Windows系统。配置完成后,可通过Web界面(默认8080端口)管理AI模型服务,集成vLLM等推理后端,实现高效的GPU资源调度和模型部署。

2025-12-05 16:19:16 1231

原创 人工智能|大模型 —— 部署 —— GPUStack为大模型而生的开源GPU集群管理器

摘要:Seal团队发布开源GPU集群管理器GPUStack,支持企业快速部署私有大型语言模型。该平台可统一管理NVIDIA、Intel、AMD等异构GPU资源,提供模型部署、OpenAI兼容API、资源监控等功能。通过自动化调度算法,GPUStack能根据资源情况优化模型运行方式,支持从HuggingFace部署GGUF格式模型。平台还提供RBAC访问控制、性能监控等企业级功能,适用于边缘计算、数据中心等多种场景。安装过程支持Linux、macOS和Windows系统,可构建混合集群。

2025-11-07 16:48:28 1462

原创 编程语言|前端开发——WebAssembly 和 JavaScript 该怎么选?

本文对比了JavaScript与WebAssembly在浏览器运行时的性能表现。测试结果显示:在资源体积方面,JavaScript原始体积为1.8KB,优化后的WebAssembly为4.6KB;初始化时间上,JavaScript仅需34ms,而WebAssembly需要528ms;执行CPU密集型任务时,JavaScript耗时126ms,WebAssembly仅需28ms。结论是:JavaScript在加载速度和体积上更优,适合快速执行的轻量任务;而WebAssembly在执行效率上优势明显,更适合计算

2025-11-06 19:53:43 1224

原创 人工智能|强化学习——基于人类反馈的强化学习(RLHF)深度解析

基于人类反馈的强化学习(RLHF)是训练先进AI系统的核心技术,使ChatGPT等大语言模型能更好地对齐人类价值观。RLHF通过三阶段流程实现:监督微调初步训练模型,奖励模型学习人类偏好,强化学习优化模型输出。奖励模型是关键组件,通过偏好学习算法将人类判断转化为评分信号。尽管面临奖励欺骗、反馈偏差等挑战,RLHF正推动AI从单纯追求性能转向安全性和人类价值观对齐。随着DPO、RLAIF等新方法出现,RLHF持续推动AI系统向更有用、更安全的方向发展。

2025-10-15 21:27:46 1667 2

原创 在线机考|2025年华为暑期实习&春招&秋招编程题(最新)——第1题_物流运输

摘要:题目描述了一个树形结构的快递配送问题,需要计算完成所有快递任务的总路径长度。通过BFS建立树的拓扑序,后序遍历统计每个节点的寄件和收件数量,最后累加所有边权值乘以对应任务数。算法使用邻接表存储树结构,时间复杂度为O(N+M)。代码提供了C++、Python和Java三种实现,核心思路相似。

2025-06-12 11:53:06 833

原创 在线机考|2025年华为暑期实习&春招&秋招编程题(最新)——第2题_网络整改

题目要求计算从树中移除最少节点数,使剩余节点构成一棵所有叶节点深度相同的树。给定树结构,程序通过动态规划自底向上计算每个子树在不同目标叶深度时的最大保留节点数。核心思想是遍历所有可能的叶深度(0到最大深度),对于每个深度,验证保留节点数,最终输出总节点数减去最大保留节点数。 摘要(150字):本文解决树结构调整问题,要求移除最少节点使剩余树的所有叶节点深度相同。采用动态规划方法,预处理节点深度和子树结构,遍历每个可能的叶深度,计算相应最大保留节点数。程序通过后序遍历和分层处理优化计算,最终输出需要移除的最小

2025-06-12 11:09:32 692

原创 科研学习|科研软件——激活后的Origin导出图时突然出现了demo水印

摘要 解决导出图形带"demo"水印问题有两种方法:1) 右击软件图标选择"以管理员身份运行";2) 进入软件安装目录,双击运行Origin64.exe文件。这两种方式都可以去除导出图形中的演示版水印标记,确保输出干净的专业图表。

2025-06-01 22:42:15 8051 1

原创 在线机考|2024华为实习&秋招&春招编程题(最新)——第3题_个性化歌单推荐系统_300分(十一)

假设你是音乐服务的开发者,为了提高用户体验需要解决推荐歌单的同质化问题,保证推荐给用户的所有歌单不包含相同歌曲的。给定一个包含N个歌单和M条歌单重复记录,每个歌单用一个从1到N的整数编号,歌单重复记录包含两个歌单的ID,表示两个歌单有相同的歌曲。你的任务是对歌单进行合并,找出合并后的最小歌单数量,合并的歌单中不能有相同的歌曲。

2025-01-07 00:15:00 1034 2

原创 在线机考|2024华为实习&秋招&春招编程题(最新)——第2题_公司园区里的建筑群_200分(十)

某公司基地园区很大,里面有N个建筑,依次编号为1到N,通过M条路将这些建筑连接在一起,这N个建筑根据之间的距离,被分为不同的建筑群。云小核喜欢饭后散步,并用步数计算了每条路的长度。经过一段时间的散步,云小核发现了一个规律,两个建筑群间最近的两个建筑之间,步数大于K步。两个建筑群之间,可能没有路。云小核把每条路的步数给了你,请你计算园区里有多少个建筑群?

2025-01-06 00:15:00 676

原创 在线机考|2024华为实习&秋招&春招编程题(最新)——第1题_最强大脑游戏_100分(九)

某最强大脑游戏要求:选手在一个整数序列中(整数取值为[1, 10]),自行去掉K个整数,得到一个新的整数序列,-使得整数序列左到右拼接起来后,得到的整数值最大。那么假设你是优秀的选手,在给定这个整数序列之后,你能够得到的最大整数值是多少?

2025-01-05 00:15:00 674

原创 在线机考|2024华为实习&秋招&春招编程题(最新)——第3题_PCB印刷电路板布线_300分(八)

在PCB印刷电路板设计中,器件之间的连线需要避免线路的阻抗值增大、而且赛件之间还有别的器件和别的干扰源,在布线时我们希望受到的干扰尽量小。现将电路板简化成一个M×N的矩阵,每个位置(单元格)的值表示其源干扰度。如果单元格的值为0,表示此位置没有干扰源;如果单元格的值为非0,则表示此位置是干扰源,其值为源干扰度。连线经过干扰源或干扰源附近会增加连线的总干扰度。位置A[x, y]的干扰源的源干扰度为d(d>0),则连线的干扰度计算如下:1、若连线经过位置A[x, y],则其总干扰度会增加d;

2025-01-04 00:15:00 934

原创 在线机考|2024华为实习&秋招&春招编程题(最新)——第1题_拔河比赛队员选拔_100分(八)

某团队近期需要组织一支队伍参加拔河比赛,团队共有队员n人,比赛队员人数要求为m人,n>m,n个队员按编号,1到n的顺序参加k轮力量测试,每轮的测试成绩用正整数表示。根据n个队员的力量测试成绩选择比赛队员m人,先选择k轮测试中最好成绩最大的队员,若有多人的最好成绩相等,则优先选择其中第二好成绩最大的队员,依次类推,最后若还有相等的情况,则优先选择编号较小的队员。每个人只能被选择一次。

2025-01-03 00:15:00 511

原创 在线机考|2024华为实习&秋招&春招编程题(最新)——第2题_公司班车上车点规划_200分(七)

某公司基地搬迁到新地点之后,新规划了一条班车路线,在这条路线上会经过N个小区,计划在这些小区中挑选出M个作为上车点,小区的位置可以用一维坐标上的点来表示,小区到上车点的距离为两个坐标点差值的绝对值。现在给定N个小区的位置,即一维坐标上的整数点:x1、x2、…、xN $ ,我们希望所有小区到最近上车点的距离总和尽可能小,请计算这个最大值能够是多少?当该小区被作为上车点,该小区到上车点的距离为0。

2025-01-02 00:15:00 438

原创 在线机考|2024华为实习&秋招&春招编程题(最新)——第2题_微服务发布时长_200分(六)

部署发布时,通常需要部署所有的现网局点。局点的部署过程存在依赖关系,因为某些局点需要等其他的局点部署完成后,才能开始部署。另外这些局点由于网络或地理位置的原因,所花费的部署时间有可能是不同的。给定一个大小为n的数组region存储局点之间的部署依赖关系,其中region[i]是第i个局点的依赖局点,0

2025-01-01 17:38:04 693

原创 在线机考|2024华为实习&秋招&春招编程题(最新)——第3题_订单取餐顺序_300分(五)

肯德基店销售炸鸡、薯条、可乐三种实物,准备三种食物的速度一样,且三种食物同时制作;三种食物同时制作,按订单顺序进行分发食物。现在有N个订单,每个订单用连续三位数组元素表示,数组的元素是对应食物的份数。N最大为100万,每个订单里每份食物最多100万份。请计算N个订单的取餐顺序,如果多个订单可以同时取餐,按订单号从小到大排序。

2024-12-31 00:15:00 781

原创 在线机考|2024华为实习&秋招&春招编程题(最新)——第1题_水果忍者_100分(四)

“水果忍者”,请计算此局游戏最高得分。

2024-12-30 00:15:00 981

原创 在线机考|2024华为实习&秋招&春招编程题(最新)——中等、较难和困难题目Python3答案(三)

【代码】牛客网|华为在线编程(最新)——中等、较难和困难题目Python3答案(三)

2024-12-29 00:15:00 356

原创 在线机考|2024华为实习&秋招&春招编程题(最新)——中等、较难和困难题目Python3答案(二)

【代码】牛客网|华为在线编程(最新)——中等、较难和困难题目Python3答案(二)

2024-12-27 14:59:41 329

原创 在线机考|2024华为实习&秋招&春招编程题(最新)——中等、较难和困难题目Python3答案(一)

【代码】牛客网|华为在线编程(最新)——中等、较难和困难题目Python3答案(一)

2024-12-27 14:35:19 899 1

基于Bert的预训练大语言推荐模型

基于Bert的预训练大语言推荐模型 下载后配置好环境即可直接使用

2024-11-13

一个能够自动将用户的自然语言问题转换成 SQL 查询的智能问答系统

一个能够自动将用户的自然语言问题转换成 SQL 查询的智能问答系统 用户使用自然语言查询数据。基于 Python、MySQL 和 Milvus 构建,将用户的问题转换为 SQL 查询,安全地执行,并产生符合echarts的数据可视化呈现结果。

2024-11-15

基于Python的开源威胁情报搜集与分析程序

本项目致力于收集网上公开来源的威胁情报,主要关注信誉类威胁情报(如IP/域名等),以及事件类威胁情报 Ti_Collector为Threat Intelligence Collector,主要关注网上公开的信誉类威胁情报和事件类威胁情报。 信誉类威胁情报主要来源于一些安全社区的分享;事件类威胁情报主要来源于安全企业的咨询分享。 这些威胁情报数据通过爬虫手段,经分类处理后自动存入到数据库中,以构建自身的威胁情报库。 同时,我们提供一个捕获和查询本机DNS纪录中是否存在威胁行为的程序。

2024-12-01

基于鸿蒙ARKTS的番茄钟开发

使用鸿蒙ARKTS实现番茄钟的开发,基于API9

2024-12-15

人工智能-法律问答-基于知识图谱的林业法律法规问答

基于知识图谱的林业法律法规问答 Python 调用 nsq 消费者启动方式 启动lookup nsqlookupd 启动一个nsqd , 并指定lookup的地址 nsqd --lookupd-tcp-address=127.0.0.1:4160

2025-01-11

人工智能-迁移学习-基于知识库的问答系统 其中使用带注意力机制的对抗迁移学习做中文命名实体识别,使用BERT模型做句子相似度分析

基于知识库的问答系统。其中使用带注意力机制的对抗迁移学习做中文命名实体识别,使用BERT模型做句子相似度分析 本项目是基于知识库上做问答,首先使用带注意力机制的对抗迁移学习做中文命名实体识别(Cao EMNLP2019),然后再通过别名词典得到近义词,根据这些近义词查询Mysql数据库,得到一些三元组,这些三元组组中包括一些属性。我们先对属性与原问题进行直接字符串匹配进行查询,如不能直接匹配再使用bert做相似度计算进行属性映射,最后进行排序得到结果。整个实验原理参考论文,我把其中的模型进行了替换。

2025-01-01

人工智能-强化学习-基于强化学习的空战对抗

基于强化学习的空战对抗 利用值函数逼近网络设计无人机空战自主决策系统,采用epsilon贪婪策略,三层网络结构。 其中包含了无人机作为质点时的运动模型和动力学模型的建模。 由于无人机作战的动作是连续并且复杂的,本项目仅考虑俯仰角gamma(又叫航倾角)和航向角pusin的变化,并且离散的规定每次变化的幅度为10度,假定速度v为恒定值。根据飞机的运动模型,由俯仰角、航向角和速度可以推算出飞机位置的改变,即x,y,z三个方向的速度分量,在每一步中,根据这些分量变化位置position信息,posintion中的三个值为x,y,z坐标,是东北天坐标系下的坐标值。从坐标信息和角度信息以及速度信息,可以计算出两个飞机的相对作战态势state。 在上文中提到,我们的动作是仅对俯仰角和航向角进行改变,即增大,减少和不变,故两个角度的变化组合一共有3×3=9种动作。在每个态势下,都有9种动作可以选择,将这个态势下的9种动作将会产生的新的态势,作为网络的输入,网络的输出是9个数字,代表每个动作的值函数。 由于是无监督学习,故我们需要利用值函数的Bellman公式生成标签。本文利用时间差分思想,(时间差

2025-01-01

人工智能-对比学习-基于iris数据集进行四种机器学习算法(决策树、朴素贝叶斯、随机森林、支持向量机SVM

基于iris数据集进行四种机器学习算法(决策树、朴素贝叶斯、随机森林、支持向量机SVM 基于iris数据集进行四种机器学习算法(决策树、朴素贝叶斯、随机森林、支持向量机SVM)的训练,使用交叉检验(Cross-validation)对比了各算法的预测准确率。 Algorithms Average prediction accuracy(%) Standard deviation 决策树(Decision tree) 93.3636% 0.043608 朴素贝叶斯(Naive Bayes) 93.2727% 0.062879 随机森林(Random forest) 93.3636% 0.059620 支持向量机SVM 96.1818% 0.046851

2024-12-17

人工智能-预训练大模型-基于预训练模型 BERT 的阅读理解

基于预训练模型 BERT 的阅读理解 在这里,我们将使用来自 google 的预训练模型 bert 构建一个机器阅读理解系统,这是 NLP 深度学习的最新进展。 斯坦福问答数据集 (SQuAD) 是最早的大型英语阅读理解数据集之一。从模型的角度来看,输入以 Context / Question 对的形式出现,输出是 Answers:整数对,为 Context 中包含的答案文本的开头和结尾编制索引。第二届中文机器阅读理解评估研讨会(2018 年)发布了部分类似于 SQuAD 的数据集,我们在这个例子中使用了它。 该模型建立在 pytorch-transformers 之上,有助于将 BERT、GPT、GPT2 等预训练模型用于下游任务。该存储库包括用于多个 NLP 任务(包括问题解答)的各种实用程序和训练脚本。

2024-12-12

人工智能-预训练大模型-简洁易用版TinyBert:基于Bert进行知识蒸馏的预训练语言模型

简洁易用版TinyBert:基于Bert进行知识蒸馏的预训练语言模型 本项目是基于华为的TinyBert进行修改的,简化了数据读取的过程,方便我们利用自己的数据进行读取操作。 TinyBert的训练过程: 1、用通用的Bert base进行蒸馏,得到一个通用的student model base版本; 2、用相关任务的数据对Bert进行fine-tune得到fine-tune的Bert base模型; 3、用2得到的模型再继续蒸馏得到fine-tune的student model base,注意这一步的student model base要用1中通用的student model base去初始化;(词向量loss + 隐层loss + attention loss) 4、重复第3步,但student model base模型初始化用的是3得到的student模型。(任务的预测label loss)

2024-12-12

人工智能-开源情报-基于开源威胁情报AlienVault,排查IP地址及域名的恶意性

基于开源威胁情报AlienVault,排查IP地址及域名的恶意性 运行事例 usage: hot_ip.py --pcapfile=./out.pcap –d -c #数据包解析模式,对目的IP地址的恶意性进行排查 usage: hot_ip.py --IPfile=./iplist.txt -c #IP清单文件解析模式,排查清单中的IP地址的恶意性 usage: hot_ip.py --pcapf=./out.pcap -p #数据包解析模式,对域名地址的恶意性进行排查

2024-12-01

人工智能-检索增强生成-基于BM25、BGE的检索增强生成RAG示例

基于BM25、BGE的检索增强生成RAG示例 1.1 服务器测试环境 实验环境:实体GPU服务器,NVIDIA RTX 4090 / 24GB,CentOS 7.9,Anaconda3-2019.03,CUDA 12.4 如果没有GPU服务器,可以租用AutoDL等平台的。服务器的租用及基础环节的安装这里就不赘述了

2024-11-19

人工智能-检索增强生成-利用开源大模型,通过RAG(检索增强生成)技术,实现基于企业内部知识图谱的,可内网运行的大模型智能客服

利用开源大模型,通过RAG(检索增强生成)技术,实现基于企业内部知识图谱的,可内网运行的大模型智能客服

2024-11-19

人工智能-大语言模型-基于ChatGLM-6B + LoRA的Fintune方案

基于ChatGLM-6B + LoRA的Fintune方案 准备 显卡: 显存 >= 16G (最好24G或者以上) 环境: python>=3.8 cuda>=11.6, cupti, cuDNN, TensorRT等深度学习环境 pip3 install -r requirements.txt 其中requirements.txt中的安装包bitsandbytes 建议安装0.41.2.post2这个版本,以前的版本可能会提示报错: bitsandbytes/libbitsandbytes_cpu.so: undefined symbol: cget_col_row_stats 数据预处理 转化alpaca数据集为jsonl python cover_alpaca2jsonl.py \ --data_path data/alpaca_data.json \ --save_path data/alpaca_data.jsonl \ tokenization python tokenize_dataset_rows.py \ --jsonl_pa

2024-11-13

人工智能-大语言模型-基于人工智能标记语言 (AIML)和开放域问答(WebQA)的深度智能对话模型

基于人工智能标记语言 (AIML)和开放域问答(WebQA)的深度智能对话模型 环境说明 Linux/Python2.7/PyCharm 安装依赖 $ pip2 install jieba $ pip2 install aiml $ pip2 install lxml $ pip2 install beautifulsoup4 $ pip2 install flask 运行流程 Working directory: chatbot-aiml-webqa/core $ cd chatbot-aiml-webqa/core $ python2 web/server.py (or $ nohub python2 web/server.py) > ...... > * Running on http://0.0.0.0:5000/ (Press CTRL+C to quit) CURL: $ curl "0.0.0.0:5000/chat" -d "message=新闻" $ curl "0.0.0.0:5000/chat" -d "message=天气" $ curl "0.0.0

2024-11-05

人工智能-大语言模型-基于企业私有知识库的LLM大语言模型的智能客服机器人问答系统,支持私有化部署

基于企业私有知识库的LLM大语言模型的智能客服机器人问答系统,支持私有化部署 能力 1、专属 AI 问答系统 通过导入企业已有知识构建知识库,让 AI 机器人使用关联的知识库回答问题,快速构建企业专属 AI 问答系统。 2、一键接入模型 ChatWiki已支持全球20多种主流模型,只需要简单配置模型API key等信息即可成功接入模型。 3、数据自动预处理 提供自动分段、QA分段、手动输入和 CSV 等多种方式导入数据,ChatWiki自动对导入的文本数据进行预处理、向量化或 QA 分割。 4、简单易用的使用方式 ChatWiki采用直观的可视化界面设计,通过简洁易懂的操作步骤,可以轻松完成 AI 问答机器人和知识库的创建。 5、适配不同业务场景 ChatWiki为 AI 问答机器人提供了不同的使用渠道,支持H5链接、嵌入网站、桌面客户端等,可以满足企业不同业务场景使用需求。

2024-11-05

人工智能-大语言模型-基于大型语言模型的评论回复机器人

基于大型语言模型的评论回复机器人 本项目为一个基于大语言模型的视频评论回复系统,包含服务端脚本与移动端工程文件。其中服务端由一个负责生成回复的回复服务脚本与一个负责与移动端及目标网站通信的数据服务脚本组成;移动端则为 HarmonyOS 元服务形式,提供完整服务与桌面万能卡片。 文件结构 ├───client │───server ├───utils │ └───scripts 项目的主要程序文件存放在 client/ 与 server/ 下。其中 client/ 为移动端程序的 DevEco Studio 元服务工程项目,server/ 则包含了负责生成回复的 reply-server.py 与一个负责与移动端及目标网站通信的 data-server.py 组成。 文件夹 utils/ 包括一个工具脚本 compress_code.py,可以将代码缩进、换行全部删去变成一行紧密排列的文本,方便与 GPT-4 进行交流,向 AI 询问代码建议(GPT-4 对代码的理解能力远高于人类,不需要缩进、换行等)。

2024-11-05

人工智能-扩散模型-基于扩散模型stable diffusion的T恤图案设计和基于HR-VITON的虚拟试衣项目

基于扩散模型stable diffusion的T恤图案设计和基于HR-VITON的虚拟试衣项目 计算机视觉课程设计项目:基于Stable Diffusion的T-shirt图案设计和虚拟换衣技术 基本实现方法: Stable Diffusion结合Dreambooth实现文本指导下的T-shirt图案生成; 利用U2NET模型对人像和衣服掩码进行分割; 借鉴HR_VITON框架实现虚拟换衣。

2024-10-28

人工智能-机器学习-基于各种机器学习和深度学习的中文微博情感分析

基于各种机器学习和深度学习的中文微博情感分析 项目说明 训练集10000条语料, 测试集500条语料 使用朴素贝叶斯、SVM、XGBoost、LSTM和Bert, 等多种模型搭建并训练二分类模型 前3个模型都采用端到端的训练方法 LSTM先预训练得到Word2Vec词向量, 在训练神经网络 Bert使用的是哈工大的预训练模型, 用Bert的[CLS]位输出在一个下游网络上进行finetune。预训练模型

2024-10-24

人工智能-大模型-基于DPO算法微调语言大模型,简单好上手

基于DPO算法微调语言大模型,简单好上手 在使用之前请确保您已经按照格式准备了数据,下面需要修改以下路径,即可运行该项目,在dpo_train.py的run函数下: 注意file是一个json文件。 file = '' model_file = '' model_save_path = '' output_dir = '' 在命令行中: python dpo_train.py 后台启动该项目: ps: 在后台挂载启动,这样关了服务器代码还是在运行的,不会断掉。 nohub python dpo_train.py > train_log.log 启动tensorboard查看日志: 确保已经安装了tensorboard pip install tensorboard -i https://pypi.tuna.tsinghua.edu.cn/simple tensorboard --logdir='your path'

2024-10-21

大型语言模型统一使用接口工具

简单、统一的接口,可连接多个生成式人工智能提供商。 aisuite4cn 使得开发者能够通过标准化的接口轻松使用多个大型语言模型(LLM)。使用类似于OpenAI的接口,aisuite4cn 使得与最受欢迎的LLM互动并比较结果变得简单。它是Python客户端库的轻量级包装器,允许创造者在不改变代码的情况下无缝切换并测试来自不同LLM提供商的响应。我们将在不久的将来扩展它以覆盖更多的用例。 当前支持的提供商包括: Moonshot(月之暗面)、 Doubao(火山引擎方舟大模型服务平台)、 Qwen(阿里云千问大模型)、 Hunyuan(腾讯混元大模型)、 Ernie(百度文心一言)、 ZhipuAI(BigModel智谱AI大模型开放平台)

2025-06-01

基于大语言模型(LLM)和多智能体(Multi-Agent)的AI写小说写作程序

近年来,AI在文学创作领域取得了显著进展。从AI微小说大赛到阅文妙笔,再到Midreal AI,这些案例都证明了AI在文学创作上的巨大潜力。作为一名网络文学爱好者,我希望通过大语言模型与多智能体技术,来开发一款能够自动生成网络小说的应用。 网文的创作,可以套用写作的认知过程模型,该模型将写作视为一个目标导向的思考过程,包括非线性的认知活动:计划、转换和审阅。 文献和实践表明,LLM 在转换和审阅上表现较好,而在计划阶段存在缺陷。具体体现为 有限的理解和推理能力 无法记忆和生成长文本 缺乏原创性和多样性 面对这些问题,我的解决方案是 利用LLM的能力压缩长文本为几句话组成的记忆 优化Prompt,多智能体协作,激发 LLM 的能力,提升其原创性 借鉴RecurrentGPT的核心思想,基于语言的循环计算,通过迭代的方式创作任意长度的文本 结合网络小说创作的先验知识,对创作流程进行优化

2025-11-06

An agentic skills framework & software development methodology that works.zip

An agentic skills framework & software development methodology that works

2026-01-29

Agent skills for Obsidian.zip

Agent skills for Obsidian

2026-01-29

SecGPT网络安全大模型

SecGPT 融合了自然语言理解、代码生成、安全知识推理等核心能力,已成功落地多个关键安全任务场景: 漏洞分析:理解漏洞成因、评估影响范围、生成修复建议 日志与流量溯源:还原攻击路径、分析攻击链,辅助事件复盘 异常检测:识别潜在威胁,提升安全感知与响应能力 攻防推理:服务于红队演练、蓝队分析,支撑实战决策 命令解析:分析攻击脚本,识别意图与高危操作 安全知识问答:团队“即问即答”的知识引擎

2025-11-16

基于大型语言模型的评论回复机器人

本项目为一个基于大语言模型的视频评论回复系统,包含服务端脚本与移动端工程文件。其中服务端由一个负责生成回复的回复服务脚本与一个负责与移动端及目标网站通信的数据服务脚本组成;移动端则为 HarmonyOS 元服务形式,提供完整服务与桌面万能卡片。 ├───client │───server ├───utils │ └───scripts 项目的主要程序文件存放在 client/ 与 server/ 下。其中 client/ 为移动端程序的 DevEco Studio 元服务工程项目,server/ 则包含了负责生成回复的 reply-server.py 与一个负责与移动端及目标网站通信的 data-server.py 组成。 文件夹 utils/ 包括一个工具脚本 compress_code.py,可以将代码缩进、换行全部删去变成一行紧密排列的文本,方便与 GPT-4 进行交流,向 AI 询问代码建议(GPT-4 对代码的理解能力远高于人类,不需要缩进、换行等)。

2025-11-06

深度学习之PyTorch物体检测实战.zip

深度学习之PyTorch物体检测实战

2025-06-02

基于深度强化学习的原神自动钓鱼AI.zip

基于深度强化学习的原神自动钓鱼AI

2025-06-02

深度学习之PyTorch物体检测实战.zip

深度学习之PyTorch物体检测实战

2025-06-02

基于深度学习的中文语音识别系统.zip

基于深度学习的中文语音识别系统

2025-06-02

基于tensorflow深度学习的中文的命名实体识别.zip

基于tensorflow深度学习的中文的命名实体识别

2025-06-02

基于深度学习的中文语音识别系统.zip

基于深度学习的中文语音识别系统

2025-06-02

人工智能-计算机视觉-这是一个yolov8-pytorch的仓库,可以用于训练自己的数据集

目录 仓库更新 Top News 相关仓库 Related code 性能情况 Performance 所需环境 Environment 文件下载 Download 训练步骤 How2train 预测步骤 How2predict 评估步骤 How2eval 参考资料 Reference

2025-06-02

基于深度学习的垃圾分类.zip

基于深度学习的垃圾分类

2025-06-02

人工智能-鸿蒙开发-阅读鸿蒙版仓库

API 阅读3.0 提供了2种方式的API:Web方式和Content Provider方式。您可以在这里根据需要自行调用。 可通过url唤起阅读进行一键导入,url格式: legado://import/{path}?src={url} path类型: bookSource,rssSource,replaceRule,textTocRule,httpTTS,theme,readConfig,dictRule,addToBookshelf path类型解释: 书源,订阅源,替换规则,本地txt小说目录规则,在线朗读引擎,主题,阅读排版,添加到书架

2025-04-28

Origin中【CorrelationPlot】插件资源,下载后直接拖拽到右侧+app处即可安装

Origin中【CorrelationPlot】插件资源,下载后直接拖拽到右侧+app处即可安装 **正文** Origin是一款广泛应用于科学研究和工程领域的数据分析与图形绘制软件。它提供了丰富的功能和工具,使得用户可以方便地处理、分析数据并创建高质量的图表。在Origin中,【CorrelationPlot】插件是一个非常实用的功能,专为探索数据间的相关性而设计。通过这个插件,用户可以轻松地可视化不同变量之间的相关性,从而更好地理解和解释数据模式。 1. **安装与使用CorrelationPlot插件** 插件的安装过程简单快捷,只需将下载后的压缩包文件"CP.opx"解压,然后直接将其拖放到Origin主界面右侧的APP界面中。一旦完成此步骤,该插件将被添加到Origin的应用程序库中。从那以后,每次启动Origin时,无需再次设置,用户可以直接调用CorrelationPlot插件来生成相关性图。 2. **插件功能** - **相关系数计算**:CorrelationPlot插件能够计算两列或多列数据的相关系数,如皮尔逊相关系数、斯皮尔曼等级相关系数或肯德尔秩相关系数等,这些系数反映了变量间线性或非线性的关联程度。 - **可视化相关性**:生成美观且易于理解的相关矩阵图或热力图,颜色深浅表示相关性的强弱,负相关用冷色调,正相关用暖色调,帮助用户直观地识别数据中的趋势。 - **自定义设置**:用户可以根据需求调整图的样式,包括颜色映射、图例位置、网格线、标签等,使图表更符合报告或论文的要求。 - **批量处理**:对于大量的数据集,CorrelationPlot可以批量处理,一次性生成多个变量对的相关性图,节省了用户的时间和精力。 3. **应用场景** - **科研数据分析**:在生物学、化学、物理学等科学研究中,经常需要分析不同实验条件或测量指标

2025-04-16

人工智能-知识图谱-基于领域本体和大语言模型的知识图谱自动化构建工具

基于领域本体和大语言模型的知识图谱自动化构建工具 使用流程: 配置config.py文件(配置LLM API, Neo4j用户名,密码,Embedding PATH,ROOT_TYPE等) 启动neo4j(可视化) 运行KG_generate.py(得到知识图谱) 运行format_kg_for_lightrag.py(得到格式化的JSON字符串) 运行LightRAG_insert_kg.py(对知识图谱进行问答)

2025-04-16

人工智能-大语言模型-基于deepseek 的OCR

DeepSeek OCR 是一个基于Deepseek AI模型的智能文字识别系统,旨在通过图像识别技术提取图像中的文本信息。该项目使用了 DeepSeek API 进行 OCR 处理,支持多种上传方式,包括文件上传和 URL 上传。

2025-02-15

人工智能-大语言模型-基于DeepSeek开发的Intellj Idea插件

如果你是第一次使用这个插件,可以按照以下步骤操作: 1.点击侧边栏的齿轮图标,或者打开 IntelliJ DEA 编辑器的 DeepSeek Coder设置选项。 2.点击申请链接免费获取一个 API KEY,将 API KEY填写到对应位置即可。 3.初始版本目前只支持聊天功能,后续将会开发更多功能。 完成这些步骤后你就可以开始体验 DeepSeek 大模型的强大功能了!

2025-02-15

人工智能-大语言模型-基于200万条医疗数据对deepseek-r1进行微调且简单部署

简介: 本项目是基于200万条医疗数据进行微调,形成一个在医学方面具有极高专业性的可本地部署的大语言模型

2025-02-15

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除