- 博客(51)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 2024–2026视觉编码器十大变体技术梳理
摘要： 视觉编码器是多模态模型的核心组件，直接影响VLM性能。2024-2026年主流技术分为四大流派： 对比学习派（CLIP/SigLIP）：强化图文语义对齐，SigLIP2通过多任务训练实现SOTA； 自监督派（DINOv2/v3）：专注几何与空间感知，适用于机器人等场景； 高分辨率派（InternViT/AnyRes）：动态分辨率优化，解决OCR、医学影像等细节问题； 多专家混合派（MoVE）：融合CLIP、DINOv2等模块实现全能，但计算成本高。 趋势：Encoder-Free架构、LLM兼任视觉
2026-05-31 16:28:10
326
原创 Agent
摘要：本文系统介绍了AI Agent的核心概念与技术框架。Agent与普通大语言模型（LLM）的关键区别在于其具备目标拆解、工具调用和环境交互能力，通过规划（Planning）、记忆（Memory）、工具（Tools）和行动（Action）四大模块协同工作。重点探讨了推理技术（如思维链CoT、自洽性检查）、规划策略（如HuggingGPT的任务分解）、行动循环（如ReAct的"思考-行动-观察"机制），以及记忆管理、多Agent协作（如CAMEL角色对话）等关键技术。文章还分析了工具调用
2026-05-29 11:16:01
208
原创 图像生成和图像理解两种Tokenizer冲突以及三种技术路线
本文探讨了图像生成与理解任务的根本矛盾：生成侧使用VQVAE提取低层像素特征，而理解侧采用CLIPViT获取高层语义特征。针对这一矛盾，文章分析了三种技术路线：统一Tokenizer（效果不佳）、双编码器（特征空间分离）和纯自回归统一（前沿趋势）。重点介绍了Decoder-Only架构的创新设计：通过共享注意力层实现模态交互，采用MoE技术（独立FFN专家）解决特征矛盾，直接处理图像Patch实现全模态统一。最后以Bagel架构为例，展示了双专家策略（理解专家和生成专家）如何通过共享自注意力层实现跨模态交互
2026-05-14 11:12:16
366
原创 Vision Transformer（ViT）
ViT（Vision Transformer）是一种将Transformer架构应用于图像处理的新方法。它将图像分割为固定大小的块（Patches），通过线性投影转换为Token序列，并添加位置编码保留空间信息。核心结构包含多头自注意力机制和多层感知机，通过[class]token汇总全局特征进行分类决策。ViT摒弃传统CNN，直接利用Transformer处理图像，实现了对长距离依赖关系的捕捉。这种架构在图像分类任务中表现出色，展现了Transformer在视觉领域的强大潜力。
2026-05-14 09:47:10
206
原创 张量、Batch Size和Patch Size
从数学和工程计算的角度来看，张量是一个。其维度（Dimension）通常被称为在深度学习框架（如 PyTorch 或 TensorFlow）中，是最基础的数据单元，无论是输入的数据、模型的权重，还是中间生成的特征图（Feature Map），全部都以张量的形式存在和运算。
2026-05-14 09:39:05
214
原创 SCI投稿
接着上传其他必须上传的文件，手稿、利益声明这几个必须传（table可能不用），带星号的必须传。1.点Guide of authors,作者指南。点击没有东西申报会自动下载。cover letter自荐信，比较重要，要模板。9.写对出版社的话：No,thank you.10.检查系统自动识别出的论文内容有无错误，重要。6.上传完所有文件后，点击proceed。7.一般信息：根据自己文章选择类别。4.点击Browse,上传文件。检查作者署名，填好作者信息。图可能需要一张一张上传。最后点击，生成pdf。
2026-05-07 17:41:03
93
原创 工业设备状态监测（一）
工业设备预测性维护的核心在于多源数据融合与智能分析。振动信号作为首选指标，能灵敏捕捉机械故障；温度监测反映热特性变化，电流分析则对电气异常敏感。通过信号预处理、特征提取和多模态融合，结合AI模型（如CNN、LSTM）实现精准诊断。未来趋势是构建AIAgent系统，综合振动、温度、电流等多维数据，实现从异常检测到维修决策的全流程智能化，在降低成本的同时提升设备可靠性。实践表明，单一信号存在盲区，多信号协同分析可提前数月预警复合型故障。
2026-03-12 17:29:54
449
原创 【论文阅读33】-FR-LLM：采用信号到文本编码和自适应优化的用于联合故障诊断和 RUL 预测的多任务大型语言模型
摘要： 本文提出FR-LLM框架，通过信号-文本编码和自适应优化实现故障诊断（FD）与剩余寿命预测（RUL）的多任务联合建模。针对工业预测性维护中任务割裂、泛化性差及大语言模型（LLM）处理振动信号的难题，创新性采用FFT频谱文本化（FD）和EMD特征表格化（RUL）实现模态对齐，结合LoRA微调和动态损失平衡策略（CoBa）解决多任务收敛失衡问题。实验表明，基于LLaMA-8B的FR-LLM在跨工况场景下FD-F1达97.6%，RUL-RMSE降低至0.108，且LoRA参数效率提升4倍。研究为LLM在工
2026-01-20 20:50:04
1085
1
原创 【论文阅读32】-利用大数据对用于工业故障诊断的大型语言模型进行半监督前缀调整
摘要：本文提出一种半监督前缀微调方法(Semi-Supervised Prefix Tuning)，用于解决工业大数据环境下标签稀缺和计算资源受限的故障诊断问题。通过辅助任务生成（特征识别、SGP筛选、伪标签生成）构建训练数据，采用冻结大语言模型参数、仅微调前缀嵌入层的策略，结合混合提示模板设计（软提示+硬提示），显著提升了模型在有限标注数据下的诊断性能。该方法在计算效率和诊断准确率方面均表现出优势，为工业故障诊断提供了新思路。（149字）
2026-01-19 20:32:40
696
原创 【论文阅读29】-通过强化学习进行智能故障诊断的无标记 RAG 增强型 LLM
本文提出了一种基于强化学习的无标注检索增强生成方法（TG-RL-RAG），用于解决工业故障诊断中大型语言模型专业知识不足、标注成本高和输出不稳定等问题。该方法通过构建专业词库图结构作为强化学习环境，采用PPO算法优化检索策略，并设计复合奖励函数实现无监督学习。创新性地引入"递减式教师引导策略"，使模型能够持续适应新故障查询。实验表明，该方法显著提高了故障诊断的准确性和稳定性，为工业智能诊断提供了一种高效、自适应的解决方案。
2026-01-12 22:20:59
1112
原创 【论文阅读28】-ChatCNC：通过大型语言模型和实时数据检索增强生成进行对话式机器监控
摘要： 本研究提出ChatCNC框架，通过集成大语言模型（LLM）与实时数据检索增强生成（RAG）技术，实现操作员与CNC机床的自然语言交互。系统采用多智能体协作（问题识别、数据检索、响应生成），将用户查询动态转化为SQL语句，从MySQL数据库获取实时传感器数据（如主轴负载、转速），并生成专业回复。实验表明，GPT-4在复杂任务中准确率达93.3%，响应时间仅20秒，显著提升非技术工人的数据利用率。该研究为工业5.0提供了人机协同新范式，未来可扩展多模态与闭环验证功能。
2025-12-29 15:28:21
899
原创 【论文阅读27】-LMPHM：基于因果网络和大语言模型-增强知识图网络的故障推理诊断
本文提出LMPHM框架，通过整合因果网络(CN)、大语言模型(LLM)和知识图谱网络(KGN)来解决机械故障诊断中的关键问题。该方法利用改进PC算法构建因果网络，结合LLM增强知识图谱语义表示，并采用注意力机制进行特征融合。实验证明，在CWRU轴承数据集上，该模型的根因定位准确率达81.12%，显著优于传统方法。研究创新性地将数据驱动与知识引导相结合，既提高了诊断精度，又增强了结果的可解释性，为工业设备智能维护提供了新思路。
2025-12-26 10:11:10
875
原创 【论文阅读24】-利用大型语言模型进行免训练的视频异常检测
窗口采样：在目标帧前后定义一个时长为 T（如10秒）的时间窗口，并均匀采样N个帧的描述组成序列。LLM 总结：将这些描述输入给大语言模型（如Llama-2），并使用提示词（Prompt）引导其生成一段时序摘要。意义：这一步将原本孤立的静态帧描述转化为包含“动作演变”和“场景动态”的文本，这是识别视频异常的关键。
2025-12-16 10:14:03
988
原创 MLLM模态对齐
本文探讨了多模态对齐的核心问题与方法。针对视觉数据（连续高维矩阵）与文本数据（离散序列）的"火星文-地球语"差异，提出通过架构组件和训练策略实现特征空间映射。架构维度包括线性投影层、Q-Former等接口解决物理连接；策略维度采用对比学习或生成式微调实现语义理解。分类层面区分了显式/隐式对齐（强制绑定vs注意力关联）以及特征级/语义级对齐（维度转换vs概念绑定）。特征对齐依赖模态接口解决形式匹配，语义对齐则需训练策略建立深层概念关联，二者协同实现模型对跨模态数据的统一理解。
2025-12-10 11:51:07
554
原创 【论文阅读21】-基于大语言模型与领域知识图谱集成的CNC智能故障诊断
摘要：本研究提出了一种融合大语言模型(LLM)与知识图谱(KG)的智能数控机床(CNC)故障诊断系统。针对传统专家系统知识组织效率低、适应性差等问题，构建了包含设备、报警、现象等7类实体的多源知识图谱(1549个实体)，整合PLC代码、维修工单和传感器数据。通过子图检索增强生成(KG-RAG)机制约束LLM推理，结合"人在回路"动态学习实现知识更新。实验表明，该系统诊断准确率达83.29%，显著优于传统方法和初级工程师，验证了量化模型(Qwen2.5-7b)在工业场景的可行性。研究为多模
2025-12-09 19:36:03
1224
原创 RAG（Retriever-Augmented Generation）检索增强生成
摘要：检索增强生成（RAG）系统通过结合检索与生成技术解决大模型幻觉、知识时效性和可追溯性问题。其核心流程包括离线数据准备（加载、切分、嵌入、索引构建）和在线检索生成（问题编码、语义检索、提示构建、回答生成）。相比微调，RAG具有知识更新快、成本低等优势。进阶技术包括混合检索、重排序等。开发难点在于数据清洗和权限管理，尤其是处理多样的半结构化数据时仍需人工审核。
2025-12-05 11:20:03
870
原创 什么是LangChain
LangChain是一个开源LLM编程框架，提供构建AI应用的全套组件和标准化流程。其核心功能包括RAG（检索增强生成）、多步骤任务链（Chains）、智能工具调用（Agents）和对话记忆（Memory）。与专注于Prompt优化的DSPy不同，LangChain更侧重系统集成，能连接数据库、搜索引擎等外部工具，功能全面但相对复杂。两者定位差异明显：DSPy解决"模型想得对"的问题，LangChain解决"模型做得多"的问题，前者轻量灵活，后者功能完备但学习成本较高
2025-12-05 08:17:11
370
原创 从Prompt Engineering到DSPy
DSPy是一种创新的AI编程框架，旨在通过代码而非手动调整提示词来构建大模型应用。其核心特点包括：1）使用Signature定义任务结构而非具体指令；2）通过Module（如ChainOfThought）自动处理推理逻辑；3）利用Teleprompter自动优化提示。与传统提示工程相比，DSPy实现了三个范式转移：类定义取代自然语言指令、内置思维链机制、自动编译优化。目前DSPy在学术界应用较少，主要由于发布时间较新、研究目标差异（机理探究vs工程落地）、可解释性挑战以及优化成本较高等原因。该框架更适合实际
2025-12-04 11:44:21
1099
原创 什么是幻觉
大语言模型（LLM）的"幻觉"问题是指模型生成看似合理但实际错误的内容，可分为狭义幻觉（违背事实）和广义幻觉（违背事实或上下文）。产生原因包括概率生成机制、数据污染和模糊的知识边界。解决方法分为推理阶段（如RAG检索增强、思维链提示）和训练阶段（如数据清洗、强化学习）。目前最有效的缓解方案是结合外部知识库检索（RAG）、分步推理（CoT）和降低生成随机性。该问题仍是LLM应用落地的核心挑战之一。
2025-12-02 20:15:20
1019
原创 AI领域名词积累
文章摘要：Demo指产品原型或示例版本，用于展示核心功能和验证可行性，并非最终商用产品。Case指AI模型对特定指令生成的具体回答，案例分析则是对错误、混乱或不符合要求的回答进行人工检查。这两个概念分别涉及产品开发初期的功能验证和AI模型输出的质量评估环节。
2025-12-02 19:51:51
180
原创 【论文阅读20】MM-LLMs：多模态大语言模型的最新进展
【摘要】《MM-LLMs:多模态大语言模型最新进展》综述了多模态大语言模型(MM-LLMs)的技术发展。论文提出通用五组件架构：模态编码器、输入投影器、LLM骨干、输出投影器和模态生成器，并详细分析了126个SOTA模型的演进趋势。研究揭示了从单一理解到任意模态转换的发展路径，总结了提升性能的关键因素，如高分辨率输入、高质量微调数据等。最后探讨了未来研究方向，包括扩展更多模态、轻量化部署和减少幻觉等。该研究为理解多模态大模型技术发展提供了系统性参考。
2025-12-02 19:12:43
2408
原创 LLM相关学习资料链接汇总
字节跳动技术资源合集：包含大模型微调、推荐算法、RAG实践、Agent开发、SQL使用等手册，以及计算机基础资料和Git零基础教程。所有资源均提供夸克网盘和QQ文档链接，方便开发者快速获取。涵盖AI、数据库、版本控制等多个技术领域，适合不同层次的学习需求。
2025-11-29 10:31:02
940
原创 CLIP（Contrastive Language-Image Pre-training）
CLIP是一种基于对比学习的多模态模型，通过4亿对图文数据训练，实现文本与图像在共享语义空间中的对齐。其双塔结构包含图像编码器（ResNet/ViT）和文本编码器（Transformer），核心优势在于强大的zero-shot能力，可直接应用于新任务而无需微调。CLIP突破了传统视觉模型的封闭集限制，支持开放词汇理解，但存在属性绑定错误、空间关系感知弱、细粒度任务表现差等缺陷。尽管无法生成内容且训练成本高，CLIP仍是多模态领域的重要突破，为大模型提供了优质的视觉特征提取方案。
2025-11-26 21:40:28
562
原创 Transformer三个核心层
摘要：Transformer模型由多头注意力层(MHA)、加和与层归一化(Add&LayerNorm)、前馈神经网络(FFN)三部分组成。MHA通过多头机制计算词间关联度，实现上下文理解；Add保留原始信息防止梯度消失，LayerNorm稳定数据分布；FFN独立强化每个词向量。三者协同工作：MHA处理全局关系→Add+LayerNorm稳定结果→FFN局部优化→再次Add+LayerNorm输出。这种结构实现了信息的深度交互与特征提取，为深度学习提供了强大框架。（149字）
2025-11-26 08:34:06
961
原创 深度解析大语言模型LLM原理
两篇文章系统介绍了大语言模型（LLM）的原理与应用。第一篇3万字长文从技术层面深入解析LLM的核心原理，包括Transformer架构、预训练方法等关键技术。第二篇文章以入门指南形式，重点讲解了LLM的基础知识到进阶内容（前五章），涵盖模型架构、训练流程等核心概念。两文互为补充，既提供了专业深度解析，又包含适合初学者的系统介绍，是理解大语言模型的重要参考资料。
2025-11-25 20:43:00
221
原创 ICL（In-Context Learning）上下文学习
摘要： 大型语言模型（LLM）的上下文学习（ICL）能力使其在推理阶段无需参数更新即可通过输入示例动态调整行为。研究表明，ICL可能通过自注意力层和MLP层的协同作用，将上下文信息隐式转化为低秩权重更新（ΔW），等效于一次临时“微调”。实验验证了该机制与梯度下降的相似性，提示设计可优化ΔW的生成。ICL展现了模型通过对话覆盖先验知识的能力，但其机制在复杂任务中的扩展仍需探索。这一特性为模型智能的“涌现”提供了理论基础。
2025-11-25 17:12:50
773
原创 大模型理解语言的三部曲：Tokenization、Token和Embedding
摘要：Token是机器学习中处理文本的基本单位，指通过分词(Tokenization)将长文本切分成的独立单元，每个Token被赋予唯一数字ID。这些ID作为索引，通过嵌入(Embedding)过程转化为富含语义的高维向量，向量间的数学关系反映词语的语义关联。整个过程类似于将文本拆解为"积木块"(Token)，再根据编号(ID)查询其"三维设计图"(语义向量)，最终模型会加入位置编码以保留序列信息。Token本身不含语义，其意义完全来源于模型训练学习到的向量表示。
2025-11-23 17:17:46
343
原创 GPT：生成式预训练变形金刚
GPT是"生成式预训练变形金刚"的缩写，三个字母分别代表：Generative（生成式）指模型能自动生成内容；Pre-trained（预训练）表示模型经过大量数据训练；Transformer（变形金刚/转换器）是Google团队命名的核心技术架构。这个名称既体现了模型的功能特点，又暗含了技术来源，生动形象地概括了这类AI的核心特征。
2025-11-23 16:19:14
365
原创 【机器学习】监督学习、无监督学习、半监督学习、自监督学习、弱监督学习、强化学习
机器学习主要包含六种学习范式：监督学习依赖标注数据进行分类和回归；无监督学习通过聚类和降维挖掘未标注数据的隐藏模式；半监督学习结合少量标注和大量未标注数据提升泛化能力；自监督学习通过构造伪标签实现无监督预训练；弱监督学习利用不精确标签完成精细任务；强化学习通过环境交互学习最优策略。这些方法各有特点，当前主流趋势是采用自监督预训练+监督微调+强化学习对齐的组合范式，但也面临数据依赖、评估困难、能耗高等挑战。
2025-11-23 11:56:50
1014
原创 大模型：微调和提示工程
本文系统梳理了大模型训练的三个阶段（预训练、微调、推理应用），重点对比了提示工程与微调技术的区别。提示工程通过优化输入文本引导模型输出，不改变参数；微调则通过调整模型参数适配特定任务。文章详细介绍了7种微调方法：按参数规模分为全量微调与参数高效微调（LoRA、Adapter等）；按训练目标分为有监督微调、RLHF和DPO；按场景分为指令微调、领域微调和对齐微调。同时阐述了提示词工程的定义、分类（硬提示/软提示）及其与提示微调的本质差异。最后给出了不同资源条件下的微调方案组合建议。
2025-11-21 18:08:39
1070
原创 【论文阅读19】-用于PHM的大型语言模型：优化技术与应用综述
一种基于海量文本数据训练的、拥有数十亿甚至更多参数的深度学习模型，能够理解、生成和处理自然语言。
2025-11-21 10:02:19
1031
原创 【论文阅读18】-BearingFM：基于领域知识和对比学习的轴承故障诊断基础模型
题目：BearingFM: Towards a foundation model for bearing fault diagnosis by domain knowledge and contrastive learning期刊：International Journal of Production Economics检索情况：作者：单位：发表年份：DOI：设备预测性维护对保障精密制造（如半导体）供应链至关重要。轴承作为核心部件，其故障诊断是重中之重，面临以下痛点：。
2025-11-18 17:28:09
1006
1
原创 【论文阅读17】-结合大模型与小模型的类脑认知驱动模型工厂在工业物联网故障诊断中的应用
用户向LLM提出问题后，LLM采用类脑思维链提示工程方法进行初步诊断首先提取出问题的关键词；然后LLM在知识库中根据关键词进行检索，找到相关知识，并生成提示；LLM根据提示完成初步诊断；初步诊断后，通过生成式纵向联邦学习进行精确诊断首先根据初步诊断的结果，通过动态节点激活机制，选择适合的节点激活，然后超网络根据激活的节点信息和初步诊断生成解决这次问题的专属小模型，由小模型得出精确的诊断结果，最后再将精确的诊断结果反馈给用户。
2025-11-14 17:56:06
971
原创 【论文阅读16】-LLM-TSFD：一种基于大型语言模型的工业时间序列人机回路故障诊断方法
实验四：通过对比使用本文提示词（LLM-TSFD）和不使用提示词（no-prompt）在多个LLM上的表现，使用BLEU-4、ROUGE-1等指标评估，证实了本文设计的提示词结构能显著提升LLM生成答案的质量。若匹配度低，则进行联网搜索，并将搜索到的新知识补充到本地知识库中，再生成答案，从而具备解决新问题的能力。的新范式（FD 2.0），以降低对人工标注数据的依赖，提升诊断过程的自动化和结果的可解释性。 通过角色设定和领域知识注入，将LLM“框定”在专业领域内，确保其输出专业、可靠的结果。
2025-11-12 15:49:55
1191
原创 【论文阅读15】-DiagLLM：基于大型语言模型的多模态推理，用于可解释的轴承故障诊断
准确可靠的轴承故障诊断对于确保机械设备的安全运行至关重要。以往的数据驱动方法在训练先进的深度学习模型时面临挑战，这主要是由于故障数据的稀缺以及数据分布的不一致性。此外，这些方法通常受到有限的可解释性和可靠性的影响，因为它们缺乏基于轴承失效潜在物理机制的约束引导学习，这阻碍了它们在机器状态监测中的应用。大型语言模型（LLM）的最新进展表明，它们有潜力应对这些挑战。为此，我们的目标是利用多模态LLM的能力来提高轴承故障诊断的泛化性和可解释性。具体而言，我们设计了一种名为DiagLLM的新型框架来实现这一目标。
2025-11-11 19:08:15
1423
原创 【论文阅读14】-推进多模态诊断：将工业文本数据与领域知识和大语言模型相结合
本文提出了一种创新方法，将大型语言模型（LLM）与工业领域知识相结合，用于多模态故障诊断。研究团队通过三阶段框架：1）使用工业文本微调LLM成为领域专家；2）将检查笔记转化为语义向量；3）采用注意力机制加权融合文本和传感器数据，显著提升了水力发电机退化水平预测的准确性（MAE降至4.2）。该方法突破了传统自然语言处理技术难以处理工业专业术语的局限，首次有效利用了长期被忽视的非结构化维修文本数据。研究发表在《Expert Systems with Applications》（SCI一区，IF7.5），为工业预
2025-11-06 15:44:31
806
原创 10.27-11.02周记
相同点：两篇文章均聚焦于工业设备健康管理（PHM） 领域，分别针对轴承故障诊断（文档11）和航空发动机剩余寿命预测（RUL）（文档12）展开研究，均强调在实际工业场景中面临的数据稀缺、跨工况/跨设备泛化能力不足等挑战。不同点：文档11 强调轴承故障诊断中的三大挑战：跨工况适应性、小样本学习、跨数据集泛化。文档12 专注于剩余寿命预测问题，重点解决传感器信号中退化信息难以捕捉、预测精度低的问题。两篇文章共同展示了大语言模型在工业PHM领域的强大适应性。
2025-11-02 22:45:36
503
【论文阅读17】-LLM-TSFD：一种基于大型语言模型的工业时间序列人机回路故障诊断方法
2025-11-14
【论文阅读16】-LLM-TSFD：一种基于大型语言模型的工业时间序列人机回路故障诊断方法
2025-11-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人