- 博客(109)
- 收藏
- 关注
RSS订阅原创 多模态PDF解析
多模态PDF解析是RAG系统的关键环节，旨在提取文本、图像、表格、公式等内容并保持其关联性。技术路径分四步：1）预处理区分原生/扫描PDF；2）基于坐标分离多模态内容；3）结构化处理（文本分块、图像描述、表格摘要等）；4）建立模态间位置和语义关联。解析工具需根据场景选择开源（pdfplumber+Tesseract）或商用方案（AWSTextract+GPT-4V）。核心挑战包括复杂格式处理、模态关联模糊等，可通过多模态嵌入模型和分布式解析解决。解析结果支撑RAG的跨模态检索和生成，直接影响系统性能。
2025-09-29 17:37:28
639
原创 多模态数据解析
多模态数据解析与治理流程涉及全链路闭环处理：从数据接入、类型识别、分模态提取到融合存储。针对PDF/Word/Excel/CSV等格式，采用特定工具库（如pandas、pdfplumber、PaddleOCR）进行结构化/半结构化解析，重点解决编码、格式、合并单元格等痛点。图片数据通过OCR（PaddleOCR）或多模态模型（VLM）处理。治理环节包含数据清洗、标准化、元数据管理和关联整合，最后分类存储至关系型/非关系型数据库或向量数据库。该流程实现了混合数据的结构化提取与智能化应用。
2025-09-29 17:33:37
853
原创 知识图谱构建
本文系统阐述了流程知识图谱构建与应用的关键环节，包括数据获取与预处理、知识建模、图谱构建、存储、图查询和推理六大核心步骤。重点介绍了各环节的技术方案与实现方法，如通过NLP技术处理非结构化数据、本体建模工具Protégé的应用、实体抽取与消歧技术、图数据库选型策略等。文章还强调了质量评估与更新维护保障机制，并提出了知识图谱与大模型结合的三种方式：知识注入、实时调用和推理增强，以提升大模型的知识准确性和降低幻觉风险。全文构建了一个完整的"构建-应用-迭代"闭环体系，为知识图谱支持大模型提供
2025-09-25 20:39:41
1194
原创 智能体记忆管理
本文提出了一种基于向量数据库的智能体记忆管理系统设计方案。系统采用分层架构，包括短期工作记忆和长期语义记忆，结合向量数据库与知识图谱实现多模态数据存储与检索。关键技术包括高效的向量检索算法（HNSW/IVF）、动态存储策略（重要性评估与时序衰减）以及智能检索机制（多阶段过滤与上下文感知）。系统特别注重隐私保护，采用差分隐私、联邦学习等技术确保数据安全。典型应用场景涵盖个性化服务、复杂任务执行和情感陪伴机器人。针对数据质量、跨模态对齐等挑战，提出了噪声过滤、联合训练等解决方案。该系统可有效突破大语言模型上下文
2025-09-25 20:20:41
924
原创 LoRA和QLoRA微调
LoRA和QLoRA是两种高效微调大语言模型的技术，通过低秩矩阵分解和模型量化显著降低计算资源需求。LoRA冻结预训练权重并注入可训练的低秩矩阵，仅需优化少量参数；QLoRA进一步引入4位量化技术，使大模型微调可在消费级GPU上运行。两种方法在保持模型性能的同时，将参数量降至全量微调的千分之一以下，支持快速任务切换。实践环节详细介绍了代码实现步骤、关键参数配置（如秩、学习率等）、训练监控方法和常见问题解决方案，并分析了不同GPU配置下的适用模型规模。技术对比显示，AdamW优化器比Adam更适合抑制过拟合，
2025-09-25 20:16:30
744
原创 Transformer 架构
Transformer模型通过自注意力机制克服了RNN/CNN的缺陷，实现了高效并行计算。其核心架构包含编码器-解码器结构，通过多头自注意力（QKV机制）、位置编码和前馈神经网络协同工作，有效捕捉长距离依赖关系。编码器负责提取全局语义特征，解码器通过掩码机制实现自回归生成。模型采用残差连接和层归一化技术稳定深层训练，支持12层及以上结构。根据任务需求可配置为仅编码器（如BERT）、仅解码器（如GPT）或完整编码器-解码器（如T5）形式，适用于文本理解、生成和翻译等多类NLP任务。
2025-09-18 21:39:44
1200
原创 大模型原理
大模型技术综述：本文系统介绍了多模态大模型的技术架构与应用场景，包括GPT-4、Claude3等主流模型分类。重点解析了Transformer架构的预训练机制和语言统计规律学习原理，详细阐述了知识蒸馏和量化两大核心技术。同时深入探讨了vLLM推理引擎的优化策略，包括PagedAttention和KVCache等关键技术创新，为提升大模型推理效率提供了解决方案。文章涵盖从模型训练到部署落地的全流程技术要点，是对当前大模型技术体系的全面梳理。
2025-09-18 21:29:50
730
原创 多轮对话-上下文管理
文章摘要：本文介绍了管理对话上下文长度和控制成本的策略。针对上下文过长问题，提出了滑动窗口截断、关键信息结构化提取、滚动摘要和向量化召回四种方法。在成本控制方面，建议减少输入Token数量，并优先使用支持上下文缓存的模型（如qwen-max、qwen-plus）来降低重复计算成本。这些方法能有效平衡对话质量与资源消耗。
2025-09-18 21:09:33
503
原创 Prompt（提示词工程）优化
想象一下，如果您在给一个同事指派工作任务时，只给了一句话来描述需求，他的任务完成效果可能很难达到您的预期。但如果您提供了明确的目的、建议的思考方向和执行策略等更多参考信息，他更有可能以高标准完成任务。使用 LLM 也一样，您的任务描述（Prompt）越清晰、具体、没有歧义，LLM 的表现越能符合您的期望。构建一个清晰具体的 Prompt 是充分发挥大模型能力的最重要一步。Prompt优化：针对输入的Prompt 进行。
2025-09-18 21:08:16
637
原创 Streamlit实现Qwen对话机器人
本文介绍了Streamlit框架及其在构建Qwen大模型聊天机器人中的应用。Streamlit是一个开源的Python前端框架，能够快速创建交互式数据科学应用，具有简单易用、丰富的内置组件等特点，适合数据可视化和机器学习演示场景。文章详细展示了如何通过Streamlit调用Qwen大模型API开发聊天机器人，包括API配置、依赖安装和核心代码实现。该机器人支持对话历史记录和用户交互功能，但需注意Streamlit在复杂前端交互和权限管理方面的局限性。最后提供了启动该应用的方法。
2025-08-14 17:00:46
586
原创 RAG vs 微调
检索增强生成（RAG）与模型微调是提升大语言模型能力的两种主要方法。RAG通过拼接外部知识库实现实时知识更新（分钟级），适用于制度问答等需要高可解释性的场景；微调通过调整模型参数提升推理能力，适合风险评估等复杂任务。选择依据包括：RAG适合实时数据、低成本和可解释性需求；微调适合模型能力定制、低延迟设备部署。二者在知识更新速度、可解释性和适用场景上各具优势。
2025-07-27 23:35:08
326
原创 RAG（检索增强生成）
摘要：RAG（检索增强生成）技术通过检索外部知识库增强大模型生成能力，降低"幻觉"问题。其核心流程包括检索（向量化查询）、增强（组合上下文）和生成（基于提示词输出）。关键组件涵盖知识库、嵌入模型、向量数据库和大语言模型。工作流分为知识库构建（数据收集、向量化存储）和在线问答（问题解析、检索增强生成）。优化技术包括混合检索、提示工程等。RAG虽面临检索不精准等挑战，但通过多策略组合可有效提升性能。该技术实现了知识增强的智能问答，平衡了生成准确性与灵活性。
2025-07-27 23:21:41
757
原创 大模型应用主要组成
GPT-4-turbo, Claude 3 (Sonnet/Haiku), Gemini 1.5 Pro/Flash, Llama 3 都是优秀选择。
2025-07-27 23:10:26
1022
原创 大模型预训练和微调
关系图： 1、目标： 让模型掌握最基础、最通用的语言能力和世界知识。2、怎么做？给模型喂食海量的、未标注的文本数据（互联网网页、书籍、文章、代码等），数据量通常是TB甚至PB级别（万亿/千万亿词）。训练任务通常是“预测下一个词”（自回归语言建模）或“完形填空”（掩码语言建模）。模型不断尝试根据前面的词预测下一个最可能出现的词。3、结果： 得到一个基础模型。1、目标： 在基础模型强大的通用能力之上，让它学会执行特定任务或按照人类期望的方式行事。2、为什么需要？ 预训练得到的基础模型虽然知识渊博，但不好用、不可
2025-07-27 00:44:07
370
原创 问题记录02
避免了重复创建实例的开销，降低了内存的消耗。单例Bean在容器启动时就被实例化，避免在请求时创建新的对象实例，从而提高系统的响应速度。可以确保应用之间配置和安全策略的一致性，简化了配置、管理和监控。发生在 依赖注入 时，两个或多个bean之间形成了一个闭环的依赖关系，即A依赖于B，而B又依赖于A。解决方案：Spring容器通过三级缓存解决了单例（Singleton）作用域下的bean之间的循环依赖问题。一级缓存（Singleton Objects Cache）
2024-11-01 16:54:26
929
原创 问题记录01
通过锁定索引记录之间的间隙，间隙锁可以确保在事务执行期间，其他事务无法在这个范围内插入新的记录，从而维护了事务隔离性，特别是对于可重复读（Repeatable Read）隔离级别。（3）如果你使用的是数据库中间件（如MyCAT、ShardingSphere等）或数据库自带的分片方案，它们通常提供了对分页查询的支持。MySQL事务的原理主要包括事务的ACID特性（原子性、一致性、隔离性、持久性）的实现机制，以及MySQL存储引擎（如InnoDB）对事务的具体支持。的获取与事务的管理是两个相对独立的过程。
2024-10-30 22:44:31
935
原创 Java内存模型（JMM）
Java内存模型，描述了Java程序中各个变量（实例域、静态域和数组元素）之间的关系，以及在实际计算机系统中将变量存储到内存和从内存中取出变量这样的底层细节。它定义了Java程序在多线程环境下内存的访问方式和操作规则，以确保多线程程序在并发执行时的正确性、可靠性和高效性。主内存-变量 <--> 线程-工作内存-变量副本保证原子性、可见性、有序性。
2024-10-29 14:00:19
508
原创 JVM调优
JVM调优，调的是稳定：复杂和高并发场景下，必须保证每次gc不会出现性能下降，各种性能指标不会出现波动。（调大小、比例、垃圾收集器、启用GC日志、JConsole监控、VisualVM分析工具）调整堆的总大小，要调整新生代和老年代的比例，以及 Eden 区还有 From 区，还有 To 区的比例JDK1.8 默认垃圾收集器Parallel Scavenge（新生代）+Parallel Old（老年代）。
2024-10-28 23:34:24
399
原创 MySQL进阶版
Binlog是MySQL数据库中的二进制日志文件，以二进制的形式存储，包含了对数据库执行的所有修改操作的详细信息，如插入（INSERT）、更新（UPDATE）、删除（DELETE）等。
2024-10-28 20:15:38
867
原创 Dubbo框架
基于Java的高性能RPC框架，定义 服务接口及出入参类型 供远程调用。客户端需拥有与服务端相同的接口。为什么用Dubbo？调用远程服务方便， 支持服务自动注册与发现、服务治理方便、有助于分布式系统服务的管理。支持多种负载均衡和容错， Netty 长连接和异步线程高效，高并发下性能好。
2024-10-28 00:13:35
951
原创 Elastic-Job 分布式任务调度
（1）分布式项目中 定时任务。如果只部署一台机器，可用性无法保证，如果定时任务机器宕机，无法故障转移，如果部署多台机器时，同一个任务会执行多次，任务重复执行也会出问题。（2）分布式项目 任务分片执行。将一个任务拆分为 多个独立的任务项，然后由分布式服务器分别执行 某一个或几个分片项。是当当推出的分布式任务调度框架，基于Zookepper、Quartz开发的Java分布式定时任务解决方案。用于解决分布式任务的协调调度问题，保证任务不重复不遗漏地执行。它由两个相互独立的子项目和。
2024-03-21 11:40:36
1371
原创 Apollo（阿波罗）配置中心
Portal ——> AdminService(发布) ——> ConfigDB Client。通过MetaServer获取AdminService的服务列表，使用客户端软负载SLB方式调用AdminService。Config/AdminService注册实例并定期报心跳，和ConfigService组在一起部署。采用分布式微服务架构，它能够集中管理应用在不同环境、不同集群的配置，配置修改后能够实时推送到应用端，有规范的权限。
2024-03-20 11:22:42
2007
原创 重要—01：Redis
目录一、什么是Redis？二、Redis如何实现高可用三、缓存与数据库不一致问题四、Redis持久化方式五、6种淘汰策略六、缓存穿透和缓存雪崩七、Redis实现分布式锁一、什么是Redis？Redis：C语言实现的、数据存储在内存中的、开源的、键值对（key-value）数据库软件。1.它通过提供多种键值数据结构来适应不同场景下的存储需求，目前Redis...
2023-11-01 01:30:32
272
1
原创 Linux下软件安装
Ubuntu18.04安装详细过程https://blog.csdn.net/stpeace/article/details/78598333https://blog.csdn.net/u014337397/article/details/80751753centos6.4 虚拟机拷贝安装的时候一直停留在进度条界面 https://burninglouis.iteye.co...
2022-01-06 22:56:57
173
原创 数据结构—11：总结
一、字符串字符串翻转 找出输入的字符串中出现次数最多的字符及次数 找出字符串中连续出现次数最多的字符及次数 打印账单，阿拉伯数字转中文 KMP算法 两个序列的最长公共序列二、贪心总是做出在当前看来最好的选择，希望产生整体最优。（局部最优选择）找零钱问题 0-1背包问题（价值最大） 活动安排问题 哈夫曼树 最短路径 最小生成树三、动态规划与分治法类似，分成若干子问题，在已知子问题结果的基础上获得一个子问题的解，最终得到最优解。（最优子结构、子问题重叠...
2022-01-06 22:55:59
173
原创 MySQL基础—07：分库分表
二、分表方法在数据库表使用过程中，为了减小数据库服务器的负担、缩短查询时间，常常会考虑做分表设计。分表分两种，一种是纵向分表（将本来可以在同一个表的内容，人为划分存储在为多个不同结构的表）和横向分表（把大的表结构，横向切割为同样结构的不同表）。1、纵向分表：常见的方式有根据活跃度分表、根据重要性分表等。其主要解决问题如下：表与表之间资源争用问题； 锁争用机率小； 实...
2022-01-06 22:54:01
174
原创 计算机网络—05：HTTP
目录一、HTTP请求二、HTTP响应三、请求方式（get 和 post）四、HTTP 和 HTTPShttp协议（超文本传输协议）：针对网络上的客户端 与 服务器端在执行http请求的时候，遵守的一种规范。 其实就是规定了客户端在访问服务器端的时候，要带上哪些东西， 服务器端返回数据的时候，也要带上什么东西。有1.0 和 1.1两个版本，两个版本区别：...
2022-01-06 22:53:38
204
原创 数据结构—09：动态规划
目录动态规划例题1：找零钱问题例题2：价值最大问题例题3：最长公共子序列问题例题4：走方格问题例题5：矩阵连乘积问题动态规划与分治法类似，分成若干子问题，在已知子问题结果的基础上获得一个子问题的解，最终得到最优解。（最优子结构、子问题重叠）。解题步骤：分析最优解的结构； 建立递归关系； 计算最优值； 构造最优解。例题1：找零钱问题给定一些人...
2022-01-06 22:52:50
140
原创 互联网轻量级SSM框架解密—01：
第一章 Spring基础介绍Spring的核心结构：主要分为 8 大模块，每一模块包含的子模块、及功能第二章 Spring上下文和容器Core Container模块是Spring架构的根基，核心概念是 BeanFactory，让Spring成为一个容器，帮助管理BeanContext模块，让Spring成为一个可执行框架，是 BeanFactory的实现者，主...
2022-01-06 22:52:24
594
原创 计算机网络—04：TCP常问
传输过程中可能出现的问题：差错 和 拥塞。如何实现可靠传输？当出现差错时，让发送方重传出现差错的数据；同时，在接收方来不及处理收到的数据时，及时告诉发送方 适当降低发送数据的速度。什么是停止等待？就是每发送完一个分组就停止发送，等待对方的确认。在收到确认后再发送下一个分组。传输过程可能出现的问题：分组出现差错，被丢弃；确认丢失；确认迟到（确认指的是接收方发送的的确认...
2022-01-06 22:42:24
260
原创 常见面试题—03
1. SpringMVC 工作原理 说一下自己对 IOC 、AOP 的理解 Spring 中用到了那些设计模式，讲一下自己对于这些设计模式的理解 Spring Bean 的作用域和生命周期了解吗 Spring 事务中的隔离级别 Spring 事务中的事务传播行为 手写一个 LRU 算法 知道那些排序算法，简单介绍一下快排的原理，能不能...
2022-01-06 22:41:07
114
原创 如何写好一份技术简历
参考一：https://xiaozhuanlan.com/topic/5039476182参考二：https://blog.csdn.net/scgyus/article/details/79388592参考三：https://github.com/geekcompany/ResumeSample/blob/master/java.md参考四：https://blog...
2022-01-06 22:40:02
134
原创 深入理解Java虚拟机—08：字节码
Class文件：是存储字节码的二进制文件，是一组以 8位为基础单位的二进制流。Class文件格式：采用一种类似于C语言结构体的伪结构来存储数据，伪结构只有两种数据类型：无符号数 和 表。当遇到需要占用8位字节以上空间的数据项时，则会按照高位在前的方式分割成若干个 8 位进行存储。Class文件的各数据项详解：https://blog.csdn.net/u011810352/artic...
2022-01-06 22:35:31
123
原创 框架—05：SpringBoot
目录一、Spring Boot的特点二、开发步骤三、如何读取配置文件信息四、热部署五、自动配置一、Spring Boot的特点快速构建项目 没有大量的xml配置 内置Tomcat 热部署 与很多第三方框架集成，支持自动配置二、开发步骤1.创建 Maven 工程，在pom.xml里添加依赖<parent> <groupI...
2020-12-21 22:03:32
182
原创 生活—01：养生茶
一、菊花茶菊花茶功效：清热去火，清肝明目。分类：杭白菊、贡菊、野菊花。杭白菊：菊花茶中最好的一种。其具有止痢、消炎、明目、降压、降脂、强身的作用。可用于治疗湿热黄疸、胃痛食少、水肿尿少等。贡菊：野菊花：呈类球形，黄绿色至棕黄色，气芳香，味苦。...
2020-12-20 19:20:51
591
2
原创 MySQL基础—06：数据库连接池
为什么要使用数据库连接池？数据库的连接对象创建工作，比较消耗性能。一开始现在内存中开辟一块空间（集合） ， 一开先往池子里面放置 多个连接对象。后面需要连接的话，直接从池子里面去。不要去自己创建连接了。使用完毕， 要记得归还连接。确保连接对象能循环利用。一、DBCP1. 导入jar包2. 不使用配置文件public void testDBCP01(){...
2019-12-07 19:23:46
243
原创 MySQL基础—05：MySQL数据库优化
一、MySQL查询过程二、优化思路数据库优化的两个主要方面：安全（数据可持续性） 和 性能（数据的高性能访问）优化方向，效果从高到低：SQL及索引 数据库表结构（物理&逻辑） 系统配置 硬件三、SQL优化（一）慢查询的原因：SQL编写问题 锁（二）如何优化：避免字段类型转换 不要使用 select * 排序请尽量使用升序 尽量规...
2019-12-07 19:00:29
230
原创 Java基础—12：Socket 通信
Socket通信：是指两台计算机之间的通信机制。服务器程序 创建一个ServerSocket对象，一直监听客户端程序的连接请求； 客户端程序 创建一个Socket 对象，并尝试连接服务器的套接字（套接字 = IP地址：端口号）； 当连接建立时，服务器会通过accept( )方法接收到这个 Socket 对象； 客户端和服务器现在可以通过对 Socket 对象的写入和读取来进行通信。...
2019-12-07 17:18:55
299
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人