- 博客(220)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 7- Python 网络爬虫 —代理配置全解析：从主流库代理到企业级代理池构建的实战指南
以下从核心定位适用场景代理配置方式协议支持异步 / 同步浏览器交互能力典型应用案例库名称核心定位适用场景代理配置方式协议支持（代理 / 请求）异步 / 同步浏览器交互能力典型应用案例urllibPython 内置基础网络请求库无需额外依赖、追求轻量的简单 HTTP 请求场景通过配置代理HTTP/HTTPS 代理；仅 HTTP 协议同步无（纯请求库）快速脚本、系统级工具基础网络请求Requests简洁易用的同步请求库。
2025-08-09 14:55:29
1129
原创 6- Python 网络爬虫—验证码突破全解析： 从 OCR 到深度学习的对抗实战指南
OCR 是一种通过计算机算法将图像中的文字（数字、字母、汉字等）转换为可编辑文本的技术。其核心目标是模拟人类视觉系统对字符的识别过程，解决 “图像文字无法直接被机器解析” 的问题。在验证码识别中，主要用于处理由字符构成的静态图形验证码（如登录页常见的 4 位数字字母组合验证码）。OpenCV（Open Source Computer Vision Library）是一个跨平台的开源计算机视觉库，包含超过 2500 个优化的算法，可实现图像读取、特征提取、几何变换、目标检测等功能。
2025-08-09 11:13:29
2471
原创 5- Python 网络爬虫 — 如何突破 JS 动态渲染壁垒？工具原理与实战全解析
JavaScript 动态渲染是前端开发中常用的交互增强技术。网页基础 HTML 加载完成后，通过 JavaScript 主动发起异步请求（如 Ajax、Fetch），从服务器获取 JSON 等格式的数据，再通过 DOM 操作将数据动态插入到页面指定位置。举个直观例子：当你浏览电商网站的商品列表页，初始加载的 HTML 只有页面框架，滚动到底部时，JavaScript 会触发scroll事件，调用预先写好的函数向服务器发送请求（如page=2。
2025-08-08 17:36:46
1859
原创 4- Python 网络爬虫 — 如何提升爬取效率？协程原理与 aiohttp 实战全解析
协程（Coroutine）是一种轻量级的用户态线程，它不由操作系统调度，而是由程序自身控制（通过关键字）。与多线程 / 多进程相比，协程的切换成本极低（无需操作系统介入），因此能在单线程内实现高并发。需发送大量 HTTP 请求（如批量爬取列表、分页数据）。网络 IO 等待时间长（如目标网站响应慢）。对爬取效率要求高的场景。
2025-08-08 16:37:13
978
原创 3- Python 网络爬虫 — 如何抓取动态加载数据？Ajax 原理与实战全解析
Ajax（Asynchronous JavaScript and XML，异步 JavaScript 和 XML）是一种在无需重新加载整个网页的情况下，能够局部更新网页内容的技术。它允许网页通过后台与服务器进行数据交换，在不干扰用户操作的情况下动态更新页面。
2025-08-08 15:43:57
3078
1
原创 2- Python 网络爬虫 — 如何精准提取网页数据？XPath、Beautiful Soup、pyquery 与 parsel 实战指南
在网络爬虫与数据采集场景中，是核心步骤之一。当我们通过请求工具（如requestsaiohttp）获取到网页的 HTML/XML 源码后，需要从中精准提取目标数据（如文本、链接、属性等）。目前 Python 生态中，常用的解析工具包括和。它们各有特点：有的基于路径表达式，有的模仿前端语法，有的专注于高效解析。本文将系统讲解这四种工具的使用方法、优缺点及适用场景。
2025-08-08 14:51:39
1062
原创 1- Python网络爬虫 — 如何从零开始掌握爬虫核心？原理拆解与实战技巧全解析
12,忠犬八公的故事,9.4,1510274。11,辛德勒的名单,9.5,1220095。16,放牛班的春天,9.3,1439138。17,机器人总动员,9.3,1449158。1,肖申克的救赎,9.7,3198069。10,楚门的世界,9.4,1953486。13,海上钢琴师,9.3,1837304。15,疯狂动物城,9.2,2193763。24,寻梦环游记,9.1,1913063。
2025-08-08 11:41:27
1666
原创 8- 知识图谱 — 应用案例怎么 “落地” 才有效？构建流程与行业实践全解析
本文系统介绍了领域知识图谱的构建流程、方法及应用案例。主要内容包括：1）技术流程：从知识建模、存储、抽取、融合到计算与应用的完整知识加工体系；2）构建方法：自顶向下（专家驱动）与自底向上（数据驱动）两种核心方法及其混合策略；3）行业应用：电商（智能搜索与推荐）、金融（风控与投研）、生活服务（美团）及中医（辅助诊疗）等领域的实践案例。文章强调知识图谱需与业务系统深度集成才能实现价值，并附有简化版电商知识图谱代码示例，展示知识图谱与强化学习、大模型结合的智能应用场景。
2025-08-07 17:24:06
1176
原创 7- 知识图谱—知识问答怎么“答”才能智能？基础与实践全解析
知识问答是 AI 最贴近用户的应用之一 —— 用户用自然语言提问，机器结合知识（知识图谱、文本库 ）精准回答。这背后需要 “理解问题、找知识、生成答案” 三步，核心是让机器像人一样 “听懂需求、调用知识、组织回答”。
2025-08-07 16:17:09
1170
原创 6 - 知识图谱 — 语义搜索怎么 “搜” 才智能？知识图谱驱动的检索方法与实践全解析
语义搜索是通过理解用户查询的语义（意图、概念、关系），结合知识图谱的结构化知识，精准匹配信息的检索方式。多义词（如 “苹果”→ 区分水果 / 公司 ）；自然语言问句（如 “《三体》作者的母校是哪所” ）；隐含需求（如搜 “缓解头痛的药”→ 关联 “布洛芬”“阿司匹林” 等知识 ）。在知识图谱里，为 “书籍” 实体定义属性关系（如:书籍 :出版社 "机械工业出版社"前端通过 SPARQL 查询 “出版社” 的所有可能值（如SELECT?出版社 WHERE {?书 :出版社?出版社 }
2025-08-07 14:54:27
991
原创 5 - 知识图谱 — 知识图谱推理怎么 “推” 才有效？方法与实践全解析
推理是知识图谱从 “知识仓库” 变成 “智慧大脑” 的关键 —— 让知识图谱能 “思考”，从已知知识里挖出没直接说出来的信息。推理就是 “从已知推未知” 的过程。在知识图谱里，推理聚焦于实体、关系、属性之间的逻辑推导，就像：“人 - 居住于 - 城市”（比如 “张三 - 居住于 - 北京” ）“城市 - 属于 - 国家”（比如 “北京 - 属于 - 中国” ）“人 - 所属国家 - 国家”（比如 “张三 - 所属国家 - 中国” ）
2025-08-07 13:34:11
924
原创 4 - 知识图谱 — 知识图谱融合怎么 “融” 才高效？方法与工具全解析
知识图谱融合是整合多源异构知识的关键技术，通过解决语言层、模型层和结构层的异构问题，构建统一的知识网络。核心内容包括：本体概念层融合（骨架拼接）和实例层匹配（实体对齐）。融合方法涉及同义词映射、语义对齐、模型转换等技术，并借助LIMES等工具实现高效实例匹配。知识图谱融合能消除"知识孤岛"，实现知识互补聚合，形成从生产到消费的全流程闭环，最终构建更完整准确的知识体系。
2025-08-07 08:36:18
1062
原创 3 - 知识图谱 — 知识抽取与知识挖掘怎么 “做” 才精准？方法与工具全解析
如果把海量数据比作 “沙滩”，知识抽取就是从中 “捡起珍珠”—— 从文本、数据库、网页等各种数据里，提取出知识图谱能 “看懂” 的核心信息。实体：像 “张三”（人名）、“北京大学”（机构名）、“北京”（地名），是知识的 “主角”；关系：实体之间的联系，比如 “张三 - 就读于 - 北京大学”“北京大学 - 位于 - 北京”；事件。
2025-08-06 17:27:18
916
原创 1-知识图谱—知识图谱表示与建模：给知识 “搭框架”，让每句话都有条理
比如 “猫” 这个实体，文本描述是 “一种有毛的动物”，图片是一只猫的照片，两者要在知识图谱里对应起来，就需要 **“多模态语义统一编码”**—— 把图像、文本、音频的特征都转化到同一个向量空间，让 “猫的文本向量” 和 “猫的图片向量” 距离很近，机器才知道它们指的是同一个东西。后来出现的 Word2Vec（词向量模型）解决了类似问题：它把 “鸟”“麻雀”“飞” 这些词转化为低维向量（比如一串 100 个数字），向量的距离越近，语义越相关（“鸟” 和 “麻雀” 的向量距离比 “鸟” 和 “汽车” 近）。
2025-08-06 15:02:19
1108
原创 21 - 大模型智能体进阶指南 (5)：电影助手的知识革命：从静态存储到实时进化 —— 检索增强与自主学习的协同机制
本文介绍了基于大模型的电影智能助手系统实现，其核心架构分为三层：基础层（向量嵌入与知识库）、功能层（检索与学习系统）和应用层（决策与交互）。系统通过RAG技术解决大模型幻觉问题，支持精准电影查询（85%准确率）、自主学习（日均新增50条知识）、多维度对比和个性化推荐（平均响应时间1.2秒）。实验表明，结合Chroma向量数据库和本地化部署的Mistral模型，在CPU环境下可实现200QPS的并发性能。关键技术选型考虑了轻量性（Chroma比Milvus节省70%内存）与隐私性（Ollama本地推理），其中
2025-08-05 11:46:43
1026
原创 20-大预言模型—RAG 系统的进化：从模型 “空想” 到 “有据可依”—如何赋予它精准知识调用能力
本文介绍了检索增强生成（RAG）技术的基本原理和实现方法。RAG通过为生成模型提供外部知识源，解决其知识老化和不准确的问题。系统包含索引、检索优化、生成等模块，采用模块化设计支持不同任务需求。文章详细阐述了线性、条件、分支、循环四种RAG流程模式，并提出了嵌入模型微调、查询优化等改进方法。最后给出了基于IMDB影评数据的完整RAG系统实现代码，通过实验验证了该技术在信息检索和内容生成方面的有效性。
2025-08-05 09:33:44
994
原创 跟 “乱数据” 说拜拜：10 个妙招让模型学得更好
为什么必须做预处理？数据预处理是指在数据分析或建模前，对原始数据进行清洗、转换、整合等操作的过程。它就像烹饪前的备菜 ——去除杂质（清洗）、切割加工（转换）、搭配食材（整合），最终让数据符合模型 "口味"，提升分析或预测效果。原始数据往往存在问题：重复、缺失、异常值等模型对数据格式有要求：只能处理数字，不能直接用文字未经处理的数据会导致模型效果差：预测不准、过拟合等。
2025-08-03 20:56:01
1101
原创 19 - 大模型智能体养成记(4)：电影助手的蜕变：从固定答案到活学活用 —— 大模型如何让它拥有自主决策力
智能电影信息助手是一款融合自主决策框架与大模型智能体的智能系统。其核心优势在于：通过自主决策引擎判断用户意图，结合大模型的自然语言理解能力，实现从 “用户输入→意图识别→资源调度→结果生成” 的全流程自动化处理。系统突破了传统规则引擎的局限性，通过大模型的上下文理解能力增强自主决策的灵活性，同时保留模块化设计的高效性，形成 “规则决策 + 大模型理解” 的混合智能架构。
2025-07-31 14:50:46
1449
原创 18 - 大模型智能体养成记(3)：电影助手进化全解析：从静态知识库到具备上下文理解、长效记忆、推理与自学习能力的混合智能体
这种协同让系统从 “规则驱动的查询工具” 升级为 “具备记忆、学习、推理能力的智能体”，更贴近人类的交互习惯 —— 能记住历史、能学习新知、能逻辑推导。《流浪地球2》是2023年上映的中国大陆科幻电影，影片改编自刘慈欣的小说《流浪地球》，由郭帆执导、刘慈欣担任监制，吴京及李雪健领衔主演，刘德华特别出演。《流浪地球2》是由郭帆执导，杨治学、龚格尔、郭帆、叶濡畅编剧，吴京、李雪健、沙溢、宁理、王智、朱颜曼滋领衔主演、刘德华特别演出的科幻灾难电影。：结合历史对话理解用户当前输入的真实意图，避免 “断章取义”。
2025-07-31 13:20:34
877
原创 17 - 大模型智能体养成记(2)：从孤立知识库到简单混合智能体，构建 AI 像人一样 “理解 - 决策 - 融合响应” 的实战指南
功能模块核心能力应用场景示例电影信息查询基于本地向量库的精准检索查询《肖申克的救赎》的导演、主演等数学计算支持复杂表达式解析与安全计算计算 "(25+35)×4÷2" 等数学问题网络搜索集成 SERPAPI 接口获取实时网络信息查询 2024 年新上映电影、实时热点等import os"""自定义嵌入模型类，继承LangChain的Embeddings接口""""""初始化模型，自动检测设备（GPU/CPU）"""
2025-07-31 07:56:01
668
原创 16 - 大模型智能体养成记(1)：从 “死板程序” 到 “会思考的数字助手”，教 AI 像人一样 “感知 - 思考 - 行动” 的全过程
自主决策与输出 - 无需人工干预，自动完成 "接收问题→处理→回答" 的闭环，符合 "智能体" 的定义。
2025-07-30 17:48:25
1201
原创 15 - 多模态大语言模型 — 图文 “牵线” 系统 “成长记”：借 CLIP 练本领，从图像与文字里精准 “搭鹊桥” 的全过程 (呆瓜版 - 2 号)
普通大模型（比如 ChatGPT）只能处理文字，而多模态大语言模型（简称 “多模态 LLM”）能同时 “看懂图、听懂声、读得懂字”，还能用文字回答你所有问题。以前的 AI 是 “偏科生”：有的只能看图（比如识别图片里的猫），有的只能处理文字（比如写作文），但多模态 LLM 是 “全能选手”—— 它用语言把所有信息打通了。这样能逼它更认真地 “看” 和 “想”，减少胡说八道（专业叫 “减少幻觉”）。给它喂海量 “图文配对” 的资料：比如 “猫的图片 +‘这是一只猫’”“汽车图片 +‘四个轮子的交通工具’”。
2025-07-30 10:29:12
1376
原创 14 - 大语言模型 — 抽取式问答系统 “成长记”：靠 BERT 学本事，从文本里精准 “揪” 答案的全过程(呆瓜版-1号)
简单来说，问答系统是一种能 “听懂” 人类问题，并给出准确答案的智能系统。比如我们平时用的智能助手（如 Siri、小爱同学），输入 “今天天气怎么样？” 就能得到答案，这就是最常见的问答系统应用。接收自然语言问题，结合已有信息（如上下文、知识库），返回简洁准确的答案。
2025-07-29 22:12:01
1191
原创 13-大语言模型—机器翻译欢乐盖楼：数据先 “洗洗澡“ 变干净地基，模型 “哼哧哼哧“ 砌墙，BLEU“举牌子“ 说行才行
机器翻译就是让 AI 模仿人类，把一种语言（比如中文）转换成另一种语言（比如英文）的技术。但 AI 没人的思维，它靠 “数学公式 + 海量数据” 实现 —— 就像教小孩学翻译，但小孩是 “死记硬背找规律” 的机器人。
2025-07-29 13:02:36
1156
原创 12-大语言模型—Transformer 打地基，下游任务盖出百样房，指标来验收｜下游任务白话指南
想彻底搞懂 Transformer 如何玩转自然语言处理（NLP）任务？这就把模型原理、实战案例和核心公式揉在一起，用 “大白话 + 数学逻辑” 讲透，让每个知识点都能 “落地”！
2025-07-29 08:38:26
1372
原创 11-大语言模型—Transformer 盖楼，BERT 装修，RoBERTa 直接 “拎包入住”｜预训练白话指南
"""定义模型配置"""# RoBERTa 模型的配置vocab_size=52_000, #词汇表大小：模型能够处理的唯一词元（tokens）数量 这个值应与之前训练的分词器（Tokenizer）的词汇表大小一致max_position_embeddings=514, #最大位置编码：模型能够处理的最大序列长度（包含特殊标记）num_attention_heads=12,#注意力头数量：多头注意力机制中的并行注意力头数量。
2025-07-28 19:42:43
1208
原创 别再死磕理论！十大分类算法：公式讲透 + 场景踩坑指南（附可复用代码）(2)
快速上手：先用逻辑回归 / 朴素贝叶斯做基准，再试随机森林（效果好且稳定）。小样本 / 高维：选 SVM（文本）或朴素贝叶斯（文本）。大数据 / 高精度：XGBoost（结构化数据）或 LightGBM（超大数据）。需解释性：逻辑回归（系数）或决策树（规则），避免神经网络 / XGBoost。实时预测：朴素贝叶斯（快）或 LightGBM（兼顾速度和精度）。每种算法都有其 “擅长领域”，没有 “最好” 只有 “最合适”。理解原理 + 多实战，才能灵活运用十大算法解决实际问题。t=P4F5。
2025-07-28 17:00:39
933
原创 别再死磕理论！十大分类算法：公式讲透 + 场景踩坑指南（附可复用代码）(1)
快速上手：先用逻辑回归 / 朴素贝叶斯做基准，再试随机森林（效果好且稳定）。小样本 / 高维：选 SVM（文本）或朴素贝叶斯（文本）。大数据 / 高精度：XGBoost（结构化数据）或 LightGBM（超大数据）。需解释性：逻辑回归（系数）或决策树（规则），避免神经网络 / XGBoost。实时预测：朴素贝叶斯（快）或 LightGBM（兼顾速度和精度）。每种算法都有其 “擅长领域”，没有 “最好” 只有 “最合适”。理解原理 + 多实战，才能灵活运用十大算法解决实际问题。%20bp_ky_i。
2025-07-28 14:39:50
1352
原创 10 - 大语言模型 —Transformer 搭骨架，BERT 装 “双筒镜”｜解密双向理解的核心
双向理解：突破传统模型 “单向” 局限，真正像人一样结合上下文；迁移能力强：预训练一次，就能通过微调适配几十种语言任务，不用为每个任务从头训练；语义理解深：能处理一词多义、歧义句等复杂语言现象，比如区分 “打酱油” 是 “买酱油” 还是 “凑数”。Matthews 相关系数（Matthews Correlation Coefficient，简称 MCC）1 表示预测完全正确；0 表示预测结果与随机猜测无异；-1 表示预测完全错误。MCC 的优势在于对不平衡数据。
2025-07-28 09:30:12
1130
原创 9-大语言模型—Transformer 核心：多头注意力的 10 步拆解与可视化理解
输入嵌入层是模型的第一部分，主要用于将离散的输入数据，如文本数据中的单词或字符，转换为连续的数值向量形式。这样的转换是必要的，因为深度学习模型需要处理数值数据。此外，嵌入向量还能捕捉和编码单词的语义信息，相似的单词在嵌入空间中会有相似的向量表示，并且在某些情况下，还可以是上下文相关的。同时，嵌入向量通常比原始数据的维度低，有助于减少模型参数数量，减轻过拟合风险，提高训练效率。接下来，将假设所有输入都有一个w_query、w_key、和w_value权重矩阵。这3个权重矩阵将应用于此模型中的所有输入。
2025-07-27 17:51:05
1092
原创 随机森林与 PCA 的协同：高维数据建模的优化路径—实践算法(2)
设原始数据矩阵为样本数为 n，特征数为 d矩阵形式：其中表示第 i 个样本的 d 维特征向量PCA 通过中心化消除量纲→协方差矩阵描述特征关系→特征值分解提取主成分→映射得到低维数据的流程，实现高维数据的高效压缩。
2025-07-27 13:35:42
1136
原创 基于 LSTM 与 SVM 融合的时间序列预测模型：理论框架与协同机制—实践算法(1)
时间序列预测是金融、气象、交通等领域的核心问题，其本质是。。本文基于 “LSTM+SVM” 混合模型的实现逻辑，从理论层面阐述其设计原理、协同机制及应用价值，揭示混合模型如何突破单一模型的瓶颈。
2025-07-27 10:00:10
1369
原创 一文读懂强化学习的六大核心技术：从模仿到多智能体，细节全解析—强化学习基础篇结尾(22)
强化学习就像 “教智能体做决策” 的工具箱，不同问题需要不同工具。下面从最基础的 “模仿人类” 到复杂的 “多智能体协作”，用生活化的例子拆解六大技术方向，包括细分方法、核心区别、优缺点和应用场景，确保每个技术的细节都讲透。
2025-07-26 08:29:05
1454
原创 多智能体协作的 “军师与将领” 模式：CTDE 框架下四大经典算法解析—强化学习(21)
不管是 “算价值” 还是 “演员评论家”，CTDE 的聪明之处在于：训练时集中所有信息把策略练精，执行时让每个智能体独立决策。这就像军队训练 —— 演习时指挥官能看到全局，调整战术；实战时，前线士兵只能靠自己和训练成果作战。
2025-07-26 08:11:08
2158
原创 多智能体强化学习入门：从基础到 IPPO 算法—强化学习(20)
多智能体强化学习（Multi-Agent Reinforcement Learning，MARL）是研究多个智能体在同一环境中交互、协作或竞争，并通过学习优化各自策略的领域。和单智能体强化学习（如 AlphaGo 独自学习围棋）不同，MARL 的核心是智能体之间的相互影响：比如自动驾驶中多辆车的避障（协作）、团队游戏中 5v5 的对抗（竞争 + 协作）、无人机群的协同搜救（纯协作）。举个例子。
2025-07-25 16:39:09
1840
原创 目标导向的强化学习：问题定义与 HER 算法详解—强化学习(19)
目标导向的强化学习（Goal-Conditioned Reinforcement Learning）是一类让智能体通过学习策略，从初始状态达到特定目标的任务。与传统强化学习不同，这类任务的核心是 “目标”—— 智能体的行为需围绕 “达成目标” 展开，而目标本身可能随任务变化（如 “机械臂抓取 A 物体”“机械臂抓取 B 物体” 是两个不同目标）。状态（State）：环境的观测信息，记为是状态空间）。例如：机械臂的关节角度、物体的坐标。目标（Goal）：智能体需要达成的状态，记为。
2025-07-25 14:39:46
1452
原创 从 “纸上谈兵” 到 “稳健决策”：离线强化学习的两大核心算法拆解—强化学习(18)
BCQ 和 CQL 从不同角度解决了离线 RL 的 “分布偏移” 和 “过度乐观” 问题：BCQ 靠 “物理隔离” 陌生动作保证安全，适合对稳定性要求极高的场景；CQL 靠 “价值打压” 让策略主动回避陌生动作，更适合动作空间大、数据复杂的场景。
2025-07-25 14:10:29
952
原创 MBPO 算法：让智能体像人一样 “先模拟后实操”—强化学习(17)
人类学习的高效，在于我们会 “在脑子里模拟后果” 再行动：炒菜前想 “火大了会糊”，走路前看 “台阶高不高”。MBPO 的核心，就是给智能体加上这个 “虚拟思考” 的能力 —— 用模拟器代替 “脑子”，用真实反馈修正 “想法”，最终实现 “少试错、学得快”。
2025-07-24 17:53:14
1081
原创 PETS 算法工程化价值：从 Pendulum - v1 实验看模型强化学习的收敛效率与鲁棒性根基—强化学习(16)
想象你在下棋时，不会一次性规划完所有步数，而是每次想 3-5 步，选当前最优的一步走，走完后再根据新的棋局重新规划。MPC 就是这样一种 “滚动决策” 的控制思路 ——它不追求全局最优，而是通过 “有限视野内的优化” 实现动态调整。
2025-07-24 15:30:27
995
python商城项目
2021-01-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人