- 博客(36)
- 收藏
- 关注
RSS订阅原创 神经网络原理 第十四章：神经动力学
摘要： 本章从动力系统视角分析神经网络，研究其内在演化规律（如稳定性、吸引子），而不仅关注学习算法。核心内容包括：动态系统基础（状态方程、轨迹）；稳定性分析（Lyapunov函数判据）；吸引子机制（不动点、极限环、混沌）及其在联想记忆中的应用；Hopfield模型（能量函数、异步更新、收敛性），通过Hebb规则存储记忆并利用吸引子完成模式恢复。本章揭示了神经网络如何通过结构自发涌现智能行为，为理解记忆、振荡等认知功能提供动力学框架。
2026-06-15 08:00:00
44
原创 神经网络原理 第十三章：使用前馈网络的时序处理
本文摘要：本章探讨如何赋予静态神经网络处理时序数据的能力。通过引入短期记忆结构（如抽头延迟线和指数加权记忆），将时间维度转化为空间特征，使前馈网络能够建模动态信息。重点介绍了三类时序网络架构：集中式时滞前馈网络、分布式时滞前馈网络和时延递归网络，以及时空神经元模型和时序反向传播算法（BPTT）。这些方法为神经网络处理语音、视频等时序数据提供了理论框架，是连接静态网络与动态系统的关键桥梁，但也存在记忆长度有限的局限性。核心在于通过架构创新将时间信息融入网络计算。
2026-06-12 08:51:41
235
原创 神经网络原理 第十二章：神经动态规划
神经动态规划是神经网络无教师学习的核心章节，将动态规划与强化学习结合，通过神经网络解决"维数灾"问题。主要内容包括：1）Markov决策过程(MDP)框架，定义状态、动作、转移概率、奖励等要素；2）Bellman最优准则，通过价值函数递归分解决策问题；3）动态规划方法如策略迭代和值迭代；4）神经动态规划的核心思想，使用神经网络逼近价值函数；5）Q-学习算法，通过试错更新动作价值函数。该技术突破了传统动态规划的局限性，赋予神经网络"思考未来"的能力，成为游戏AI、机器人
2026-06-10 14:45:00
185
原创 神经网络原理 第十一章：植根于统计力学的随机机器和它们的逼近
本文摘要： 本章探讨基于统计力学的随机神经网络模型，重点介绍Boltzmann机及其衍生算法。通过引入物理概念（能量、温度、熵）和随机优化方法（模拟退火、Metropolis算法），构建了具有全局优化能力的概率生成模型。Boltzmann机通过对称连接结构和玻尔兹曼分布实现数据建模，其学习规则通过比较"数据驱动"与"模型生成"的统计差异调整参数。文章还讨论了平均场逼近、确定性退火等实用化方法，并指出这类模型在深度学习中的奠基性作用（如RBM、VAE）。核心思想在于利用
2026-06-10 13:15:00
158
原创 神经网络原理 第十章：信息论模型
本文介绍了信息论模型在神经网络无监督学习中的应用。核心内容包括：1）信息论基本概念，如熵、互信息和KL散度，作为神经网络优化目标函数；2）最大互信息原则，指导神经网络调整参数以最大化输入输出间的信息保留；3）独立分量分析(ICA)作为该原则的典型应用，实现盲源分离。文章通过通俗比喻解释抽象概念，强调信息论为无监督学习提供了理论基础和量化工具，与生物神经系统处理信息的策略高度契合，并在信号处理等领域具有实用价值。
2026-06-10 09:00:45
208
原创 神经网络原理 第九章：自组织映射
自组织映射(SOM)是一种无监督神经网络算法，通过竞争学习实现高维数据到低维网格的拓扑有序映射。其核心机制包括：竞争过程选择最匹配输入的神经元，合作过程通过邻域函数激发邻近神经元，适应过程调整权值向量。SOM具有拓扑排序和密度匹配两大特性，能将数据流形结构展开到低维网格。其有监督扩展LVQ通过奖惩机制优化分类边界。相比PCA的线性降维，SOM能保留非线性拓扑结构，但训练结果对参数较敏感。该算法模拟了大脑皮层的自组织特性，在数据可视化和向量量化方面具有重要价值。
2026-05-24 17:44:10
389
原创 神经网络原理 第八章：主分量分析
主分量分析 是神经网络无教师学习部分的开篇之作。它是一种经典的数据降维和特征提取方法，其核心思想是通过线性变换，将原始可能相关的变量，重新组合成一组新的、相互无关的变量，称为主分量。
2026-05-14 22:20:45
381
原创 神经网络原理 第七章：委员会机器
摘要： 委员会机器通过集成多个学习器（如总体平均、推举、分层混合专家模型）提升性能。总体平均通过独立预测器的误差抵消降低方差（Var∝1/L）；**推举（如AdaBoost）**动态调整样本权重，顺序训练弱学习器并加权投票，兼顾偏差与方差；分层混合专家模型（HME）由门控网络动态分配专家权重，通过EM算法训练，适合复杂数据分布。核心在于多样性组合，三种方法分别适用于并行降方差、顺序增强及结构化建模，为集成学习奠定基础。
2026-05-11 23:04:52
489
原创 神经网络原理 第六章：支持向量机
支持向量机(SVM)是一种基于结构风险最小化的有监督学习算法。其核心思想是通过最大化间隔来寻找最优分类超平面，具有良好的泛化能力。对于线性可分数据，SVM通过求解凸二次规划问题获得最优超平面；对于非线性数据，则利用核技巧将数据映射到高维空间进行处理。SVM还支持回归任务，通过ε-不敏感损失函数实现支持向量回归。主要优势包括理论基础坚实、泛化能力强、解具有稀疏性等，但也存在大规模数据训练困难、参数选择依赖经验等局限。本章重点阐述了SVM的间隔最大化原理、对偶问题转化、核函数应用以及松弛变量机制等核心概念。
2026-05-10 16:43:34
475
原创 神经网络原理 第五章：径向基函数网络
径向基函数网络(RBF)是一种基于局部响应特性的前馈神经网络，其核心思想源于多变量插值方法。RBF网络通过径向基函数将输入数据映射到高维空间，利用Cover定理实现线性可分。相比多层感知器(MLP)，RBF网络采用局部激活函数，训练速度更快。网络训练采用两阶段混合策略：先通过无监督聚类确定隐层中心参数，再用有监督方法学习输出层权值。正则化理论解决了RBF网络的过拟合问题，在拟合误差和平滑度之间取得平衡。RBF网络可视为核回归的实现，通过距离加权平均进行预测。与MLP相比，RBF网络具有局部逼近特性，适合需要
2026-05-09 08:03:31
423
原创 神经网络原理 第四章：多层感知器与反向传播算法
摘要：多层感知器(MLP)通过引入隐藏层解决了单层感知器无法处理的非线性问题，如异或问题。其核心是反向传播算法，通过计算误差梯度并逐层反向传播来调整权值。MLP性能优化涉及激活函数选择、数据归一化、权值初始化等技巧。网络修剪技术可简化结构防止过拟合。虽然MLP功能强大，但也存在局部极小值、收敛慢等局限。卷积网络(CNN)通过局部感受野、权值共享和空间子采样等设计提升了图像处理效率。本章是神经网络从理论走向实践的关键，重点在于理解反向传播机制、MLP的非线性能力及实际应用技巧。
2026-04-29 12:23:37
563
原创 神经网络原理 第三章：单层感知器
本文摘要： 单层感知器是最简单的神经网络结构，由输入层直接连接到输出层。主要内容包括：1）自适应滤波器的LMS算法，通过梯度下降最小化均方误差；2）感知器模型及其收敛定理，证明线性可分问题下算法必然收敛；3）比较感知器与贝叶斯最优分类器在高斯分布下的等效性。文章通过"调收音机"、"下坡寻路"等生动类比，解释了梯度下降、在线学习等核心概念。最后指出单层网络的局限性（如无法解决XOR问题），为多层网络的发展埋下伏笔。
2026-04-29 12:20:36
371
原创 神经网络原理 第二章：学习过程
本文系统解析了神经网络五大核心学习规则：1）误差修正学习（通过闭环反馈调整权值）；2）基于记忆学习（采用最近邻规则匹配）；3）Hebb学习（基于神经元协同激活机制）；4）竞争学习（胜者全得机制实现自动聚类）；5）Boltzmann学习（引入统计力学原理）。同时阐述了监督/无监督学习范式差异，探讨了偏置-方差困境、VC维理论等统计学习核心问题，揭示了神经网络处理模式识别、函数逼近等任务的内在机制。全文通过数学公式与生活化类比，深入浅出地呈现了神经网络学习过程的理论基础与实践逻辑。
2026-04-26 19:24:58
365
原创 神经网络核心概念 全景梳理与关系图谱
本文系统梳理了神经网络的核心理论与演进关系。首先阐述了神经网络的基础概念（神经元、学习过程），作为构建复杂网络的基石。其次分为监督学习（感知器、BP网络、SVM等）和无监督学习（PCA、SOM、ICA等）两大范式，分析其从线性到非线性、从统计到信息论的演进路径。最后探讨动态系统（Hopfield网络、RNN等）处理时序数据的能力与挑战。全文呈现了神经网络从基础单元到复杂模型、从静态处理到时序建模的理论发展脉络，揭示了不同学习范式间的内在联系与互补性。
2026-04-20 09:18:59
473
原创 神经网络原理 第一章：导论
神经网络是一种受人脑启发的自适应机器学习模型，由相互连接的神经元组成。它具有非线性处理、自适应学习、容错性和并行计算等特性。神经元模型包含突触权重、加法器和激活函数三个基本元素，通过加权输入信号和偏置值计算输出。常用的Sigmoid激活函数将输入映射为0-1间的概率值。网络结构包括单层前馈、多层前馈和递归网络三种基本类型，其中递归网络通过反馈环实现记忆功能。神经网络通过训练样本修改参数来获取知识，其分布式存储方式使其具有鲁棒性。与传统符号AI相比，神经网络具有自底向上的学习能力，二者正趋向融合形成更强大的混
2026-04-17 16:56:05
368
原创 《人工智能现代方法（第4版）》 第12章 不确定性的量化 学习笔记
确定性是奢侈品，不确定性是常态。概率论不是放弃精确，而是用数学的严谨拥抱现实的不完美。从赌徒的问题到医学诊断，从垃圾邮件过滤到自动驾驶，贝叶斯法则教会AI：在不确定的世界中，如何保持理性的光芒。
2025-12-11 15:42:22
548
原创 《人工智能现代方法（第4版）》 第11章 自动规划 学习笔记
本文系统阐述了人工智能规划问题的核心概念与方法体系。文章首先指出规划是从"知道"到"做到"的关键环节，通过日常实例（如做饭步骤）说明规划的本质是构建从初始状态到目标状态的行动路线图。随后详细介绍了经典规划的四大假设（完全可观测、确定性、静态环境、离散时间）及其形式化定义，并列举了货物运输、换轮胎等典型问题案例。在算法层面，重点分析了前向搜索、反向搜索和SAT规划三种方法，比较了各自的适用场景。针对复杂问题，文章提出了启发式策略（如忽略删除列表、规划图）和分层规划思想。
2025-12-10 17:01:41
801
原创 《人工智能现代方法（第4版）》 第9章 一阶逻辑中的推断 学习笔记
本章探讨一阶逻辑推断的核心方法，重点解决从已知事实推导新结论的问题。主要内容包括：1）命题逻辑与一阶逻辑推断的差异，后者需处理变量、量词和函数；2）约简方法将一阶问题转化为命题问题；3）合一算法实现变量匹配；4）前向链接（数据驱动）和反向链接（目标驱动）两种推理方式；5）完备但计算复杂的归结法；6）等词处理的特殊规则。文章分析了各方法的适用场景、效率优化技巧及现实限制，指出实际系统需结合多种方法，并连接后续的概率推理和机器学习内容。最终强调一阶逻辑虽强大但存在局限性，需要更灵活的AI工具应对现实问题。
2025-12-07 11:56:25
802
原创 《人工智能现代方法（第4版）》 第10章 知识表示 学习笔记
前面的章节展示了具有知识库的智能体如何进行推断，以便能采取正确的行动。本章我们回答要把什么样的内容放进这种智能体的知识库中，也就是如何表示关于世界的事实。
2025-12-07 11:52:03
968
原创 《人工智能现代方法（第4版）》 第8章 一阶逻辑 学习笔记
本章介绍了从命题逻辑升级到一阶逻辑的必要性和方法。命题逻辑只能描述具体事实，无法表达普遍规律，而一阶逻辑通过引入对象、关系、量词等要素，使智能体能够进行概括性思考。文章详细讲解了一阶逻辑的语法规则（常量、变量、谓词、函数、量词等）、语义解释（模型论）以及知识工程应用（如亲属关系推理）。一阶逻辑虽然强大，但仍存在表达"大多数"、概率和模糊概念等局限。作为AI知识表示的基础，一阶逻辑实现了从"点状思维"到"关系型思维"的转变，但现实世界的不确定性仍需非
2025-12-06 23:53:01
713
原创 《人工智能现代方法（第4版）》 第7章 逻辑智能体 学习笔记
摘要： 本章探讨如何让智能体通过逻辑推理在部分可观测环境中做出决策。基于知识的智能体通过知识库存储规则，利用推理引擎结合感知信息进行逻辑推导（如命题逻辑中的归结证明法）。以Wumpus世界为例，演示如何通过感知线索（如臭味、微风）推断隐藏元素（怪物、陷阱）。命题逻辑提供形式化表达（如蕴含、有效性），而模型检验算法（如DPLL）则用于高效求解。尽管命题逻辑具有精确性，但其表达能力有限（无法处理量化语句），需结合其他方法（如搜索、效用理论）构建混合智能体。逻辑推理的价值在于弥补感官不足、保证决策一致性，并为复杂
2025-12-06 23:50:19
618
原创 《人工智能现代方法（第4版）》 第6章 约束满足问题 学习笔记
摘要 本章系统介绍了约束满足问题（CSP）的通用解法。CSP包含三个要素：变量（待填的"坑"）、值域（可选的"土"）和约束（填坑规则）。通过约束传播（如节点一致性、弧一致性）可提前排除冲突选项，回溯搜索则系统性试错并配合智能回溯优化。变量和值排序策略（如最少剩余值启发式）能提升效率，局部搜索适用于微调近似解。特殊结构（如树状CSP）可加速求解，而问题设计时逆向应用CSP原则（如约束充分性）能降低难度。该方法适用于排课、数独等现实问题，强调利用约束引导而非盲目尝试的解决
2025-12-05 12:40:41
1116
原创 《人工智能现代方法（第4版）》 第5章 对抗搜索和博弈 学习笔记
博弈论中的对抗性决策：从棋类游戏到现实策略 摘要：本文系统介绍了在零和博弈（如棋类游戏）中对抗性决策的核心算法。首先通过"算账思维"建立博弈树模型，详细讲解极小化极大算法如何通过逆向推理找到最安全的策略。针对计算复杂度问题，提出Alpha-Beta剪枝优化方法。对于复杂博弈，引入蒙特卡洛树搜索的模拟决策思路。进一步扩展至包含随机因素（如麻将）和部分可观测（如扑克）的博弈场景，分别介绍期望值计算和信念状态更新的处理方法。最后提供不同场景的算法选择指南，并强调从单人决策到对抗性思维的范式转换
2025-12-05 10:25:07
1197
原创 《人工智能现代方法（第4版）》 第4章 复杂环境中的搜索 学习笔记
本文探讨了多种智能搜索算法及其应用场景。在局部搜索部分，分析了爬山法及其变体（随机爬山、首选爬山、随机重启）的优缺点；模拟退火算法借鉴物理退火过程，允许暂时"下坡"以跳出局部最优；群体智能算法（束搜索、进化算法）则利用多智能体协作提高搜索效率。针对连续空间问题，介绍了网格法、梯度上升和牛顿法。对于非确定性和部分可观测环境，提出了与或搜索树和信念状态搜索策略。最后对比了在线与离线搜索的特点，强调应根据具体问题特性选择合适的算法组合，没有放之四海而皆准的通用解决方案。
2025-12-04 15:32:51
814
原创 《人工智能现代方法（第4版）》 第3章 通过搜索进行问题求解 学习笔记
本文系统介绍了人工智能中的搜索算法。首先阐述了问题求解智能体的基本概念和四个阶段，重点说明了问题形式化的五个关键要素。然后详细分析了无信息搜索策略（广度优先、深度优先等）和有信息搜索策略（A算法等）的特点及适用场景，特别强调了A搜索在启发式函数可采纳性保证下的最优性。文章还探讨了启发式函数的设计方法，包括松弛法和子问题法等，并针对内存受限场景提出了改进算法。最后总结了不同搜索算法的选择策略，指出A*搜索结合优质启发式函数是最佳实践，同时需要根据实际问题特点进行算法选择。
2025-12-04 15:07:19
1141
原创 《人工智能现代方法（第4版）》 第2章 智能体 学习笔记
摘要：智能体是通过传感器感知环境并通过执行器执行动作的系统，其理性决策基于性能度量期望值最大化。PEAS框架（性能、环境、执行器、传感器）是分析任务环境的核心工具。智能体分为四种类型：简单反射型（直接响应感知）、基于模型型（维护内部状态）、基于目标型（显式目标导向）和基于效用型（权衡多个目标）。学习型智能体通过反馈机制改进性能。环境属性（可观测性、动态性等）决定智能体设计策略，理性与全知的关键区别在于信息可用性。智能体程序实现感知-动作映射，其架构需匹配任务需求。
2025-12-02 09:40:28
1500
原创 《人工智能现代方法（第4版）》 第1章 绪论 学习笔记
本文系统梳理了人工智能的核心概念与发展脉络。首先阐述了AI的四种定义方法，重点分析了理性智能体的概念及其与全知智能体的区别，指出理性决策基于可用信息而非完美知识。其次，回顾了AI的历史发展，从1956年达特茅斯会议到现代技术演进。第三，详细介绍了支撑AI的七大基础学科及其贡献，包括数学、经济学、心理学等。最后探讨了现代AI面临的挑战，如价值对齐、伦理问题等发展趋势。全文以理性行为视角为核心，强调跨学科融合对AI发展的重要性，为理解人工智能提供了系统框架。
2025-12-01 16:40:41
1512
原创 【理论篇】数据挖掘 第六章 挖掘频繁模式、关联和相关性：基本概念和方法（上）
频繁项集挖掘的一个典型例子是购物篮分析。该过程通过发现顾客放入他们“购物篮” 中的商品之间的关联，分析顾客的购物习惯(见图)。这种关联的发现可以帮助零售商 了解哪些离品频繁地被顾客同时购买，从而帮助他们制定更好的营销策略。例如，如果顾客 在一次超市购物时购买了牛奶，他们有多大可能也同时购买面包（以及何种面包）?这种信息可以帮助零售商做选择性销售和安排货架空间，导致增加销售量。
2024-09-16 10:17:53
1850
原创 【理论篇】数据挖掘 第五章 数据立方体技术
数据立方体技术是在数据仓库系统中广泛应用的一种技术，它通过多维数据模型对汇总数据进行存储和访问。数据立方体，作为一种高效的数据组织方式，允许用户在不同粒度和维度上灵活地进行数据分析。在OLAP（联机分析处理）环境中，数据立方体尤其重要，因为它们提供了强大的数据交互分析功能。个人理解，所谓的立方体最多只有三维，在开始学习数据立方体的时候不要去想三维以上的立方体如何表示。
2024-09-15 15:51:01
1403
原创 【理论篇】数据挖掘 第四章 数据仓库与联机分析处理
数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合，支持管理者的决策过程”。面向主题的(subject-oriented):数据仓库围绕一些重要主题，如顾客、供应商、产品和销售组织；集成的(integrated):通常，构造数据仓库是将多个异构数据源，如关系数据库、一般文件和联机事务处理记录集成在一起；时变的(time-variant):数据存储从历史的角度(例如，过去5～10年)提供信息。数据仓库中的关键结构都隐式或显式地包含时间元索；非易失的(nonvolatile)
2024-08-04 11:34:11
2119
原创 【算法篇】关联性分析 FP-Growth算法
FP-Growth（Frequent Pattern Growth，频繁模式增长）算法是一种高效的数据挖掘算法，主要用于解决频繁项集挖掘和关联规则发现的问题。与传统的Apriori算法相比，FP-Growth算法通过构建一种称为FP-Tree（频繁模式树）的数据结构，极大地减少了搜索空间，提高了挖掘效率。FP-Growth算法不仅适用于处理大规模数据集，还能有效应对数据稀疏性问题，因此在电子商务、社交网络分析、金融风控等多个领域有着广泛的应用。FP-Growth算法Apriori算法提出时间。
2024-08-04 10:47:47
3300
原创 【理论篇】数据挖掘 第三章 数据预处理
提升数据质量，确保数据满足应用要求。数据如果能满足其应用要求，那么它是高质量的。数据质量涉及许多因素，包括准确性、完整性、一致性、时效性、可信性和可解释性。
2024-07-14 17:36:12
2116
原创 【理论篇】数据挖掘 第二章 认识数据
带着问题看文章：1、数据由什么类型的属性或字段组成？2、每个属性具有何种类型的数据值?3、哪些属性是离散的，哪些是连续值的?4、什么方法可以可视化地观察数据，以便更好地理解它吗?5、可以度量某些数据对象与其他数据对象之间的相似性吗?
2024-07-14 15:27:33
604
原创 【理论篇】数据挖掘 第一章 引论
数据挖掘是从大量数据中挖掘有趣模式和知识的过程。模式又是什么？模式通常指的是数据中的一种规律、趋势或特征，可以是单一的特征、属性，也可以是多个特征之间的关系或组合。也可以简单的理解为规律或关联性。知识发现的过程有以下几个步骤：1、数据清理(消除噪声和删除不一致数据)；2、数据集成(多种数据源可以组合在一起)；3、数据选择(从数据库中提取与分析任务相关的数据)；4、数据变换(通过汇总或聚集操作，把数据变换和统一成适合挖掘的形式)；5、数据挖掘(基本步骤，使用智能方法提取数据模式)；
2024-07-07 10:44:43
644
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人