JJJJ_iii-CSDN博客

原创肝完了！2025吴恩达机器学习笔记【自用完整版】| 全系列目录索引

本文是【2025吴恩达机器学习课程笔记】全16篇系列文章的官方汇总目录帖。内容严格遵循吴恩达老师的教学大纲，覆盖了从监督学习（线性回归、逻辑回归、神经网络）、无监督学习（K-均值、PCA、异常检测）到强化学习（Q-Learning、DQN）的完整知识体系。本帖提供全系列博文的超链接导航，旨在为学习者构建一份清晰的学习路线图和一站式快速查阅指南。无论你是初学者系统入门，还是从业者巩固知识，这都是一份强烈建议收藏的学习资源。

2025-11-08 10:34:45 1369

原创【机器学习16】连续状态空间、深度Q网络DQN、经验回放、探索与利用

本文介绍了连续状态空间下的强化学习及其应用。相较于离散状态空间，连续状态空间（如自动驾驶直升机、月球登陆器）使用高维连续向量描述状态，导致传统表格方法失效，必须引入神经网络进行近似。以月球登陆器为例，其状态由8维向量表示，动作有4种选择。通过设计精细的奖励函数引导智能体学习，最终目标是找到最优策略π。深度Q学习（DQN）通过神经网络近似Q函数，将强化学习转化为监督学习问题，利用贝尔曼方程构建训练集进行网络训练。这种方法有效解决了高维连续状态空间的挑战，为复杂任务提供了可行的解决方案。

2025-11-05 19:52:18 838 1

原创【机器学习15】强化学习入门、Q-Learning、贝尔曼方程

本文介绍了强化学习的基本概念和关键术语，重点阐述了Q-Learning算法在马尔可夫决策过程中的应用。内容分为三个部分：强化学习入门：通过与监督学习的对比，说明强化学习通过奖励机制让智能体在环境中学习最优策略，并以自动驾驶直升机为例展示其应用场景。关键术语解析：以火星车示例详细解释了状态、行动、奖励、回报、折扣因子和策略等核心概念，构建了强化学习的理论基础。 Q-Learning算法：引入马尔可夫决策过程作为强化学习的数学框架，为后续算法讲解奠定基础。文章通过具体案例和表格对比，清晰地展现了强化学习在

2025-11-05 18:22:15 1422

原创【机器学习14】深度学习推荐系统、降维技术PCA

本文探讨了推荐系统的高级应用与方法，重点介绍了基于深度学习的现代推荐架构。首先分析了协同过滤的局限性（如冷启动问题），提出通过引入额外信息构建混合推荐系统。然后比较了协同过滤与基于内容过滤的区别，并详细阐述了深度学习推荐系统的实现方案：使用用户网络和物品网络分别生成低维嵌入向量，通过点积预测评分。对于大规模系统，推荐采用召回（快速筛选候选）和排序（精准打分）两阶段流程。最后简要提及了TensorFlow实现这种双塔神经网络模型的可能性。全文从基础理论到工业实践，系统性地讲解了现代推荐系统的核心技术。

2025-11-05 15:51:44 676

原创【机器学习13】异常检测优化、推荐系统、协同过滤

本文首先深入探讨了异常检测与监督学习的核心区别与适用场景，并介绍了通过特征工程优化异常检测模型的方法。随后，文章系统性地引入了推荐系统，从基于内容的推荐算法入手，详细讲解了如何为用户和物品构建模型。核心部分聚焦于强大的协同过滤算法，阐述了其如何同时学习用户偏好和物品特征，并覆盖了均值归一化处理冷启动问题以及在TensorFlow中实现自定义训练循环等关键技术细节。

2025-11-03 13:56:38 1108

原创【机器学习12】无监督学习：K-均值聚类与异常检测

本文标志着我们从监督学习迈向无监督学习。文章首先详细介绍了无监督学习的核心任务——聚类，并深入剖析了最经典的K-均值（K-means）算法，包括其迭代步骤、优化目标（失真函数）以及在实践中如何选择聚类数量K。随后，文章转向了无监督学习的另一大应用——异常检测，阐述了其基于密度估计的核心思想，并详细介绍了一种基于高斯分布的异常检测算法的实现与评估方法。

2025-11-02 20:00:02 1003

原创【机器学习11】决策树进阶、随机森林、XGBoost、模型对比

本文深入探讨决策树模型的高级应用与集成学习方法。首先讲解了决策树如何通过独热编码和最优分割点来处理多值分类特征与连续特征，并介绍了其在回归任务中如何基于方差缩减进行学习。随后，为解决单棵决策树的不稳定性，文章详细阐述了两种强大的集成技术：Bagging（及其演进版随机森林）和Boosting（及其高效实现XGBoost）。最后，对决策树与神经网络的优劣进行了全面对比，为不同场景下的模型选择提供指导。

2025-10-31 20:30:30 1349

原创【机器学习10】项目生命周期、偏斜类别评估、决策树

本文首先概述了机器学习项目的完整生命周期，从项目定义到生产部署（MLOps）。接着，文章深入探讨了在偏斜类别问题中准确率指标的局限性，并详细介绍了精确率、召回率及F1分数作为更有效的评估工具。最后，我们引入了一种全新的分类模型——决策树，并详细阐述了其学习过程，包括如何利用熵和信息增益来构建最佳的树形结构。

2025-10-31 20:05:55 787

原创【机器学习09】调试策略、错误分析、数据增强、迁移学习

本文以吴恩达视频为参考，介绍了机器学习模型调试的核心策略，包括针对高偏差（欠拟合）和高方差（过拟合）的不同优化方法。重点阐述了偏差-方差权衡原理，并详细说明了神经网络调试流程：先通过增大网络解决高偏差，再通过正则化或增加数据解决高方差。文章还提出了机器学习开发的迭代循环框架，并强调错误分析的重要性——通过统计模型错误类型来指导优化方向。最后指出以数据为中心的AI视角，建议针对性增加错误类型数据和采用数据增强技术。这些方法为系统性地优化机器学习模型提供了清晰路径。

2025-10-28 22:58:31 998

原创【机器学习08】模型评估与选择、偏差与方差、学习曲线

本文以吴恩达机器学习视频为参考，将深入探讨如何系统性地调试和优化机器学习算法。当模型效果不佳时，我们不应盲目尝试，而应采用机器学习诊断法。文章将详细讲解如何通过划分训练集、交叉验证集与测试集来科学地进行模型评估与选择。核心内容将聚焦于如何利用训练误差与交叉验证误差来精准诊断模型存在的高偏差（欠拟合）或高方差（过拟合）问题，并引入学习曲线作为判断“是否需要更多数据”这一关键问题的有力工具，为算法优化提供明确方向。

2025-10-22 18:09:13 1150

原创【机器学习07】激活函数精讲、Softmax多分类与优化器进阶

以吴恩达机器学习视频为参考，神经网络中激活函数的选择策略及其重要性。激活函数（如Sigmoid、ReLU）为网络引入非线性能力，使其能学习复杂模式。选择建议：隐藏层推荐使用ReLU以避免梯度消失；输出层根据任务类型选择（二分类用Sigmoid，回归用线性或ReLU）。特别强调隐藏层禁用线性激活函数，否则网络将退化为线性模型。此外介绍了多分类问题的Softmax回归原理及交叉熵损失函数，并指出TensorFlow实现时需注意数值稳定性问题。通过合理选择激活函数，可以显著提升神经网络性能。

2025-10-22 11:57:56 1017 2

原创【机器学习06】神经网络的实现、训练与向量化

本文以吴恩达机器学习课程为基础，聚焦于神经网络的编程实践与核心原理。文章首先详解了如何使用TensorFlow Keras API，通过创建、编译与拟合的训练三步骤来高效构建模型。为揭示其底层机制，文章通过手动实现前向传播，引出了性能优化的关键——向量化，并阐明了如何用矩阵乘法替代低效循环以提升计算速度。

2025-10-21 20:41:59 1339

原创【机器学习05】神经网络、模型表示、前向传播、TensorFlow实现

本文是神经网络的入门介绍，首先从其模拟生物大脑的灵感和发展历史讲起。文章详细阐述了神经网络的模型表示，解释了其由输入层、隐藏层和输出层构成的分层结构，以及单个神经元如何作为基本计算单元。核心部分深入讲解了“前向传播”过程，即数据从输入端开始，逐层计算神经元的激活值，直至抵达输出层的完整流程，并介绍了相应的数学符号。最后，通过实例展示了如何利用TensorFlow框架中的Dense层，以简洁的代码轻松构建和运行一个神经网络模型。

2025-10-20 21:20:07 1255

原创【机器学习04】过拟合与欠拟合、正则化

本文深入探讨了机器学习中关键的过拟合与欠拟合问题，解释了过拟合如何因模型过度复杂而损害其泛化能力。作为核心解决方案，文章详细介绍了正则化技术。其原理是在代价函数中引入一个惩罚项，通过限制参数 w 的大小来简化模型、使其更平滑。文中具体阐述了正则化参数 λ 如何平衡数据拟合与模型复杂度，并分别展示了正则化是如何被应用于线性回归和逻辑回归的代价函数及梯度下降算法中，以有效防止过拟合。

2025-10-20 11:14:37 1257

原创【机器学习03】学习率与特征工程、多项式回归、逻辑回归

本文以吴恩达机器学习教程为指导，首先探讨了线性回归的实践技巧，包括通过学习曲线调试梯度下降、选择合适的学习率α，以及利用特征工程和多项式回归拟合复杂数据。随后，文章转向分类问题，详细介绍了逻辑回归模型。内容涵盖了其核心的Sigmoid函数、作为概率的输出解读和决策边界的概念。最后，为逻辑回归推导了专用的对数损失（交叉熵）代价函数，确保了优化过程的凸性，并给出了其梯度下降的更新规则。

2025-10-15 17:16:03 1113 2

原创【机器学习02】梯度下降、多维特征线性回归、特征缩放

本文深入讲解了核心优化算法——梯度下降，阐述了其更新规则、学习率α的关键作用，并将其应用于线性回归的参数求解。文章进一步将模型扩展至多维特征场景，引入了向量化表示以提升计算效率，并简要提及了正规方程。最后，重点介绍了一个必不可少的实践技巧——特征缩放，通过分析其如何改善代价函数等高线图的形态，解释了为何它能显著加速梯度下降的收敛速度，并总结了Z-score标准化等常用实现方法。

2025-10-15 13:53:45 989

原创【机器学习01】监督学习、无监督学习、线性回归、代价函数

本文是吴恩达机器学习课程的第一篇学习笔记，系统地介绍了机器学习的入门核心概念。文章首先对两大基本范式进行区分：利用带标签数据进行预测的“监督学习”（包含回归与分类），以及在无标签数据中探索内在结构的“无监督学习”（以聚类为例）。随后，文章聚焦于监督学习中的第一个具体算法——单变量线性回归，详细定义了其模型表示 f(x)=wx+b 及相关术语。最后，引入了衡量模型性能的关键工具“代价函数”，通过可视化的方式直观解释了平方误差代价函数 J(w,b) 的原理，并明确了线性回归的优化目标即是找到使代价最小化的参数

2025-10-14 21:07:53 1294

原创【深度学习05】PyTorch:完整的模型训练套路

本文介绍了完整的神经网络模型训练流程，分为两个核心部分：模型定义和训练脚本。在model.py中定义了Tudui卷积神经网络结构，包含3个卷积层和2个全连接层，适合处理CIFAR-10图像数据。train.py则实现了标准训练流程：准备数据集、创建模型实例、定义损失函数和优化器、设置训练循环（包含前向传播、计算损失、反向传播和参数更新四个步骤），以及添加测试评估和模型保存功能。文章详细讲解了卷积层、池化层等关键参数设置，并强调了模型结构与训练逻辑分离的工程实践。

2025-10-09 15:07:48 1730 3

原创【深度学习04】PyTorch：损失函数、优化器、模型微调、保存与加载

本文介绍了神经网络训练中的损失函数与反向传播机制。文章首先阐述了损失函数的作用：量化模型预测与真实目标的差距，为反向传播提供依据。接着，重点讲解并用代码演示了L1 Loss、MSE Loss及CrossEntropy Loss三种常用损失函数的计算方法。文中还展示了如何在训练循环中集成损失计算，并阐明了反向传播正是利用计算出的损失值来调整网络参数，从而使模型预测不断逼近真实目标。全文结合图示与代码，清晰地揭示了损失函数在深度学习中的核心概念与关键作用。

2025-10-06 22:53:09 1326 1

原创【深度学习03】神经网络基本骨架、卷积、池化、非线性激活、线性层、搭建网络

本文介绍了PyTorch中神经网络的基本骨架nn.Module的使用方法，重点讲解了forward函数的定义与自动调用机制。通过简单代码示例展示了继承nn.Module构建自定义网络的过程。文章还深入解析了卷积操作原理，包括输入图像、卷积核和特征图的关系，以及步长、填充等核心参数的作用。最后通过PyTorch代码复现了卷积计算过程，演示了不同参数设置对输出结果的影响，帮助读者理解卷积神经网络的基础计算流程。

2025-10-06 16:20:35 1109

原创【深度学习02】TensorBoard 基础与 torchvision 图像变换工具详解（附代码演示）

本文介绍TensorBoard使用与torchvision.transforms图像变换工具。含TensorBoard安装、SummaryWriter的add_scalar()和add_image()方法，及终端启动并指定端口的命令；还讲图像读取转换（用OpenCV、PIL库），以及transforms的Compose（组合）、ToTensor（转张量）、ToPILImage（张量转图像）、Normalize（标准化）工具。文中用代码示例演示工具用法与参数，强调数据预处理中格式转换的重要性。

2025-10-05 23:52:25 945 2

原创【深度学习01】快速上手 PyTorch：环境 + IDE+Dataset

这篇文章介绍了PyTorch深度学习环境配置和基本工具使用。主要内容包括：1) 使用dir()和help()函数探索PyTorch包结构；2) PyCharm和Jupyter的配置与使用方法对比；3) Dataset类的实战应用，演示如何加载图片数据集。文章提供了详细的安装配置指南和代码示例，适合PyTorch初学者快速入门。

2025-10-05 14:26:14 1684 8

原创【左程云算法020】递归和master公式

这篇文章讲解了递归算法和Master公式的应用。主要内容包括：1) 通过数组求最大值示例展示递归思想，分析递归调用的系统栈实现过程；2) 说明递归可改为非递归，但工程实现需考虑系统栈空间限制；3) 重点介绍Master公式(T(n)=a*T(n/b)+O(n^c))，该公式适用于子问题规模相同的递归，可直接计算时间复杂度，并给出三种情况的复杂度判断方法；4) 通过多个示例说明如何确定公式中的a、b、c参数，强调子问题规模必须相同才适用该公式。文章配有详细图解和代码示例帮助理解递归执行过程。

2025-10-04 22:46:42 925

原创【左程云算法018】二叉树遍历非递归写法及复杂度分析

本文介绍了使用栈实现二叉树前序和中序遍历的非递归方法。前序遍历通过先压右子节点再压左子节点的顺序保证访问顺序；中序遍历则通过先将左边界全部压栈，再处理节点及其右子树的方式实现。两种方法的时间复杂度均为O(n)，空间复杂度取决于树的高度。文章通过图示和代码逐步演示了两种遍历的栈操作过程，帮助理解非递归遍历的实现原理。

2025-09-27 20:30:35 984

原创【左程云算法017】二叉树遍历递归写法

本文介绍了二叉树及其三种遍历方式：先序、中序和后序。二叉树由节点组成，每个节点包含值和左右子节点引用。先序遍历：按“中左右”顺序访问节点，代码中先打印当前节点值，再递归处理左右子树。中序遍历：按“左中右”顺序，先递归处理左子树，返回时打印节点值，再处理右子树。后序遍历：按“左右中”顺序，左右子树递归完成后才打印当前节点值。代码演示均基于递归实现，核心逻辑为：遇到空节点则返回，否则按特定顺序递归和打印。三种遍历通过调整打印语句的位置来实现不同顺序。

2025-09-25 23:03:40 643

原创【左程云算法016】双端队列-双链表和固定数组实现

本文介绍了双端队列的两种实现方式：链表和数组。链表实现使用双向链表结构，通过头尾指针实现高效的插入和删除操作；数组实现则采用环形缓冲区，通过移动指针实现循环存取。两种方式都实现了队列的基本操作：头部/尾部插入、删除、获取元素，以及判断空/满状态。链表实现利用了Java的LinkedList类，代码简洁但依赖库函数；数组实现则通过手动管理指针和size变量，更底层高效。文章详细讲解了两种实现的逻辑和关键代码，包括环形缓冲区的指针移动策略。

2025-09-15 22:29:17 1005

原创【左程云算法015】栈的入门题目-最小栈

本文主要介绍了栈的入门题目-最小栈。用一个绝妙的方法来使时间复杂度最小。即用两个栈，data栈和min栈同步压入数字。代码演示中还介绍了两种写法：第一种是用官方的stack，第二种是用数组亲手搭建一个栈，这样做可以使效率更高。

2025-09-14 21:31:50 664

原创【左程云算法014】栈和队列相互实现

本文介绍了两种数据结构转换的实现方法：使用栈实现队列（LeetCode 232）和使用队列实现栈（LeetCode 225）。第一种方法通过两个栈（in和out）来模拟队列操作，重点在于当out栈为空时将in栈元素全部倒入out栈，保证先进先出顺序。第二种方法利用单个队列，在每次push新元素时，将原有元素依次移到新元素后面，从而模拟后进先出的栈行为。两种实现都详细说明了核心操作的时间复杂度，并提供了完整的Java代码实现注释，包括push、pop、peek等关键方法的解释和示例。

2025-09-13 18:02:32 1043

原创【左程云算法013】队列和栈-链表数组实现

本文介绍了队列和栈这两种基础数据结构及其实现方式。队列遵循先进先出(FIFO)原则，核心操作包括入队(offer)、出队(poll)等，可通过链表或数组实现。栈遵循后进先出(LIFO)原则，核心操作包括入栈(push)、出栈(pop)等，同样支持数组和链表实现。文章重点讲解了数组实现队列和栈的具体方法，并详细解析了循环队列的实现原理，包括使用size变量简化判断逻辑、指针的环形移动等关键技术。最后通过LeetCode 622题展示了循环队列的完整代码实现。

2025-09-11 22:15:05 1093

原创【左程云算法009-012】链表入门练习合集

本文系统讲解了链表的基础操作和经典题目。首先详细解析了单链表和双链表的定义及反转操作，通过堆栈分析展示了指针调整过程。随后介绍了三个经典链表问题：合并两个有序链表、两数相加链表、按给定值划分链表。每个问题都结合代码和内存分析，阐释了核心思路和实现细节。重点强调了指针操作技巧和边界条件处理，如反转时的引用保存、合并时的尾指针移动、加法时的进位处理等。这些基础算法不仅考察编码能力，也是理解指针运用的绝佳范例，为后续复杂数据结构学习打下坚实基础。

2025-09-06 13:32:55 1338

原创【左程云算法005、008】对数器&算法和数据结构大致分类

文章摘要：本文介绍了对数器的实现原理与应用，通过随机样本生成器和暴力解验证算法正确性。核心包括：1)随机样本生成器创建测试数据；2)主驱动逻辑组织测试流程；3)辅助函数确保测试准确性。对数器可自动发现边界案例，提升调试效率。同时提出算法分类：硬计算（精确解）和软计算（近似解），以及数据结构底层分为连续结构（如数组）和跳转结构（如链表）。对数器是验证复杂算法的有力工具，适用于各类编程场景。

2025-09-06 11:20:33 1177

原创【左程云算法007】时间复杂度和空间复杂度

本文系统讲解了算法复杂度分析的核心要点。时间复杂度关注与数据量相关的操作次数表达式，只保留高阶项；空间复杂度强调额外空间使用。对于固定流程算法（如插入排序）需分析最差情况，而含随机行为的算法（如快速排序）则考察平均复杂度。文章通过动态数组扩容案例阐述了均摊复杂度的概念，指出应避免仅通过代码结构判断复杂度（如单循环冒泡排序实为O(N^2)）。特别强调调和级数N/1+N/2+...+N/N的时间复杂度是O(N*logN)。最优解需先满足时间复杂度最优，再优化空间。常数操作时间差异需通过实验测定，理论分析让位于实

2025-09-05 15:12:33 1526 1

原创【左程云算法006】二分搜索

本文系统讲解了二分搜索算法及其变种应用。首先介绍了在有序数组中判断元素是否存在的基础二分法，详细解析了核心思想、代码实现和边界处理。随后讲解了两种常见变种：寻找≥num的最左位置和≤num的最右位置。特别探讨了计算中间位置时防止溢出的技巧(L+(R-L)/2)。文章还指出二分法不仅限于有序数组，通过LeetCode 162题展示了在无序数组中寻找峰值的应用。最后提及了二分答案法（后续讲解），并强调了对数器验证算法正确性的重要性。全文通过代码逐行解析和示例说明，全面覆盖了二分搜索的核心概念和实践要点。

2025-09-04 23:08:48 1095 1

原创【左程云算法004】选择、冒泡、插入排序

本文介绍了三种基础排序算法：选择排序通过遍历未排序部分找到最小值并交换位置；冒泡排序通过相邻元素两两比较使最大值逐渐右移；插入排序则将待排元素插入已排序部分的合适位置。每种算法都用Java代码实现，并附有示例数组演示排序过程。这三种算法时间复杂度均为O(n²)，是理解更复杂排序算法的基础。

2025-09-04 12:15:00 432

原创【左程云算法003】二进制和位运算

本文系统介绍了计算机二进制相关知识体系：1. 二进制基础概念，包括位(bit)和二进制表示法；2. 正负数的二进制表达方法，负数采用补码表示；3. 二进制与十进制的相互转换方法；4. 有符号整数的表示范围；5. 二进制相反数的计算方法；6. 位运算(与、或、异或、取反、移位)的原理和实际应用；7. 逻辑运算(与、或)的特点。重点阐述了补码表示法、位运算的高效特性及其在算法优化中的重要作用，并通过大量示例演示了各种运算的实际效果。文章还特别强调了位运算与逻辑运算的区别，以及负数移位运算的特殊处理方式。

2025-09-03 21:50:19 944 3

空空如也

空空如也