川泽曦星-CSDN博客

原创【第十五周】PyTorch深度学习实践2

本周继续对 PyTorch 进行进一步学习，重点理解了张量的维度变化，在上一周的基础上更加深入地学习了 PyTorch 中各个模块的作用，加深了对神经网络构造流程的印象。同时对比了 NLLLoss 和 CrossEntropy 的作用，理解了为什么神经网络使用 CrossEntropy 作为损失函数时在网络的最后一层不做激活。对于卷积神经网络，深刻理解了经过卷积、池化、全连接之后各个张量的维度变化。

2024-10-06 20:49:17 806

原创【第十四周】PyTorch深度学习实践1

本周主要对 PyTorch 进行实践学习，了解了PyTorch 中各个常用的类以及方法，学习了搭建神经网络的四个步骤，为后面手动复现模型提供了实践基础。其中，最重要的是学习到了看文档的能力，对于新学习到的类和方法能够通过查询文档去理解用法和作用。PyTorch 英文文档定义损失和优化器model.parameters() 返回模型中所有需要优化的参数。return xModel 继承自 torch.nn.Module 类。

2024-09-29 10:56:37 878

原创【第十三周】李宏毅机器学习笔记11：自监督学习

这周主要学习了自监督学习的概念，了解了 BERT 是如何实现自监督学习以及 BERT 为什么能够有效地完成任务。除此之外，还通过 BERT 的四个例子来理解怎样使用 BERT。最后了解了 Multi-lingual BERT 以及 GPT 的基本知识。BERT（Bidirectional Encoder Representations from Transformers）是一种由Google在2018年提出的自然语言处理预训练技术。

2024-09-22 18:50:32 868

原创【第十二周】李宏毅机器学习笔记10：生成式对抗网络2

本周主要学习了上周关于生成式对抗网络的剩余知识，了解了为什么 GAN 难以训练。此外，还学习了如何去评估 GAN 的性能以及在训练 GAN 过程中比较容易遇到的问题。最后还学习了条件生成对抗网络以及如何实现在非配对数据中学习。生成对抗网络（GANs）虽然强大且具有广泛应用潜力，但由于其独特的架构和训练方式，存在一些挑战使其训练变得困难。

2024-09-15 20:46:21 617

原创【第十一周】李宏毅机器学习笔记09：生成式对抗网络1

本周学习了生成式对抗网络，了解了生成器和判别器的基础原理，同时学习了 GAN 的训练过程和算法思想。最后了解了 Wasserstein Distance，学习了 WGAN 的一点基础。生成对抗网络（GAN）由生成器和判别器两部分组成：生成器学习生成类似真实数据的样本，而判别器则负责区分真实数据与生成的数据。传统的GAN采用最小最大博弈框架，其中生成器试图“欺骗”判别器，使它难以分辨真假，而判别器则努力准确地区分真实数据和生成数据。

2024-09-08 20:46:03 744

原创【第十周】李宏毅机器学习笔记08：各种各样的Attention

本周主要学习了除了 Self-attention 之外的各种 attention 机制，包括 Local Attention 、Stride Attention 和 Global Attention 等，每种不同的 attention 机制都适应于不同场景的任务。在多头注意力机制中，通常不同的头采取不同的注意力机制，充分利用了多种注意力机制的优点。除此之外还学习了可以让机器自己学习应该计算哪个部分注意力的机制，机器将输入序列传入一个新的神经网络，经过训练后生成一个矩阵来标记哪一部分的注意力应该被计算。

2024-09-01 19:00:00 1018

原创【第九周】李宏毅机器学习笔记07：Transformer

这周主要了解了 transformer 中的 encoder 和 decoder 的结构和实现原理。在 decoder 中学习了两种解码的方法，一种是 AT （Autoregressive Transformer），另一种是NAT（Non-Autoregressive Transformer）。其中，AT生成序列质量高但速度较慢，而NAT则以牺牲部分质量换取更快的生成速度。最后还学习了如何训练 transformer 以及训练中的小 tips。

2024-08-25 17:59:35 1046

原创【第八周】李宏毅机器学习笔记06：RNN

本周学习了循环神经网络的基础知识，通过具体案例来了解RNN的应用方式，认识了不同形式的RNN以及LSTM。同时，学习了RNN网络的优缺点以及采用什么方式来避免RNN产生的梯度消失问题。最后，学习到了 Attention-based Model 的基本结构以及两个具体应用案例。RNN（ Recurrent Neural Network，循环神经网络）是一种特殊的神经网络架构，专门设计用于处理序列数据，例如时间序列数据或自然语言文本。

2024-08-18 18:00:00 1222

原创【第七周】李宏毅机器学习笔记05：自注意力机制

本周学习了自注意力机制，了解了Self-attention的组成结构和有关参数α的计算方法，并且运用了线性代数的方法手动推导了求解输出矩阵的矩阵乘法表示方式，将复杂的问题简单化，更加深入理解了Self-attention的具体机制以及运用方法，最后也将Self-attention与CNN和RNN网络做对比，学习不同方法的优缺点。在师兄的建议下了解了空洞卷积和转置卷积的概念，对部分内容进行了笔算，加深了我对卷积运算的印象。本周进行了理论内容的学习，了解了自注意力机制。

2024-08-11 20:00:00 734

原创【第六周】李宏毅机器学习笔记番外篇02：基于Pytorch利用CNN实现手写数字识别

本周根据上一周学习的CNN基础知识进行了简单的代码实践，基于Pytorch框架使用卷积神经网络实现了一个简单的手写数字识别。通过这个实例，我加深了对卷积神经网络的理解，并且在这个过程中也更加熟悉了Pyrotch的各个功能和Pyhthon的语法。learning_rate = 0.001 # 学习率# 定义损失函数，计算模型的输出与目标标签之间的交叉熵损失# 训练过程通常采用反向传播来更新模型参数，这里使用的是SDG(随机梯度下降)优化器。

2024-08-04 19:09:45 865

原创【第五周】李宏毅机器学习笔记04

学习率是梯度下降法的一个重要的参数，学习率的大小决定着模型训练的平滑程度和稳定性。本文介绍了自适应学习率，其根本原理是让学习率依赖梯度，使其随着梯度的改变而改变，当梯度较大时学习率应该变小，当梯度较小时学习率应该变大，从而让模型可以更高效地训练。为了实现自适应的学习率，我们学习了Adagrad算法和RMSProp算法。在采用了Adagrad算法后我们又发现了“梯度爆炸”的问题。为了解决该问题我们学习了Decay和Warm up方法，这两种方法令ηηη。

2024-07-28 20:28:32 942

原创【第四周】李宏毅机器学习笔记番外篇01：房价预测模型实战

本周根据前三周学习的内容进行了代码实践，利用单层全连接神经网络训练了一个线性回归模型。通过这个实例，我加深了对模型训练三个步骤的理解，即函数建模、定义损失函数和寻找最佳参数，并且在这个过程中也更加熟悉了Python的语法与网络搭建的步骤。神经网络的搭建通常通常分为数据处理、模型设计、训练网络和封装函数四个部分。第一，数据处理包括数据读入、缺失值处理、归一化、数据shuffle、数据分批等等。第二，模型设计包括初始化、损失函数设计、前向计算和后向计算等等。

2024-07-21 20:19:00 650

原创【第三周】李宏毅机器学习笔记03

这周学习了机器学习的任务攻略。在机器学习中我们通过损失函数的值来判断模型性能的好坏。当训练中的loss值达不到我们理想的结果时我们需要分析loss值过高的原因，有可能是model bias也有可能是optimization。当我们在训练集中的loss取得很好的结果之后就要去观察测试集上的loss。测试集上loss过大则可能产生过拟合，如何解决过拟合也是本周需要学习的内容。此外还学到了一种模型评估办法——K折交叉验证法。本文还介绍了局部最小点和鞍点，对判断局部最小点和鞍点的方法进行了手写推导。

2024-07-14 21:02:28 632

原创【第二周】李宏毅机器学习笔记02

这周将以宝可梦为例学习回归和分类任务的处理方法。对于回归任务，学习了如何提高预测的准确度以及降低过拟合的风险。对于分类任务，手推了后验概率公式，了解了如何运用数学语言来区分类别。对比了生成模型和判别模型的优缺点，以及实现线性回归和逻辑回归步骤的差异。这周以宝可梦为例学习了对回归问题和分类问题的处理。对于回归问题我们还是按照函数建模、函数评优和挑选函数三个步骤来解决问题。为了提高回归预测的准确度，我们可以增加模型的复杂度。但是，过于复杂的模型可能会导致过拟合现象，使得模型不能很好地泛化新的数据。

2024-07-07 21:02:07 741

原创【第一周】李宏毅机器学习笔记01

本周学习了机器学习的基本概念，包括机器学习的函数输入输出类型以及函数的分类，分别了解了简单模型和复杂模型的训练三步骤。认识了神经网络的的结构，了解了深度学习的训练三步骤，学习并手动推导了反向传播法，进一步理解了反向传播的思想以及反向传播中涉及的计算思路。

2024-06-30 18:59:35 868

qq_30043925的博客