![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
李宏毅机器学习笔记
文章平均质量分 94
v50显示简介内容
川泽曦星
我看我是完全不懂喔
展开
-
【第十周】李宏毅机器学习笔记08:各种各样的Attention
本周主要学习了除了 Self-attention 之外的各种 attention 机制,包括 Local Attention 、Stride Attention 和 Global Attention 等,每种不同的 attention 机制都适应于不同场景的任务。在多头注意力机制中,通常不同的头采取不同的注意力机制,充分利用了多种注意力机制的优点。除此之外还学习了可以让机器自己学习应该计算哪个部分注意力的机制,机器将输入序列传入一个新的神经网络,经过训练后生成一个矩阵来标记哪一部分的注意力应该被计算。原创 2024-09-01 19:00:00 · 991 阅读 · 0 评论 -
【第九周】李宏毅机器学习笔记07:Transformer
这周主要了解了 transformer 中的 encoder 和 decoder 的结构和实现原理。在 decoder 中学习了两种解码的方法,一种是 AT (Autoregressive Transformer) ,另一种是NAT(Non-Autoregressive Transformer)。其中,AT生成序列质量高但速度较慢,而NAT则以牺牲部分质量换取更快的生成速度。最后还学习了如何训练 transformer 以及训练中的小 tips。原创 2024-08-25 17:59:35 · 1014 阅读 · 0 评论 -
【第八周】李宏毅机器学习笔记06:RNN
本周学习了循环神经网络的基础知识,通过具体案例来了解RNN的应用方式,认识了不同形式的RNN以及LSTM。同时,学习了RNN网络的优缺点以及采用什么方式来避免RNN产生的梯度消失问题。最后,学习到了 Attention-based Model 的基本结构以及两个具体应用案例。RNN( Recurrent Neural Network,循环神经网络)是一种特殊的神经网络架构,专门设计用于处理序列数据,例如时间序列数据或自然语言文本。原创 2024-08-18 18:00:00 · 1199 阅读 · 0 评论 -
【第六周】李宏毅机器学习笔记番外篇02:基于Pytorch利用CNN实现手写数字识别
本周根据上一周学习的CNN基础知识进行了简单的代码实践,基于Pytorch框架使用卷积神经网络实现了一个简单的手写数字识别。通过这个实例,我加深了对卷积神经网络的理解,并且在这个过程中也更加熟悉了Pyrotch的各个功能和Pyhthon的语法。learning_rate = 0.001 # 学习率# 定义损失函数,计算模型的输出与目标标签之间的交叉熵损失# 训练过程通常采用反向传播来更新模型参数,这里使用的是SDG(随机梯度下降)优化器。原创 2024-08-04 19:09:45 · 852 阅读 · 0 评论 -
【第五周】李宏毅机器学习笔记04
学习率是梯度下降法的一个重要的参数,学习率的大小决定着模型训练的平滑程度和稳定性。本文介绍了自适应学习率,其根本原理是让学习率依赖梯度,使其随着梯度的改变而改变,当梯度较大时学习率应该变小,当梯度较小时学习率应该变大,从而让模型可以更高效地训练。为了实现自适应的学习率,我们学习了Adagrad算法和RMSProp算法。在采用了Adagrad算法后我们又发现了“梯度爆炸”的问题。为了解决该问题我们学习了Decay和Warm up方法,这两种方法令ηηη。原创 2024-07-28 20:28:32 · 921 阅读 · 0 评论 -
【第四周】李宏毅机器学习笔记番外篇01:房价预测模型实战
本周根据前三周学习的内容进行了代码实践,利用单层全连接神经网络训练了一个线性回归模型。通过这个实例,我加深了对模型训练三个步骤的理解,即函数建模、定义损失函数和寻找最佳参数,并且在这个过程中也更加熟悉了Python的语法与网络搭建的步骤。神经网络的搭建通常通常分为数据处理、模型设计、训练网络和封装函数四个部分。第一,数据处理包括数据读入、缺失值处理、归一化、数据shuffle、数据分批等等。第二,模型设计包括初始化、损失函数设计、前向计算和后向计算等等。原创 2024-07-21 20:19:00 · 639 阅读 · 0 评论 -
【第三周】李宏毅机器学习笔记03
这周学习了机器学习的任务攻略。在机器学习中我们通过损失函数的值来判断模型性能的好坏。当训练中的loss值达不到我们理想的结果时我们需要分析loss值过高的原因,有可能是model bias也有可能是optimization。当我们在训练集中的loss取得很好的结果之后就要去观察测试集上的loss。测试集上loss过大则可能产生过拟合,如何解决过拟合也是本周需要学习的内容。此外还学到了一种模型评估办法——K折交叉验证法。本文还介绍了局部最小点和鞍点,对判断局部最小点和鞍点的方法进行了手写推导。原创 2024-07-14 21:02:28 · 612 阅读 · 0 评论 -
【第一周】李宏毅机器学习笔记01
本周学习了机器学习的基本概念,包括机器学习的函数输入输出类型以及函数的分类,分别了解了简单模型和复杂模型的训练三步骤。认识了神经网络的的结构,了解了深度学习的训练三步骤,学习并手动推导了反向传播法,进一步理解了反向传播的思想以及反向传播中涉及的计算思路。原创 2024-06-30 18:59:35 · 832 阅读 · 0 评论 -
【第二周】李宏毅机器学习笔记02
这周将以宝可梦为例学习回归和分类任务的处理方法。对于回归任务,学习了如何提高预测的准确度以及降低过拟合的风险。对于分类任务,手推了后验概率公式,了解了如何运用数学语言来区分类别。对比了生成模型和判别模型的优缺点,以及实现线性回归和逻辑回归步骤的差异。这周以宝可梦为例学习了对回归问题和分类问题的处理。对于回归问题我们还是按照函数建模、函数评优和挑选函数三个步骤来解决问题。为了提高回归预测的准确度,我们可以增加模型的复杂度。但是,过于复杂的模型可能会导致过拟合现象,使得模型不能很好地泛化新的数据。原创 2024-07-07 21:02:07 · 726 阅读 · 0 评论