[2022]李宏毅深度学习与机器学习课程内容总结

最新推荐文章于 2023-01-06 08:13:58 发布
最新推荐文章于 2023-01-06 08:13:58 发布
阅读量990 收藏 3
点赞数 2
分类专栏： 深度学习 李宏毅深度学习笔记 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45920982/article/details/128164716
版权

[2022]李宏毅深度学习与机器学习课程内容总结

课程感受

没有想到自己可以完整的看完李宏毅老师的深度学习课程，并且坚持做笔记，这里给自己鼓掌。李宏毅老师讲课风格幽默有趣，让人可以全神贯注的听课。老师讲的课程内容注重基础的同时结合了很多最近几年的论文，非常有深度，让人眼前一亮。整体听完感觉自己收获了很多，所以在这里总结一下课程涉及到的知识内容。

第一讲必修

ML的三个步骤

第一讲选修

深度学习发展趋势

反向传播

从线性模型到神经网络

为什么要用正则化技术

为什么分类是用交叉熵损失函数而不是Square Error

Discriminative Vs Generative

第二讲必修

机器学习的任务攻略

在训练集上损失较大时

应该过拟合的方法

N-fold Cross Validation

local minima 和 saddle point

Small Batch vs Large Batch

Warm up

SGDM优化器

Adagrad

Adam

浅谈机器学习的原理——为什么参数越多越容易overfitting

第二部分选修

SGD

SGDM

Adagrad

RMSProp

Adam

Adam vs SGDM

AMSGrad和AdaBound

RAdam

K-step forward，1 step back

在这里插入图片描述

正则化在优化里的应用如果

第三讲CNN

如何理解CNN

整体架构

Spatial Transformer

Deep learning 让鱼和熊掌兼得

解释为什么是deep learn而不是wide learn

第四讲必修Self-attention

Self-attention的具体实现

Self-attention的应用

Self-attention vs CNN

Self-attention vs RNN

Self-attention for Graph

第四讲选修GNN 和 RNN

为什么需要GNN

NN4G

DCNN

MoNET

GTA

GIN

RNN介绍

为什么RNN一开始训练不起来

LSTM

GRU

各式各样的Self-attention

在这里插入图片描述

Longformer 和 Big Bird

Reformer

Sinkorn

Linformer

Linear Transformer and Performer

Synthesizer

第五讲必修Transformer

Encoder架构

Layer norm

Decoder

Masked Self-attention

Autoregressive和not Autoregressive

训练的技巧

pointer network

Guided Attention

Beam Search

Scheduled Sampling

第六讲必修GAN

generator

Unconditional generator

Theory Behind

Tips for GAN

WGAN-Wasserstein distance

如何评价GAN

Diversity

Quality

FID

Conditional Generation

GAN+supervised

Cycle GAN的框架

第七讲必修Supervised Learning

Supervised Learning 模型家族

Bert

如何应用到Downstream Tasks

为什么Bert可以工作

为什么是Fine-tune

Multi-lingual Bert多语言的Bert

GPT

Beyond Text

Image-SimCLR

Image-BYOL

How to fine-tune

第八讲必修Auto-Encoder

Auto-Encoder

De-noising Auto-encoder

Feature Disentanglement

Discrete Representation

第九讲必修机器学习可解释性

为什么需要可解释性

Local Explanation

Which component is critical？

How a network processes the input data？

Global Explanation

第十讲必修Adversarial Attack

How to Attack

Attack Approach

Defense

Passive Defense

Proactive Defense

第十一讲必修Domain Adaptation

Domain Shift的类型

Domain Adaptation

Little but labeled

Large amount of unlabeled data

little and Unlabeled

第十二讲Reinforcement Learning RL

What is RL

Policy Gradient

Version 1

Version 2

Version 3

Actor-Critic

Version 3.5

Version 4

Tip of actor-Critic

Reward Shaping

No reward

第十三讲神经网络压缩

Network can be pruned

Why Pruning

Knowledge Distillation

Ensemble

Temperature for softmax

Parameter Quantization

Architecture Design-Depthwise Separable Convolution

Dynamic Computation

第十五讲Meta learning

Meta Learning

ML vs meta learning

What is learnable in learning algorithm？

走走走，快去看看世界
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
自监督模型 Self-supervised learning（李宏毅2022
linyuxi_loretta的博客
10-27 2063
这个红色的怪物叫做ELMo 、最早的self-supervised learning model作业四的模型也是个transformer，只有0.1个millionCookie Monster等你来凑😼T5是Google做的，跟车子也没什么关系，在没有label情况下，自己想办法做supervised；将没有标注的资料分成两部分，一部分作为输入，一部分作为标注，进行训练；自监督学习是unsupervised learning中的一种方法；
李宏毅深度学习课程笔记总结
weixin_43149509的博客
08-19 293
classification：分类问题 regression：回归问题 两大领域之外，还有 Structured Learning：机器产生有结构的东西的问题（机器学会创造） domain knowledge model：就是一个带有未知parameter 的 function loss：多个训练出来的值，对比出来的平均误差 label：真实的数值 error surface 第三步，optimization 最佳化的问题 使用的方法：gradient descent learning rate ：自己设置
2022李宏毅机器学习深度学习学习笔记第二十周
qq_45612705的博客
09-04 376
输入是一个序列，输出也是一个序列，但是输出的长度取决于机器。GPU的加入，使得更稳的大Batch策略摆脱了性能的束缚，但是因其太过稳定，且更新次数少，遇上critical point很难突破，所以较小的batch具有一定的随机性，更加能训练出好的模型，batch太小会频繁参数，所以batch大小也是一个超参数。RMSProp：基于RMS考虑历史梯度的思想，RMSProp在RMS的基础上进行了调整，增加了用于调节历史梯度和当前梯度的权重α ，使得RMSProp方法能够根据梯度的变化迅速调整学习率。
李宏毅深度学习总结
weixin_43904427的博客
07-25 266
课程资料 开源文档：datawhalechina.github.io/leeml-notes 课程视频：https://www.bilibili.com/video/BV1Ht411g7Ef 课程笔记 1.李宏毅深度学习课程笔记01——机器学习介绍 2. 李宏毅深度学习课程笔记02——回归 3.李宏毅深度学习课程笔记03——误差与梯度下降 4.李宏毅深度学习课程笔记04——深度学习与反向传播 5.李宏毅深度学习课程笔记05——神经网络训练不起来怎么办 6.李宏毅深度学习课程笔记...
李宏毅2022《机器学习/深度学习》——学习笔记（1）
dotJunz的博客
10-03 890
hyperparameters：机器学习中自己设定的参数，比如学习速率。weight: w（权重：与 feature 相乘的）如下所示是一个简单的 Model。优化下面函数，获得较好的参数值。模型就是带有未知参数的函数。bias: b（偏置）
李宏毅2022《机器学习/深度学习》——学习笔记（2）
dotJunz的博客
10-05 629
机器学习模型中一般有两类参数：一类需要从数据中学习和估计得到，称为模型参数（Parameter）—即模型本身的参数。还有一类则是机器学习算法中的调优参数（tuning parameters），需要人为设定，称为超参数（Hyperparameter）。这里引入了新的概念 batch，将总的训练集随机划分成一个个 batch，用每一个 batch 计算一个 Loss，计算梯度，更新一次。激活函数可以嵌套，把上一层激活函数的结果作为下一层激活函数的输入，这样函数的未知参数就会更多了，模型也更加复杂。
李宏毅老师2021深度学习课程笔记.pdf
10-08
2021春季李宏毅老师深度学习课程笔记（神经网络训练不起来处理方法+分类的数学原理）
李宏毅深度学习ppt
12-24
台湾大学李宏毅教授的深度学习方面的一些课堂ppt资料，希望可以帮到你们
李宏毅机器学习2021HW3食物数据集
07-06
1、本资源为台大李宏毅深度学习课程作业数据集。 2、训练集内含课程所需数据集 3、提供下载便利
李宏毅老师深度学习PPT
11-18
李宏毅老师在深度学习领域的教学资源深受业界好评，他的课程覆盖了多种先进技术，包括元学习、终身学习和强化学习等。 元学习，也称为学习学习，是一种使机器学习模型能够快速适应新任务的方法。在元学习中，模型...
李宏毅深度强化学习PPT（含机器学习课程对RL的简介）
11-01
在这个由李宏毅教授提供的课程中，他深入浅出地讲解了这一前沿技术，包括对强化学习的基本概念、算法以及深度学习如何在其中发挥作用的详细解释。 强化学习是一种通过与环境交互来学习最优策略的学习方式。在这个...
李宏毅2022《机器学习/深度学习》——学习笔记（5）
dotJunz的博客
12-05 1135
常用的优化方法 全连接神经网络的每个神经元和每一个输入都有连接，这样会使训练参数数目很大。 考虑到图片分类的特性，实际上每一个神经网络只需要和部分输入连接就行。由于人在识别图片中某个物体其实只是看图片中某些特征，比如看一只鸟，当看到了鸟喙、鸟的眼睛和鸟爪，就能判断这张图片代表的是一只鸟。因此一个神经元只看输入的某一块区域，当发现一些特征时，就可以判断这个物体的类别了。所以不需要每个神经元都去看一张完整的图片。 下面就可以做简化 本来一个神经元会看整个图片，也就是和3长宽的输入相连，现在设置一个感受野，让神
李宏毅机器学习2022春季-第十二课和HW12
weixin_42369818的博客
05-26 843
李宏毅2022机器学习HW12发布！
李宏毅机器学习2022春季-第十四课和HW14
weixin_42369818的博客
06-15 832
李宏毅机器学习2022春季-第十四课和HW14发布！
【李宏毅机器学习2022】Task07 总结
QAQterrible的博客
10-23 1178
本次对datawhale组织的《李宏毅机器学习-2021 10月》期学习进行总结。
深度学习的一点学习笔记（第一周 2022.1.24-2022.1.30）
weixin_54049495的博客
01-30 1610
写在前面的一些话 这篇博客开始是我在深度学习的学习中的一些小小的笔记，每天看一点视频， 写一点笔记，不能说写的如何，但重在坚持，一天写一点，积少成多，希望在今年 11月前能够把我们的项目顺利结项，也希望自己能够真正学到一些有用的东西。
【深度学习】李宏毅2021/2022春深度学习课程笔记 - Self-supervised Learning（自监督式学习）
热门推荐
知不足而奋进，望远山而前行
01-06 2万+
在训练的时候，BERT的输入是Mask的，如下图所示，输入“台湾大学”中的“湾”字被Mask了，通常Mask有两种方式，一种是替换为特殊的Mask符，还有一种是随机替换为另一个中文字符。Predict Next Token 是生成式的，它可以根据输入的Token预测下一个Token，然后再用预测的Token作为输入继续往下预测Token，直到预测出现终止符停止。有很多方法，如下图所示，实验表明，把这些扰动的方法都用上效果是比较好的。如下图所示，线性层的参数是随机初始化的，而BERT的参数是预训练后得到的。
[2022]李宏毅深度学习与机器学习第一讲（选修）听课笔记
weixin_45920982的博客
11-16 558
在第一步中，我们要自己决定结构需要根据经验和不断自己尝试，所以DL让问题从抽取特征变为定义结构。之前很多工作都是关注在如何抽取特征，有DL之后主要是如何构造网络结构。为什么DL在NLP上的效果并不是很好？老师给的猜想是，人对于文本提取特征能力很强，人设计的规则可能就能达到一个比较不错的效果。但是长久而言，DL在NLP里面的应用还是很广阔的。
台湾大学李宏毅机器学习课程
06-04
李宏毅（（Hung-yi Lee）目前任台湾大学电机工程学系和电机资讯学院的助理教授，他曾于2012年获得台湾大学博士学位，并于2013年赴麻省理工学院（MIT）计算机科学和人工智能实验室做访问学者。他的研究方向主要是语义理解、语音识别、机器学习和深度学习）老师的机器学习课程以机器学习和深度学习的基础知识为主，包含了AI领域的各种最新知识和技术点。课程深入简出，通俗易懂，颇受欢迎，非常适合对AI感兴趣的学习者。本课程已经获得李宏毅老师授权。
台大-李宏毅-B站机器学习视频-课件
最新发布
01-08
"该资源是台湾大学李宏毅教授在B站发布的机器学习课程相关课件，主要涉及无监督学习中的深度自编码器(Deep Auto-encoder)技术。" 深度自编码器是一种无监督学习方法，它由两部分组成：编码器(Encoder)和解码器...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值