台大李宏毅老师——深度学习 课程笔记 五 （Deep Learning BackPropagation)

最新推荐文章于 2023-03-27 17:38:59 发布
最新推荐文章于 2023-03-27 17:38:59 发布
阅读量434 收藏
点赞数
分类专栏： 深度学习 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43716712/article/details/123126155
版权

文章目录

Introduction

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
Deep Learning的神经网络就是一个function

Neural Network

在这里插入图片描述
在这里插入图片描述
现在用的激活函数已经是tanh或者leakyRelu了。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
ResNet用了特殊的结构，不是单纯的叠加层数
在这里插入图片描述
其实本质用的Matrix Operation。但是我现在想不起来batch是怎么做运算的。batch应该是增加一维。
在这里插入图片描述
在这里插入图片描述
这种线性代数的计算不断堆叠，GPU算起来更快。
在这里插入图片描述
可以看到中间的隐藏层作用就是特征的提取，代替了机器学习的特征工程。
在这里插入图片描述
在这里插入图片描述
输入256维，输出10维
在这里插入图片描述
hidden layer可以产生无数个function，我们要通过梯度下降来找到最佳的一个funciton。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Backpropagation

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

大叔爱学习.
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
李宏毅老师2021深度学习课程笔记.pdf
10-08
2021春季李宏毅老师深度学习课程笔记（神经网络训练不起来处理方法+分类的数学原理）
李宏毅机器学习课程10~~~卷积神经网络
jiandanjinxin的专栏
08-08 8367
卷积的意义 数字图像是一个二维的离散信号，对数字图像做卷积操作其实就是利用卷积核（卷积模板）在图像上滑动，将图像点上的像素灰度值与对应的卷积核上的数值相乘，然后将所有相乘后的值相加作为卷积核中间像素对应的图像上像素的灰度值，并最终滑动完所有图像的过程。 这张图可以清晰的表征出整个卷积过程中一次相乘后相加的结果：该图片选用3*3的卷积核，卷积核内共有九个数值，所以图片右上角公式中一共有九
2021李宏毅作业hw3 --食物分类。对比出来的80准确率。
YI_SHU_JIA的博客
04-25 6412
对比学习， 半监督尝试 李宏毅作业3
[datawhale202210]李宏毅机器学习2021：adversarial attack来自人类的恶意攻击
qq_40990057的博客
10-12 490
本节了解了人类的恶意攻击的动机，定义，和在ResNet上具体应用的效果。为了实现attack，我们需要找到一个合适的噪声，噪声可以通过对无目标和有目标的任务定义不同的损失函数来确定。
[2022]李宏毅深度学习与机器学习第十讲（必修）-Adversarial Attack
weixin_45920982的博客
12-01 176
简单的说就是制造新的训练资料，这个资料都被攻击过，模型学习到了这些被攻击的资料就可以抵抗了。如果train的时候没有考虑的攻击，用没有考虑的攻击进行攻击，那么可能模型就抵抗不了了。同时需要很多计算资料。比较经典同时快速的方法是Fast Gradient Sign Method（FGSM），我们不直接用而是加一个sign，攻击完之后一定落在范围内，只更新一次，所以是Fast，这往往能必杀。但是被动防御一旦别人知道了，他们被动防御就没有用了，所以可以加上噪声，改变的方式连自己都不知道，就增加了攻击的难度。
【抗疫不出门】李宏毅教授机器学习课程笔记三——攻击和防御
weixin_39389001的博客
03-02 562
这一讲是：Attack and Defense 视频地址 Attack讲的是如何攻击机器学习 Defense讲的是如何来抵御这个攻击 攻击是比较容易的（现有的很多机器学习模型都容易被攻击）。防御却比较困难（如何有效防御，还有很远的路要走）。 文章目录1 动机2 Attack2.1 什么是机器学习攻击2.2 Attack的损失函数和约束条件2.2.1 损失函数2.2.2 约束条件2.3 如何解Att...
李宏毅机器学习作业8-异常检测（Anomaly Detection）， autoencoder， 残差网络
iwill323的博客
11-20 2337
李宏毅机器学习作业8-异常检测（Anomaly Detection） autoencoder
tensorflow下实现ResNet网络对数据集cifar-10的图像分类
热门推荐
AI前行之路
05-15 2万+
Inceptionv3传送门：Inceptionv3 DenseNet传送门：DenseNet SegNet传送门：semantic segmentation-segnet ResNet论文地址：https://arxiv.org/pdf/1512.03385.pdf 先来简单讲讲ResNet的网络结构。ResNet的出现是为了解决深度网络中由于层数太多，导致的degradation pr...
TensorFlow学习－－ResNet实现
akadiao的博客
11-28 8126
github上用ResNet模型对CIFAR-10数据集进行分类，链接：CIFAR-10 ResNet model CIFAR-10数据集，链接：The CIFAR-10 dataset ResNet结构 从AlexNet之后神经网络有两个发展方向，一是调整网络结构，二是增加网络深度，如下所示：  LeNet→AlexNet→{NIN→InceptionV1→InceptionV...
李宏毅--Machine Learning and having it deep and structured
忧郁一休
12-26 1万+
国立台湾大学电机工程学系助理教授–李宏毅 研究领域：机器学习、深度学习、语义理解、语音辨识 个人主页 课程名称：Machine Learning and having it deep and structured有PPT（pdf版本），有授课视频，可在线学习，也可下载观看。
深度学习笔记（5）——学术界的霸主Resnet
迷川浩浩的博客
07-23 6299
前言在当今学术界的论文里，几个baseline网络LeNet、AlexNet、VGGNet、GoogLeNet、ResNet都是大家用的多的CNN网络。其中LeNet、AlexNet、VGGNet这三个都是很古老的CNN线性网络，属于新手喜欢用的VGG like 网络，这些网络结构简单，从输入到输出一条路走到黑，所以工业界对这些网络都有很有效的加速优化，但是在学术界却因为泛化能力有限近年逐渐被淘汰。
【李宏毅机器学习笔记】6、简单介绍深度学习（Deep Learning）
01-06
【李宏毅机器学习笔记】6、简短介绍Deep Learning 【李宏毅机器学习笔记】7、反向传播（Backpropagation） 【李宏毅机器学习笔记】8、Tips for Training DNN 【李宏毅机器学习笔记】9、Convolutional Neural Network...
李宏毅深度学习课程中的笔记
08-08
适用于初学deeplearning的初学者，方便笔记
台湾大学李宏毅老师机器学习课程Machine Learning (2020,Spring)
11-05
李宏毅老师今年的机器学习课程的全部PPT
machineLearningDeepLearning:李宏毅2021机器学习深度学习笔记PPT作业
05-11
李宏毅老师2021年Spring机器学习深度学习上线新课程，持续更新中 PPT，作业代码，学习笔记，上课代码，tensorflow|pytorch将会上传到github，欢迎Star，请多多鼓励。 如何下载本库内容 下载方式 1 git工具下载 ​ ...
【深度学习】李宏毅2021/2022春深度学习课程笔记 - Adversarial Attack（恶意攻击）
知不足而奋进，望远山而前行
01-08 2万+
是有可能的，如下图所示，我们在训练资料中给图片加入一些人类观察不到的杂讯，用这些被加了杂讯的图片训练出来的模型，在看到特定的照片时就会识别错误。假设我们知道要被攻击的模型的训练资料，那么我们可以用一样的训练资料训练出一个和要被攻击的模型很相似的模型，然后用白盒攻击的方法攻击相似的模型，再用对相似模型攻击有效的带有杂讯的数据去攻击真正要攻击的模型，这时候成功率就会比较高。还有更离谱的，在加了另外的杂讯后，模型居然认为图片中的是 Keyboard，由此可见，恶意攻击对模型的影响真的是非常大呀！
基于PaddlePaddle构建ResNet18残差神经网络的食物图片分类问题
黄波波的博客
03-28 2096
手动搭建残差神经网络的食物图片分类问题 Intrdution 本项目是在李宏毅机器学习课程的作业3进行的工作，任务是手动搭建一个CNN模型进行食物图片分类（11种）。 项目要求 请使用 CNN 搭建 model 不能使用额外 dataset 禁止使用 pre-trained model(只能自己手写CNN) 请不要上网寻找 label 项目传送门 Abstract 本文的主要内容如下： 1 PaddlePaddle的深度学习万能公式介绍：该万能公式其实是进行项目研究的常规性方法步骤，本项目就是按照
李宏毅2022机器学习HW8解析
weixin_42369818的博客
06-15 3114
李宏毅2022机器学习HW8解析！
李宏毅深度学习HW3过BossLine
fastlength的博客
03-27 234
Folder 1 Best Train Acc: 0.861471 Best Valid Acc: 0.854067Folder 2 Best Train Acc: 0.876448 Best Valid Acc: 0.864343Folder 3 Best Train Acc: 0.794625 Best Valid Acc: 0.805669Folder 4 Best Train Acc: 0.959065 Best Valid Acc: 0.890805
李宏毅深度学习笔记 pdf
最新发布
09-06
### 回答1： 李宏毅教授所著的《深度学习笔记》pdf是目前深度学习领域中非常受欢迎的资源之一。...无论是想要学习深度学习的初学者，还是对深度学习有更进一步了解的专业人士，都应该阅读这本教材。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值