Deep Learning and Backpropagation

最新推荐文章于 2024-05-16 16:52:02 发布
最新推荐文章于 2024-05-16 16:52:02 发布
阅读量224 收藏
点赞数
文章标签： 深度学习 人工智能 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42856170/article/details/129688817
版权

文章目录

一、Deep learning attracts lots of attention.

在这里插入图片描述
Deep learning trends at Google. Source: SIGMOD 2016/Jeff Dean

Ups and downs of Deep Learning

1958: Perceptron (linear model)
1969: Perceptron has limitation
1980s: Multi-layer perceptron
Do not have significant difference from DNN today
1986: Backpropagation
Usually more than 3 hidden layers is not helpful
1989: 1 hidden layer is “good enough”, why deep?
2006: RBM initialization
2009: GPU
2011: Start to be popular in speech recognition
2012: win ILSVRC image competition
2015.2: Image recognition surpassing human-level performance
2016.3: Alpha GO beats Lee Sedol
2016.10: Speech recognition system as good as humans

Three Steps for Deep Learning

在这里插入图片描述

Neural Network

在这里插入图片描述
Network parameter θ: all the weights and biases in the “neurons” 。

Fully Connect Feedforward Network：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
Deep = Many hidden layers：
在这里插入图片描述
Matrix Operation：
在这里插入图片描述
Neural Network ：

在这里插入图片描述

Output Layer as Multi-Class Classifier

在这里插入图片描述
Example Application–Handwriting Digit Recognition
在这里插入图片描述
ou need to decide the network structure to let a good function in your function set.

FAQ

在这里插入图片描述
Q: How many layers? How many neurons for each layer?
在这里插入图片描述
Q: Can the structure be automatically determined?
E.g. Evolutionary Artificial Neural Networks
Q: Can we design the network structure?
在这里插入图片描述

二、Step 2: goodness of function

Loss for an Example：

在这里插入图片描述

Total Loss：

在这里插入图片描述
在这里插入图片描述
Find a function in function set that minimizes total loss L.
Find the network parameters θ^∗ that minimize total loss L.

三、Step 3: pick the best function

Gradient Descent

在这里插入图片描述
在这里插入图片描述

Backpropagation

Backpropagation: an efficient way to compute ∂L∕∂w in neural network.
在这里插入图片描述

四、Backpropagation

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Backpropagation – Forward pass

Compute ∂z∕∂w for all parameters
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Backpropagation – Summary

在这里插入图片描述

总结

育林
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Deep Learning with Keras
11-15
This book starts by introducing you to supervised learning algorithms such as simple linear regression, the classical multilayer perceptron and more sophisticated deep convolutional networks....
[机器学习]Lecture 1：Deep Learning，Backpropagation
zzz_qing的博客
04-05 52
决定一个好的function set很关键，即决定network的structure。
[note]李宏毅Deep Learning 之 BackPropagation笔记
weixin_43720735的博客
04-25 966
李宏毅Machine Learning中讲解Backpropagation反向传播算法的笔记
4.19-Brief introduction of deep learning&backpropagation
weixin_43220896的博客
04-28 1095
李宏毅老师机器学习课程笔记
CS224N NLP with Deep Learning - backpropagation
weixin_43575791的博客
02-24 93
It is really important to have an actual understanding of the math behind most of deep learning. And in many cases, in the future, you will kind of the way backpropagation. You’ll just kind of assume it works based on a framework, software package that you
李宏毅机器学习笔记：Brief Introduction of Deep Learning + Backpropagation(后向传播算法)
Fighting Hua
11-12 161
李宏毅老师的机器学习课程和吴恩达老师的机器学习课程都是都是ML和DL非常好的入门资料，在YouTube、网易云课堂、B站都能观看到相应的课程视频，接下来这一系列的博客我都将记录老师上课的笔记以及自己对这些知识内容的理解与补充。(本笔记配合李宏毅老师的视频一起使用效果更佳！）     Lecture 6: Brief Introduction of Deep Learning  本节课主要围绕Deep Learing三步骤： （1）function set ...
Deep Learning Review
cfdoge的博客
06-26 328
This is a reading note for the paperDeep Learningwhich published on nature and written by three most prestigious scholars in this area, Geoffrey Hinton, Yann LeCun and Yoshua Bengio. So, What is de...
「Deep Learning」Note on Backpropagation Network
小锋子Shawn
11-25 124
QQ Group: 428014259 Sina Weibo：小锋子Shawn Tencent E-mail：[email protected] http://blog.csdn.net/dgyuanshaofeng/article/details/84481632 [1] Backpropagation Applied to Handwritten Zip Code Recognition Neu...
Deep learning
sunshinewx1的博客
10-21 380
这是我读完Deeplearning(Review 2015 Nature)这篇论文所做的笔记，不妥之处还望广大博友积极提出意见！                              Deep learning(Review 2015 Nature) 1.引言 （1）深度学习就是一种特征学习方法，把原始数据通过一些简单的但是非线性的模型转变成为更高层次的，更加抽象的表达。通过足够
A Guide to Deep Learning
科技创新与颠覆者
04-16 792
A Guide to Deep Learning Deep learning is a fast-changing field at the intersection of computer science and mathematics. It is a relatively new branch of a wider field called machine learning. The
《Deep Learning》Yann LeCun, YoshuaBengio, Geoffery Hinton
11-14
Deep learning discovers intricate structure in large data sets by using the backpropagation algorithm to indicate how a machine should change its internal parameters that are used to compute the ...
Deep Learning for Beginners
04-12
Chapter 3 presents the backpropagation algorithm, which is an important and representative learning rule of the neural network and also employed in Deep Learning. This chapter explains how cost ...
Deep Learning
08-30
learning discovers intricate structure in large data sets by using the backpropagation algorithm to indicate how a machine should change its internal parameters that are used to compute the ...
Deep Learning in Python.2016
04-29
Chapter 4: Training a neural network with backpropagation Chapter 5: Theano Chapter 6: TensorFlow Chapter 7: Unsupervised learning, autoencoders, restricted Boltzmann machines, convolutional neural ...
深度学习之前馈神经网络
2401_83576060的博客
05-10 973
numpy是科学计算基础包pandas能方便处理结构化数据和函数matplotlib主要用于绘制图表。
【深度学习】Diffusion扩散模型原理解析1
sdksdf的博客
05-10 889
1、前言 diffusion，这几年一直很火的模型，比如这段时间在网上的文生图大模型——Stable diffusion。就是以diffusion作为基底模型，但由于该模型与VAE那边，都涉及了较多了概率论知识，实在让人望而却步。所以，本文将对diffusion进行数学原理推导，如果你没有上过概率论这门课，建议先去学。 论文： ①Deep Unsupervised Learning using Nonequilibrium Thermodynamics (arxiv.org) ②Denoising Diff
IMDB的电影评论数据pytorh使用lstm
qq_74722169的博客
05-13 1033
在自然语言处理（NLP）中，词嵌入层是将单词或词汇映射到连续的向量表示的关键组件，这些向量表示能够捕捉单词的语义信息和上下文关系。：词嵌入层包含一个权重矩阵，其行数等于词汇表的大小，列数等于嵌入的维度（例如，300或100）。：当输入数据（如文本序列中的单词索引）传递到词嵌入层时，层通过查找权重矩阵中与输入索引对应的行来获取每个单词的嵌入向量。：词嵌入层的输出是一个矩阵，其中每行是一个单词的嵌入向量，列数与嵌入维度相同。：嵌入向量能够捕捉单词的语义信息，相似的单词在向量空间中距离较近。
RNN股票预测
最新发布
weixin_57128596的博客
05-16 330
【代码】RNN股票预测。
Deep Learning Toolbox
04-01
The Deep Learning Toolbox is a set of software tools and libraries designed to help developers and researchers build and train deep neural networks. It offers a range of functions for creating, ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值