动手学深度学习 图像分类实例-多层感知机(一) 核心概念与激活函数的作用

最新推荐文章于 2024-06-10 23:10:36 发布
最新推荐文章于 2024-06-10 23:10:36 发布
阅读量835 收藏 2
点赞数 1
分类专栏： 深度学习 文章标签： 深度学习 神经网络 python 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Weary_PJ/article/details/113803433
版权

动手学深度学习 图像分类实例-多层感知机(一) 核心概念与激活函数的作用

动手学深度学习 多层感知机系列:

拜年期间 没有电脑 就在亲戚家无聊的时候随手翻了翻《DIVE INTO DEEP LEARNING》
复习多层感知机的时候发现这本书讲的蛮好的, 弥补了之前以为自己懂了的一些漏洞, 于是便决定回家记录下来。
并根据书中的实例 巩固一下 多层感知机系列文章的链接已
放至文章开头

文章目录

前言

本文介绍多层感知机的基本概念和我的理解,
尽量以通俗易懂的方式介绍

以下是本篇文章正文内容

正文

之前写了一个softmax做图像分类系列的文章,其主要使用的是单层神经网络
然而深度学习主要关注的是多层模型, 所以书本以多层感知机为例, 介绍多层神经网络的概念

先看看单层神经网络和多层神经网络的对比

单层神经网络

在这里插入图片描述
其公式如下
在这里插入图片描述
写成向量的形式
o ( i ) = x ( i ) W + b o^{(i)}=x^{(i)}W+b o(i)=x(i)W+b

多层神经网络

这里以两层为例
比起单层神经网络,它多包含了一层隐藏层,该层中有5个隐藏单元
在这里插入图片描述
假设隐藏层的输出为 H H H
则该多层感知机的公式为
H = X W h + b h H=XW_h+b_h H=XWh​+bh​
O = H W o + b o O=HW_o+b_o O=HWo​+bo​
也就是将隐藏层的输入直接作为输出层的输出, 这样如果联立上面的式子
在这里插入图片描述
虽然加入了隐藏层,但是却依然等易于一个单层神经网络 而且不难发现,无论加多少个隐藏层,它的本质还是和单层神经网络等价。

激活函数的重要性

对于上述问题, 解决办法就是对每层的输出增加一个非线性变化, 也就是使用我们常说的激活函数
对于各种激活函数的介绍可以看我这篇文章

Pytorch(四) 几种简单激励函数的绘制与介绍

多层感知机

因此多层感知机就是含有至少一个隐藏层的由全连接层组成的神经网络，且每个隐藏层的输出通过激活函数进行变换。
多层感知机的层数和各隐藏层中隐藏单元个数都是超参数。以单隐藏层为例并沿用本文之前定义的符号，多层感知机按以下方式计算输出
在这里插入图片描述
其中φ表示激活函数。这样一来,就不会产生之前的问题了,这也突出了激活函数的重要。

  • 在分类问题中，我们可以对输出O做softmax运算，并使用softmax回归中的交叉熵损失函数。
  • 在回归问题中，我们将输出层的输出个数设为1，并将输出O直接提供给线性回归中使用的平方损失函数。

引用资料来源

本文内容来自吴振宇博士的Github项目
对中文版《动手学深度学习》中的代码进行整理，并用Pytorch实现
【深度学习】李沐《动手学深度学习》的PyTorch实现已完成

Joker-Tong
关注
专栏目录
动手学深度学习(线性回归+softmax与分类模型+多层感知机)
qq_40298825的博客
02-11 799
3.1线性回归 矢量计算表达式 import torch a = torch.ones(1000) b = torch.ones(1000) c = torch.zeros(1000) for i in range(1000): c[i] = a[i] + b[i] d = a + b a = torch.ones(3) b = 10 print(a+b) 3.2线性回归的从零开始...
多层感知机（multi-layer perceptron）实现手写体分类（TensorFlow）
08-07
多层感知机（multi-layer perceptron）实现手写体分类（TensorFlow）
动手学深度学习 图像分类实例-多层感知机(二) 多层感知机的从零开始实现
Weary_PJ的博客
02-14 782
动手学深度学习 多层感知机(二) 多层感知机的从零开始实现 文章目录动手学深度学习 多层感知机(二) 多层感知机的从零开始实现前言正文代码引用资料来源 前言 本文介绍多层感知机的从零开始实现方法 尽量以通俗易懂的方式介绍 以下是本篇文章正文内容 正文 本文使用的数据集仍然为Fashion-MNIST数据集,并使用多层感知机对其进行图像分类 关于数据集的详细介绍已经放在下面的文章链接中 动手学深度学习 图像分类数据集(一) Fashion-MNIST的获取与查看 代码 # -*- coding: utf-
使用多层感知器进行图片分类
weixin_53506445的博客
11-29 1304
使用多层感知器进行图片分类
第一个多层感知器实例：印第安人糖尿病诊断
zhangyuee19501107的专栏
07-15 1934
多层感知器是最简单的神经网络模型，用于处理机器学习中的分类与回归问题。 第一个案例：印第安人糖尿病诊断 Pima Indians数据集：UCI Machine Learning免费下载的标准机器学习数据集。 http://archive.ics.uci.edu/ml/datasets #导入必需的包 import tensorflow import keras from keras....
激活函数的作用
hellocsz的博客
10-05 799
一、 激活函数出现的原因 思考这么一个问题： 现在有一个二分类问题，我们要将下面的三角形和圆点进行正确的分类，如图1所示。我们试着用神经网络解决这个问题。跟大家说明一下，这是一个线性不可分的问题，就是你在这个平面里，找不到一条直线可以把图中的三角形和圆点完全分开。如果你能找到，算你厉害！ 解决思路： （1）用不带激活函数的单层感知机来解决。 首先我们想到利用最简单的单层感知机来解决，单层感...
零基础入门深度学习(1) - 感知器1
08-03
《零基础入门深度学习(1) - 感知器》这篇...通过逐步学习和实践，从感知器到更复杂的神经网络结构，如线性单元、梯度下降、反向传播算法、卷积神经网络、循环神经网络等，读者将能够逐渐掌握深度学习的核心概念和技术。
动手学深度学习（2019-05-21）.rar
05-22
《动手学深度学习》是李沐博士撰写的一本深度学习入门教材，旨在为读者提供一个实践性强、理论与实战相结合的学习资源。这本书以其清晰的结构和丰富的实例，深受广大学习者喜爱，尤其适合对机器学习（ML）有一定基础...
深度学习-基于Keras的Python项目开发实战_银行营销分类_编程案例实例教程.pdf
04-29
- 创建一个简单的全连接网络（多层感知机），可能包含多个隐藏层和激活函数，如ReLU。 - 输出层使用sigmoid激活函数，因为这是一个二分类问题。 5. **模型训练**： - 划分数据集为训练集和测试集，可使用交叉...
动手学深度学习第二版，MXNet 和 PyTorch
05-25
3. **模型构建**：通过实例展示如何使用MXNet和PyTorch构建常见的深度学习模型，如多层感知机（MLP）、CNN和RNN。 4. **模型训练与调优**：涵盖训练技巧，如批量归一化、dropout、早停策略，以及如何使用Adam、SGD等...
多层感知机（MLP）原理与实例
最新发布
qq_62734810的博客
06-10 2950
多层感知机（MLP，Multilayer Perceptron）也叫人工神经网络（ANN，Artificial Neural Network），除了输入输出层，它中间可以有多个隐层，最简单的MLP只含一个隐层，即三层的结构，如下图：从上图可以看到，多层感知机层与层之间是全连接的。多层感知机最底层是输入层，中间是隐藏层，最后是输出层。多层感知机（Multilayer Perceptron，MLP）是一种基本的人工神经网络模型，它由输入层、至少一个或多个隐藏层以及一个输出层组成。
动手学深度学习 图像分类实例-多层感知机(三) 多层感知机的简洁实现
Weary_PJ的博客
02-14 977
动手学深度学习 图像分类实例-多层感知机(三) 多层感知机的简洁实现 多层感知机系列文章的链接已 放至文章开头 文章目录动手学深度学习 图像分类实例-多层感知机(三) 多层感知机的简洁实现前言正文引用资料来源 前言 本文介绍多层感知机的简洁实现 利用 pytorch的特点来实现图像分类功能 以下是本篇文章正文内容 正文 使用pytorch的Sequential来快速搭建网络 net = nn.Sequential( d2l.FlattenLayer(), nn.Linear(num
利用Keras实现多层感知器（MLP）模型和卷积神经网络（CNN）模型并对手写数字图像分类
davidhopper的博客
12-16 6743
利用Keras实现多层感知器（MLP）模型和卷积神经网络（CNN）模型并对手写数字图像分类。
多层感知机（神经网络）与激活函数
booze_的博客
07-15 930
因为对于每一个中间的隐藏单元，需要三个对应的权重（因为前面有三个输入）以及一个偏置，即4*10=40。相当于每个隐藏神经元对应一个方程f(x)=w1x1+w2x2+w3x3+b,其中w1,w2,w3为待计算的权重，b为待计算的偏置。.........
多层感知机、激活函数（pointnet算法基础知识）
hm_uin的博客
10-21 1067
学习pointnet算法时引出的相关知识
多层感知机
redis的专栏
01-14 2953
1、单输出多层感知机 在单层感知机的基础上增加若干个（本文增加一个）隐层，得到多层感知机（Multi Perceptron Machine，MLP）。结构如图所示： （单输出多层感知机） 图中各变量满足公式：
4.多层感知器(神经网络)与激活函数
potato123232的博客
09-18 1018
目录 1神经元 2激活函数 2.1relu 2.2sigmoid 2.3tanh 2.4Leak relu 1神经元 上次做的线性归回是单个神经元，并且再网络的最后没有使用激活函数而是直接进行输出 神经元：我下面画的这个圈就是神经元 我们每一个输入我们理解为都有一定的特征，我们定义为x1,x2,x3，每一个特征我们认为都有相应的权重改变 y = ax + b 我们把这些权重求和，最终通过传递函数(激活函数)输出结果，下面这个图是单个神经元的图例 如果有...
深度学习中，多层神经网络中为何加入激活函数？
Viviane_2022的博客
12-30 614
1.层与层之间如果不加激活函数，会退化到一个神经网络因此，我们来看看一个神经元是如何工作的。它接受了一个电输入，输出另一个电信号。这看起来，与我们先前所观察的分类或预测的机器一模一样，这些机器也是接受了一个输入，进行一些处理，然后弹出一个输出。因此，我们可以与以前一样，将神经元表示为线性函数吗？虽然这是个好主意，但是不可以这样做。生物神经元与简单的线性函数不一样，不能简单地对输入做出的响应，生成输出。也就是说，它的输出不能采用这种形式：输出=（常数*输入）+（也许另一常数）。
多层感知机、常见激活函数
AIHUBEI的博客
06-17 4018
3.8 多层感知机 xiaoyao 动手学深度学习 tensorflow2 前面学习了线性回归和softmax回归在内的单层神经网络。然而深度学习主要关注多层模型。在本节中，将学习多层感知机（multilayer perceptron，MLP）。 3.8.1 隐藏层 多层感知机在单层神经网络的基础上引入了一个或多个隐藏层（hidden layer).隐藏层位于输入层和输出层之间。 如下图所示： 上图所示的多层感知机中，输入和输出个数分别为4和3，中间的隐藏层中包含了5个隐藏单元（hidden unit）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Joker-Tong

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值