动手深度学习 10 多层感知机

最新推荐文章于 2024-08-31 08:02:30 发布
最新推荐文章于 2024-08-31 08:02:30 发布
阅读量26 收藏
点赞数
文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qishanbaby/article/details/131834623
版权
文章介绍了感知机的基础概念，包括其作为二分类模型的性质和训练过程。接着讨论了感知机无法解决XOR问题，引出多层感知机的概念，特别是隐藏层和激活函数的作用。激活函数如Sigmoid、Tanh和ReLU被提及，它们在创建非线性模型中的重要性被强调，以适应更复杂的函数拟合。最后，提到了多隐藏层的应用以及Softmax在多分类问题中的使用。
摘要由CSDN通过智能技术生成

前言

笔记笔记

目录

前言

一、感知机

基础定义

二、训练感知机

三、感知机存在的问题

 四、多层感知机

        1.学习XOR

         2.单隐藏层

         3.知识储备——>关于隐藏层的理解

        4.激活函数

                1.Sigmoid函数

                2.Tanh函数

                 3.ReLU函数

        4.多隐藏层

总结

一、感知机

  1. 基础定义

    1. 给定输入 x ，权重 w 和 偏移 b 感知机输出：
    2. 只能做二分类的问题：可输出 1 和 -1 ，线性回归输出实数，softmax输出概率

     

二、训练感知机

理解：初始化w和b为0，然后进行训练，如果出现分类错误，那么就不断更新参数，直到所有都分类正确

三、感知机存在的问题

 感知机不能拟合XOR的函数，他只能对平面进行线性分割

 四、多层感知机

        1.学习XOR

                

 

         2.单隐藏层

                 

         3.知识储备——>关于隐藏层的理解

                

                 神经网络本质上是为了拟合函数

                 中间的 r 为非线性操作 即是隐藏层或激活函数 

                 L 为线性操作

x—线性操作 L1—>y_{1} = w_{1}x + b_{1} —非线性操作 r—>r\left ( w_{1}x + b_{1} \right )—线性操作 L2—>w_{2}\times r\left ( w_{1}x + b_{1} \right ) + b_{2}

                 关于激活层不能为线性函数的原因：

                        1. 激活层存在的意义是为了更好的拟合函数，使函数有更多的特性。同时，对于有的f（x）不便于直接表达出来，这时后，使用隐藏层来表示

                        2.如果激活层为线性函数，其实本质上还是对函数做线性操作，这样，隐藏层就没有存在的意义了

        4.激活函数

                1.Sigmoid函数

               

                 

                2.Tanh函数

                        将输入投影到（-1,1）

                         

                 3.ReLU函数

                        

        4.多隐藏层

                

总结

  • 多层感知机使用隐藏层和激活函数得到非线性模型
  • 常用激活函数为Sigmoid ， Tanh ， ReLU
  • 使用 Softmax 来处理多分类
  • 超参数为隐藏层个数个隐藏层大小
qishanbaby
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
动手学深度学习：多层感知机
GeniusAng的博客
10-25 318
一、多层感知机的从零开始实现 import torch from torch import nn from d2l import torch as d2l batch_size = 256 train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size) 实现一个具有单隐藏层的多层感知机，它包含256个隐藏单元 num_inputs, num_outputs, num_hiddens = 784, 10, 256 W1 = nn.Param
动手学深度学习——多层感知机（学习笔记）
2301_81492293的博客
04-28 1807
线性模型可能会出错：线性意味着单调假设， 任何特征的增大都会导致模型输出的增大（对应的权重为正），或者导致模型输出的减小（对应的权重为负）。而我们也可以很容易找出违反单调性的例子，例如对猫狗的图像进行分类，在这里我们的数据会有一种表示，这种表示会考虑到我们在特征之间的相关交互作用。可通过在网络中加入一个或多个隐藏层来克服线性模型的限制，使其能处理更普遍的函数关系类型。最简单的方法是将许多全连接层堆叠在一起，形成多层感知机（multilayer perceptron）架构，缩写为MLP。
动手学深度学习——多层感知机
mango_july的博客
10-13 132
多层感知机在输出层和输入层之间增加一个或多个全连接隐藏层，并通过激活函数转换隐藏层的输出。
动手学深度学习之多层感知机
Trony的博客
07-25 379
感知机 感知机其实就是一个二分类问题 给定输入x，权重w，和偏移b，感知机的输出：o=σ(⟨w,x⟩+b)σ={1ifx>0−1otherwiseo=\sigma (\left \langle w, x \right \rangle + b) \quad \sigma = \left\{\begin{matrix} 1 & if x > 0 \\ -1 & otherwise \end{matrix}\right.o=σ(⟨w,x⟩+b)σ={1−1​ifx>0o
基于Pytorch深度学习——多层感知机
EchoToMe的博客
05-02 1287
本文章来源于对`李沐动手深度学习`代码以及原理的理解，并且由于李沐老师的代码能力很强，以及视频中讲解代码的部分较少，所以这里将代码进行**尽量逐行详细解释** 并且由于pytorch的语法有些小伙伴可能并不熟悉，所以我们会采用**逐行解释+小实验**的方式来给大家解释代码 基于Pytorch深度学习——多层感知机
动手学深度学习9 多层感知机+代码实现
weixin_42831564的博客
03-18 1349
多层感知机+代码实现1. 感知机2. 多层感知机单隐藏层三个激活函数多隐藏层3. 代码实现从零开始实现简洁实现注意4. QA 1. 感知机 视频：https://www.bilibili.com/video/BV1hh411U7gn/?spm_id_from=autoNext&vd_source=eb04c9a33e87ceba9c9a2e5f09752ef8 书：https://zh-v2.d2l.ai/chapter_multilayer-perceptrons/mlp.html 课件：http
【动手学深度学习】多层感知机
weixin_45057858的博客
08-15 419
多层感知机
李沐动手深度学习10：多层感知机
lmessi10_的博客
08-02 108
【代码】李沐动手深度学习10：多层感知机。
动手学习深度学习 04：多层感知机
DLNovice的博客
09-25 2436
动手学习深度学习 04 ：多层感知机
【动手学深度学习v2】深度学习-李沐老师课程中代码详解-10多层感知机
08-09
【动手学深度学习v2】深度学习——李沐老师课程中代码详解——10多层感知机
动手学深度学习学习笔记tf2.0版（3.8: 多层感知机）
01-06
注意这里的bh维度为 1 * h,计算时使用广播机制，进行计算 所以引入激活函数 %matplotlib inline import tensorflow as tf from matplotlib import pyplot as plt import numpy as np import random ...
跟李沐学AI-动手学深度学习-感知机+多层感知机
哇哈哈哈的博客
09-10 733
感知机 给定输入x，权重w，和偏移b，感知机输出： 二分类：-1或1。 回归输出实数、softmax回归输出概率。 训练感知机 等价于使用批量大小为1的梯度下降，并使用如下的损失函数： 收敛定理 数据在半径r内。 余量p分类为两类， 对于 ， 感知机保证在 步后收敛。 XOR问题 感知机不能拟合XOR函数，它只能产生线性分割面。 总结 感知机是一个二分类模型，是最早的AI模型之一。 它的求解算法等价于使用批量大小为1的梯度下降。 它不能拟...
深度学习100问27:什么是截断的BPTT
yyq916的博客
08-31 160
截断的 BPTT 呢，先确定一个合适的长度，就好比决定每一小段故事有多长。这种方法在很多地方都大显身手哦，比如自然语言处理里训练语言模型、搞机器翻译的时候，就像一个得力的小助手。想象一下，你有一个超级长的故事要讲，一口气从头讲到尾可太难啦，而且很容易把自己绕晕。这时候呢，截断的 BPTT 就像把这个长故事分成一小段一小段来讲。在循环神经网络训练那些长长的序列数据的时候，如果直接像个“愣头青”一样用传统方法，那计算量会大得吓人，还可能出现梯度消失或者爆炸的情况，就像烟花放一半突然熄火或者炸得不可收拾。
【王树森】RNN模型与NLP应用(2/9)：文本处理与词嵌入（个人向笔记）
hxdxiaoming的博客
08-29 707
本次课将使用下列数据集：关于电影评价的数据集。
【王树森】RNN模型与NLP应用(1/9)：数据处理基础（个人向笔记）
hxdxiaoming的博客
08-29 230
为什么国籍要用One-Hot编码而不是直接用数字编码更节省存储空间？
深度学习基础—彩色图片的卷积运算
sniper_fandc的博客
08-28 474
即假设输入图片是n*n*nc的大小，过滤器是f*f*nc的大小，得到的卷积结果是(n-f+1)*(n-f+1)*nc，其中nc是通道数，这里默认步长为1，不进行padding操作。但是如果想检测不同的边缘特征，比如想同时检测6*6 RGB图像垂直边缘和水平边缘，就可以使用2个3维过滤器（3*3*3），得到两个4*4的输出，把这两个4*4的输出堆叠为4*4*2的输出，这个输出表示同时检查水平和垂直边缘的结果。把这三个过滤器堆叠到一起形成3维过滤器，从而就可以只检测红色的边缘，绿色和蓝色不进行检测。
深度学习速通系列:标准化和归一化
Ven%的博客
08-28 213
也称为Z-score标准化。目的是将数据的分布转换为均值为0，标准差为1的标准正态分布。公式：其中，𝑥x 是原始数据点，𝜇μ 是数据的均值，𝜎σ 是数据的标准差。
深度学习100问33:如何避免梯度消失
最新发布
yyq916的博客
08-31 183
可以用一些聪明的自适应学习率优化算法，像 Adam、Adagrad 等，它们能根据模型的训练情况自动调整学习率，可贴心啦。像 Xavier 初始化和 He 初始化这些方法，可以根据网络的结构自动调整权重的初始值，让信号在网络里能更好地传播，就像给信号铺了一条顺畅的路。首先呢，选个好的“调味料”，也就是激活函数。当输入是正数的时候，它的梯度始终是 1，不会像有些传统激活函数那样，想象一下在一条长长的路上修一些小道，这样信号就可以直接从一层传到更深的层，不用经过好多层，就不会出现梯度慢慢消失的问题啦。
Gluon实现深度学习基础：多层感知机与优化技术
章节内容涵盖了深度学习的核心组件和技术，如多层感知机（MLP）、Softmax回归、卷积神经网络（CNN）、循环神经网络（RNN）以及相关的模型优化方法。 第3章深入介绍了多层感知机（MLP），包括从零开始的实现和利用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值