动手学深度学习V2.0(Pytorch)——10.感知机（激活函数）

已于 2023-05-08 12:17:02 修改
阅读量343 收藏
点赞数
分类专栏： 动手学深度学习pytorch 文章标签： pytorch 深度学习 机器学习
于 2021-10-09 17:13:49 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/Castlehe/article/details/120523671
版权
本文详细介绍了感知机的概念及其在解决二分类问题中的局限性，特别是针对XOR问题的讨论。接着，文章探讨了多层感知机如何通过添加隐藏层解决线性不可分问题。在激活函数部分，文章对比了sigmoid、tanh和ReLU的异同，重点阐述了它们在神经网络中的作用、优缺点以及导数特性。最后，文章简要讨论了多类分类、超参数选择和动态神经网络的可能性。
摘要由CSDN通过智能技术生成

文章目录

1. 感知机

视频地址：<https://www.bilibili.com/video/BV1hh411U7gn

本部分内容大部分来自perceptron的Wikipedia：https://en.wikipedia.org/wiki/Perceptron

但是最重要的地方是：整理和讲解清楚!!! 感谢李沐老师！
在这里插入图片描述

早年的感知机，Wikipedia上的图，一个权重就是用一根电线。。。。所以是个占地体积非常庞大的模型。
在这里插入图片描述
感知机是人工智能最早的模型

  • 对于给定输入
了解本专栏 订阅专栏 解锁全文 超级会员免费看
吨吨不打野
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
深度学习知识点全面总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 24万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
GeoGebra 6(动态数学教学软件)安装教程
minjie_xiao的博客
12-05 1727
可以借助工具栏中所提供的作图工具，在几何区中使用鼠标进行几何作图。从工具栏中选择其中一种作图工具，可借助工具使用提示（在工具栏后方）来得知如何使用所选择的工具。任何在几何区中所产生的对象，在代数区中都有一个代数特征。注：可以使用鼠标拖曳来移动几何区中的对象，代数区内的代数特征也会同时动态更新。工具栏中的每一个图标代表一个工具盒，工具组内包含一些相似功能的作图工具，可以用鼠标左键按下图标右下角的小箭头来打开该工具盒。
《动手学深度学习2.0》学习笔记（一）
m0_51619560的博客
01-18 919
动手学深度学习2.0》电子书的链接地址为https://zh.d2l.ai/index.html本文记录了我在学习本书前4章节（包括引言、预备知识、线性神经网络、多层感知机）过程中的理解和收获。more。
PyTorch深度学习实践——3.梯度下降＆随机梯度下降
weixin_46587777的博客
06-10 726
《Pytorch深度学习与实践》03梯度下降算法
动手深度学习——Pytorch 入门语法二
weixin_44436319的博客
03-01 1401
线性回归的简洁实现 在每个迭代周期⾥，我们将完整遍历⼀次数据集（train_data），不停地从中获取⼀个小批量的 输⼊和相应的标签。对于每⼀个小批量，我们会进⾏以下步骤: 通过调⽤net(X)⽣成预测并计算损失l（前向传播）。 通过进⾏反向传播来计算梯度。 通过调⽤优化器来更新模型参数。 from torch import nn from d2l import torch as d2l import torch from torch.utils import data #读取数据 def load
深度学习笔记——pytorch
qq_34144750的博客
10-30 127
or。
pytorch8——模型权值初始化和损失函数
最新发布
qq_41458274的博客
01-26 753
Pytorch里面提供了很多权重初始化的方法，可以分为下面的四大类：针对饱和激活函数（sigmoid， tanh）：Xavier均匀分布， Xavier正态分布针对非饱和激活函数（relu及变种）：Kaiming均匀分布， Kaiming正态分布三个常用的分布初始化方法：均匀分布，正态分布，常数分布。#均匀分布初始化# 正态分布初始化# 常数初始化三个特殊的矩阵初始化方法：0初始化，正交矩阵初始化，单位矩阵初始化。#0初始化#单位矩阵初始化# 正交初始化。
动手学深度学习——学习笔记
qq_48878958的博客
11-20 139
动手学深度学习（李沐）学习笔记
深度学习 | pytorch（二）
qq_44250700的博客
09-03 3123
十、基本运算 1、加减乘除add / minus / multiply / divid 2、matmul （1）2d tensor matmul （2）>2d tensor matmul 3、矩阵次方 ①.pow(阶数) ②平方根 .sqrt() ③平方根的倒数 .rsqrt() 4、对数运算 ①.exp() ②.log(以谁为底) 5、近似解 approximation ①向下取整 .floor() ②向上取整 .ceil() ③裁剪浮点数的整数部分 .trunc() ④裁剪浮点数的小数部分 .frac(
第3章(3.8～3.10节)多层感知机实现【深度学习基础】--动手学深度学习【Tensorflow2.0版本】
土豆洋芋山药蛋的博客
01-30 2324
项目地址：https://github.com/TrickyGo/Dive-into-DL-TensorFlow2.0 UC 伯克利李沐的《动手学深度学习》开源书一经推出便广受好评。很多开发者使用了书的内容，并采用各种各样的深度学习框架将其复现。 现在，《动手学深度学习》书又有了一个新的复现代码版本——TensorFlow2.0 版，短时间内成为了github上千star项目，欢迎关注。 文章...
《动手学深度学习》tensorflow2.0版 第三章笔记
xu_aml的博客
04-11 806
《动手学深度学习》tensorflow2.0版 第三章笔记线性回归训练图像分类数据集（Fashion-MNIST）训练误差（training error）和泛化误差（generalization error）。 作为一名tensorflow新手，用最基本的函数去完成一些任务是必要的，即使现在pytorch如日中天，还是认为目前一段时间工业界对tensorflow的需求还是会有很多，但是鄙人特别擅长反向押宝????。文中的代码没有实测运行。 线性回归训练 只利用Tensor和GradientTape来实现一个
第3章(3.11～3.16节)模型细节/Kaggle实战【深度学习基础】--动手学深度学习【Tensorflow2.0版本】
土豆洋芋山药蛋的博客
01-31 1453
项目地址：https://github.com/TrickyGo/Dive-into-DL-TensorFlow2.0 UC 伯克利李沐的《动手学深度学习》开源书一经推出便广受好评。很多开发者使用了书的内容，并采用各种各样的深度学习框架将其复现。 现在，《动手学深度学习》书又有了一个新的复现代码版本——TensorFlow2.0 版，短时间内成为了github上千star项目，欢迎关注。 3....
深度学习入门（六）——计算机视觉简述
weixin_41480034的博客
05-28 7208
深度学习与计算机视觉数学基础卷积数学优化基础卷积神经网络基本概念卷积层和特征响应图参数共享稀疏连接多通道卷积激活函数池化、不变性和感受野LeNetAlexNetGoogleNetResNet目标检测任务分割任务分类任务 数学基础 卷积 数学优化基础 卷积神经网络 基本概念 卷积层和特征响应图 参数共享 稀疏连接 多通道卷积 激活函数 池化、不变性和感受野 LeNet AlexNet GoogleNet ResNet 目标检测任务 分割任务 分类任务 ...
相关-21. 卷积的示意图（普通卷积，多通道卷积等）及Featur Map可视化
Castlehe的博客
12-14 5637
0. 普通卷积动图 图源自：Types of Convolution(Translation) 图自：Intuitively Understanding Convolutions for Deep Learning 图自：github-vdumoulin/conv_arithmetic 这里还有很多其他类似的图，上图是padding取1（kernel-2p=1），步幅取偶数（取了2）的情况 图自：Convolutional layer 图自：CNN Image Classification
相关-37. 释放GPU显存
Castlehe的博客
03-01 4731
文章目录1. 起因2. 常规解决 1. 起因 RuntimeError: CUDA out of memory. Tried to allocate 144.00 MiB (GPU 0; 2.00 GiB total capacity; 1.29 GiB already allocated; 79.00 MiB free; 1.30 GiB reserved in total by PyTorch) 我的机器显存只有4G 如果启动训练后由于代码错误，但是数据和模型已经加载到GPU中。 此时报错后，并不会
动手学深度学习V2.0(Pytorch)——19.卷积
Castlehe的博客
12-09 2348
P1 从全连接层到卷积 https://www.bilibili.com/video/BV1L64y1m7Nh 假设有一个还不错的手机，拍出来一张图片（比如iphone11的后置摄像头，就是双摄：1200 万像素广角及超广角，来自iphone11技术规格）。那么一张照片至少12M（Million 百万），如果是RGB图的话就是36M？？？ 如果使用一个有100个神经元的单隐藏层的MLP，考虑一下，y=wx+by=wx+by=wx+b，这里x=36M∗1x=36M*1x=36M∗1，则w=100∗36M=
动手学深度学习V2.0(Pytorch)——20. 卷积层里的填充和步幅
Castlehe的博客
12-13 2329
P1 填充和步幅 https://www.bilibili.com/video/BV1Th411U7UN
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

吨吨不打野

解决了问题，觉得还行就给点

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值