《动手学深度学习》(PyTorch版)要点笔记 - 1 【3.8.2 激活函数】

最新推荐文章于 2024-08-15 16:44:23 发布
最新推荐文章于 2024-08-15 16:44:23 发布
阅读量150 收藏
点赞数
分类专栏： 《动手学深度学习》(PyTorch版)要点笔记 文章标签： 深度学习 python 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ShakalakaPHD/article/details/108109916
版权

目录

为什么需要激活函数

全连接层只是对数据做仿射变换（affine transformation），而多个仿射变换的叠加仍然是一个仿射变换。解决问题的一个方法是引入非线性变换，例如对隐藏变量使用按元素运算的非线性函数进行变换，然后再作为下一个全连接层的输入。这个非线性函数被称为激活函数（activation function）。下面我们介绍几个常用的激活函数。

常用的激活函数

3.8.2.1 ReLU函数

ReLU(x)=max(x,0)

3.8.2.2 sigmoid函数

sigmoid(x)=1/(1+exp(−x)

3.8.2.3 tanh函数（双曲正切）
在这里插入图片描述

Hurri_cane
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
apache-maven-3.8.2-bin.zip
08-23
Apache Maven （apache-maven-3.8.2-bin.zip）是一个软件项目管理和理解工具。基于项目对象模型 (POM) 的概念，Maven 可以从一条中央信息中管理项目的构建、报告和文档。
Python/Pytorch/Tensorflow/QT安装
zhuliyeer的博客
04-10 1258
就算多个项目使用同一个版本的python，这时候还是需要创建conda虚拟环境的，比如一个项目用Pytorch开发，一个项目用TensorFlow开发，不同框架对python包依赖，对底层库的依赖是不同的， 此时可能会起冲突，比如安装Pytorch后再安装TensorFlow时可能会将Pytorch所用依赖更新，则会导致Pytorch无法运行。（如安装5.15以上，出了错被卡了2~3天还没解决，因为太新，网上也没有很多修正bug的方案。安装python时，不必单独安装，可直接安装anaconda。
Python3.8安装Pytorch
热门推荐
Pl_Sun的博客
07-18 1万+
Python3.8安装Pytorch的过程1. 错误来源2. 解决办法--安装torch/torchvision2.1 下载.whl文件2.2 安装2.3 检查 1. 错误来源 安装Pytorch应该使用官网提供的方式安装。但是由于实在运行速度太慢，我便使用清华源进行安装： pip3 install torch torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple 报错：No module named ‘tools.nnwrap’ 个人觉得是由
python_python3.8安装pytorch问题的解决 pip方法
hhhyrz的博客
09-28 8402
Torch——神经网络界的numpy，因为他能将张量（tensor）放在GPU中加速运算 Anaconda（开源的Python包管理器）、CUDA（用于GPU加速）等属于IDLE（集成开发环境） 电脑系统：win10 开发环境：pip已安装、python3.8 64-bit 1.进入pytorch官网 官网网址：https://pytorch.org/ 2.点击install 3.配置下载参数 根据自己系统配置下载参数，如下图所示。 4.利用pip下载 复制第三步图片黑框中的命令到CMD命令控制台执行，
求助python 3.8安装torch报错！
qq_44505323的博客
02-03 4741
求助python 3.8安装torch报错！ 求解决方法，下面有报错的图
pytorch学习笔记（十）：MLP
逐梦er的博客
08-01 9215
文章目录1. 隐藏层2. 激活函数2.1 ReLU函数2.2 sigmoid函数2.3 tanh函数3 多层感知机4. 代码实现MLP4.1 获取和读取数据4.2 定义模型参数4.3 定义激活函数4.4 定义模型4.5 定义损失函数4.6 训练模型小结 1. 隐藏层 多层感知机（multilayer perceptron, MLP) 在单层神经网络的基础上引入了一到多个隐藏层（hidden layer）。隐藏层位于输入层和输出层之间。图3.3展示了一个多层感知机的神经网络图，它含有一个隐藏层，该层中有5个隐
龙芯1B EJTAG在windows环境下的下载工具,ejtag-debug-cygwin-v3.8.2.rar
01-06
《龙芯1B EJTAG在Windows环境下的下载工具详解》 龙芯1B是一款由中国龙芯公司自主研发的CPU，其EJTAG（Embedded JTAG）接口是进行芯片调试和程序下载的重要途径。EJTAG技术是基于标准的JTAG（Joint Test Action ...
rabbitmq-server-3.8.2-1.el7.noarch.rpm
02-16
rabbitmq3.8.2(注意：el7版本，支持centos7) -- 你很棒，我也很棒，给不给时间都可以搞定[zfine.top]
rabbitmq-server-3.8.2-1.el8.noarch.rpm
02-16
rabbitmq3.8.2 rpm 下载(注意el8版本) 你很棒，我也很棒，给不给时间都可以搞定[zfine.top]
apache-maven-3.8.2.rar
09-16
官网下载的maven-3.8.2，已修改为了阿里云的镜像,其中需修改settings.xml的本地地址 <localRepository>E:\Program Files\apache-maven-3.8.2\maven-repo</localRepository>
Attention注意力机制
russwest44的博客
08-13 320
【代码】Attention注意力机制。
【深度学习】【语音】TTS，最新TTS模型概览，扩散模型TTS，MeloTTS、StyleTTS2、Matcha-TTS
q742971636的博客
08-14 353
MeloTTS: MeloTTS 是 MyShell.ai 开发的一个多语言语音合成模型，支持包括英语、西班牙语、法语、中文、日语和韩语等多种语言。它以高质量的语音合成为特色，尤其擅长处理中英混合内容。该模型优化了在 CPU 上的实时推理能力，使其在多种应用场景中都能高效运行【6†source】。StyleTTS2: StyleTTS2 旨在通过风格扩散和对抗训练达到人类级别的语音合成。它通过将风格建模为潜在变量，生成自然且富有表现力的语音。
Positional Encoding | 位置编码【详解】
qq_23022733的博客
08-14 842
transformer的作者刚开始说固定的位置编码和可学习的位置编码的效果是差不多的，后来证明固定的位置编码没有太大的必要，还不如省事直接使用可学习的位置编码，如下图，设置token的数量为10，token的特征向量长度为128，偶数项和奇数项的位置编码公式如下图所示，代码中，token_num是句子中的单词数量，embed_dim表示每个单词的特征向量长度，将对应位置的位置编码直接加在输入的单词上，如下图中的最后一行，为什么 attention 并不能赋予 token 位置信息？
什么是张量
2301_76924624的博客
08-14 1056
学习使用pytorc库进行深度学习网络搭建时，张量这个词总是不定时会出现。其实，Pytorch中的所有操作都是在张量的基础上进行的，今天就来了解张量到底是什么由PyTorch官网官网介绍可知，一个Tensor是一个包含单一数据类型的多维矩阵。
基于深度学习的图像特征优化识别复杂环境中的果蔬【多种模型切换】
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
08-15 1027
基于深度学习的图像识别技术广泛应用果蔬分类和质检，助力智慧农业发展。当前果蔬图像识别研究集中在单一或无背景环境的图像，通过纹理、颜色等特征提取，利用浅层学习技术，实现图像识别。本项目聚焦果蔬运输、超市零售复杂环境中，包装袋和保鲜膜内附水珠等视觉挑战下的果蔬精准识别。运用深度学习方法结合图像去雾、去雨水、去模糊等图像优化算法，设计基于深度学习的果蔬图像识别模型，并进行模型识别效果评价。
遗传算法与深度学习实战（4）——遗传算法详解与实现
盼小辉丶的博客
08-13 1260
在遗传算法 (Genetic Algorithms, GA) 中，使用选择、交叉、突变和适应度来模拟生物减数分裂或繁殖的基本操作。适应度是衡量个体优劣的指标，可以用于量化模拟个体成功解决给定问题的能力。通过修改遗传算法超参数，如种群大小、世代数、交叉率和突变率等超参数，能够调整和修改进化进程。在本节中，我们介绍了遗传算法基本概念及算法流程，并使用 Python 实现遗传算法解决 OneMax 问题。
Transformer和LSTM相结合--应用场景
GDHBFTGGG的博客
08-14 997
将Transformer和LSTM相结合可以在多种自然语言处理（NLP）任务中取得显著效果，特别是在需要捕捉长短期依赖的场景中。结合的目的是利用Transformer的全局注意力机制和LSTM的短期记忆能力，实现更强大的序列建模。
PyTorch--卷积神经网络（CNN）模型实现手写数字识别
wumingzei的博客
08-14 1209
今天要介绍的这段代码是一个使用PyTorch框架实现的卷积神经网络（CNN）模型，用于对MNIST数据集进行分类的示例。MNIST数据集是手写数字识别领域的一个标准数据集，包含0到9的灰度图像。导入必要的库：导入PyTorch、PyTorch神经网络模块、torchvision（用于处理图像数据集）和transforms（用于图像预处理）。设备配置：设置模型运行的设备，优先使用GPU（如果可用），否则使用CPU。超参数设置：定义了训练迭代的轮数(num_epochs)、类别数()、批次大小(
【深度学习】单层神经网络
最新发布
TeamLee的博客
08-15 1044
本文介绍了单个神经元模型和具有两个输出单元的单层神经网络，也称为感知机，以及它们的算法和示意图。
cmake-v3.8.2.zip
09-04
cmake-v3.8.2.zip是一个压缩文件，其中包含了CMake软件的版本v3.8.2的源代码和其他相关文件。 CMake是一个跨平台的开源构建工具，它可以自动生成适用于不同编译平台的构建文件（如Makefile或Visual Studio解决方案...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Hurri_cane

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值