激活函数、向前传播、损失函数、梯度下降

已于 2024-07-04 22:43:34 修改
阅读量392 收藏 1
点赞数 3
分类专栏： 大模型 文章标签： 深度学习 人工智能
于 2024-07-03 23:08:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49146002/article/details/140141605
版权

激活函数

作用：主要引入了非线性。从而能解决很复杂的非线性关系。能更好地处理现实世界的数据和任务。

向前传播

向前传播描述了，神经网络中，输入层到输出层的信号传播和处理过程。输入层将特征数据输入，加权求和，然后通过激活函数引入非线性，然后得到输出。输出到隐藏层。
隐藏层的输入就是输入层的输入。隐藏层经过多层传递，最后到输出层。
输出层将隐藏层的输出作为输入。经过加权和偏置，然后求和。然后传递给激活函数，激活函数将数据映射成非线性的。最后输出。输出结果得到的就是预测结果。将预测结果放入损失函数，计算损失值。

损失函数

损失函数就是计算预测值与实际值之间的差距。不同的任务需要使用不同类型的损失函数：
均方误差：回归任务
交叉熵损失：分类任务
对数损失：二分类问题
Hinge loss：衡量分类边界与正确分类间隔的差异。

梯度下降

梯度下降是我们深度学习最常用的优化手段。用于调整模型参数到损失函数值到 最小。主要步骤如下：
1、初始化参数
2、计算损失函数
3、计算梯度
4、调整参数
5、重复迭代，直至损失函数收敛
梯度下降的类型:
1、批量梯度下降：准确，效率低
2、随机梯度下降：不准确，效率高
3、小批量梯度下降：较准确，效率高

学习神经网络笔记之--激活函数、损失函数、向前传播、向后传播
shuidexiongdi的专栏
10-17 783
激活函数：，y‘的结果表示一个概率，取值在[0，1]，由于w'x+b的值可能很大，也可能为负值，所以需要一个函数将其区间映射到[0，1]，此映射函数，我们称为激活函数。 损失函数：损失函数又叫做误差函数，用来衡量算法的运行情况，Loss function:L(y',y).损失函数是在单个训练样本中定义的，它衡量的是算法在单个训练样本中表现如何，为了衡量算法在全部训练样本上的表现如何，我们需要定义...
PyTorch快速入门——神经网络简介（激活函数、前向传播、反向传播）
abackcab的博客
06-16 781
在生物神经网络中，每个神经元与其他神经元相连，当它兴奋时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位；如果某神经元的电位超过了一个阈值，那么它就会激活，即兴奋起来并向其他神经元发送化学物质。在深度学习中也借鉴了这样的结构，每一个神经元（上面说到的简单单元）接受输入x，通过带权重w的连接进行传递，将总输入信号与神经元的阈值进行比较，最后通过激活函数处理确定是否激活，并将激活后的计算结果y输出，而我们所说的训练，所训练的就是这里面的权重w。
PyTorch之前向传播函数forward
鹊踏枝-码农的专栏
11-14 11万+
神经网络的典型处理如下所示： 1. 定义可学习参数的网络结构（堆叠各层和层的设计）； 2. 数据集输入； 3. 对输入进行处理（由定义的网络层进行处理）,主要体现在网络的前向传播； 4. 计算loss ，由Loss层计算； 5. 反向传播求梯度； 6. 根据梯度改变参数值,最简单的实现方式（SGD）为: weight = weight - learning_rate * gradient ...
【原创】前向传播函数
youzhizhe2014的博客
12-14 2055
def forward函数结构 常见的main函数处理流程为(以训练为例)： 初始化dataloader、nn model和optimizer等; 导入数据； def load_data 导入待学习参数的自定义神经网络; def load_model 导入学习器（SGD，BGD，momentum等）； def load_optimizer 定义训练参数； def train ...
前向传播网络函数forward_network(net)
m0_37799466的博客
05-21 2127
l.forward_gpu(l, net);函数 1.前向卷积网络函数 void forward_convolutional_layer_gpu(convolutional_layer l, network net) { fill_gpu(l.outputs*l.batch, 0, l.output_gpu, 1);//初始化GPU网络每一层输出的 l.output_gpu为0；l.output = calloc(l.batch*l.outputs, sizeof(float)); if(l
神经网络模型与前向传播函数
xw555666的博客
05-12 1229
在神经网络中，模型和前向传播函数是紧密相关的概念。模型定义了网络的结构，而前向传播函数描述了数据通过网络的流动方式。通过自定义 forward 方法，你可以精确控制数据如何通过网络流动，以及如何计算最终的输出。这不仅使得 PyTorch 成为一个强大的研究工具，也为实际应用中的模型创新提供了可能。在自定义 forward 方法时，你可以利用 PyTorch 提供的所有构建块，如层、函数和自动微分，来实现你的创意。
机器学习-神经网络编程作业
wendy0927的博客
07-21 335
一、向前传播函数 forward_propagate 输入：X theta 根据上图公式进行计算 输出：a1、z2、a2、z3、h（a3） # 前向传播函数 def forward_propagate(X, theta1, theta2): m = X.shape[0] # X:5000×400 a1 = np.insert(X, 0, values=np.ones(m), axis=1)# a1：5000×401 z2 = a1 * theta1.T a2 = n
深度学习（五）激活函数的选择 & 浅层神经网络的梯度下降
Sunwish的博客
08-27 1438
概述 本篇中你将了解几种常见的激活函数，并看到在浅层神经网络中向后传播及梯度下降是如何进行的。 原文地址：深度学习（五）激活函数的选择 & 浅层神经网络的梯度下降 5.0 上篇回顾 在上一篇中，你见到了一个单输出的浅层（双层）神经网络是如何进行向前传播的，就同 Logistic 回归网络一样，不过多重复了几次单层网络的向前传播过程而已。 对于隐藏层而言，所有的隐藏单元与输入层...
【5. YOLOv3的损失函数和优化】反向传播和梯度下降优化算法：参数更新过程
YOLOv3的损失函数和优化】反向传播和梯度下降优化算法：参数更新过程](https://assets-global.website-files.com/5d7b77b063a9066d83e1209c/63d288e86977d161740d2f6b_Cross%20Entropy%20Loss%20Formula.webp) ...
最全最详细的常见激活函数总结（sigmoid、Tanh、ReLU等）及激活函数面试常见问题总结
neo_lcx的博客
08-28 1万+
常见激活函数为什么要使用激活函数？激活函数具有的特性激活函数的类别饱和激活函数Sigmoid激活函数Tanh(双曲正切函数)激活函数Sigmoid、Tanh激活函数引发的常见问题解决非饱和激活函数ReLU激活函数Leaky ReLU等变种激活函数 为什么要使用激活函数？ 激活函数用来怎加非线性因素的，提高模型拟合能力。如果不存在激活函数，神经网络的每一层的输入都是对前面输入的线性变化，就算把网络加...
神经网络的前向和反向传播
m0_37799466的博客
05-22 5554
1、前向传播 前向传播的作用就是为了获取误差损失；现在以示例来说明： 上图是一个典型的神经网络结构，包括了输入层、隐含层和输出层，为了更好的讲解，现在对其进行赋值： 目标：给出输入数据i1,i2(0.05和0.10)，使输出尽可能与原始输出o1,o2(0.01和0.99)接近。 （1）.输入层---->隐含层： 计算神经元h1的输入加权和： 　　神经元h1的输出:(此处用到激活函数为sigmoid函数)： 　　 　　同理，可计算出神经元h2的输出： 　　 　　（2）.隐含层---->输出层
机器学习（十）神经网络理解及利用向前传播算法得模型预测函数
Mekeater的博客
01-03 1219
机器学习（十）神经网络 前言： 我们前面已近学习了线性回归解决预测问题，逻辑回归解决分类问题，那么现在我们学习神经网络能解决什么问题呢？我认为它是为了解决线性回归和逻辑回归存在的不足而出现的。我们想想对于逻辑回归，如果我们的特征要素比较少的情况下，比如只有x1,x2,x3，那么我们得到的多项式还能够接受，但是如果我们问题的特征要素很多的情况，比如x1,x2,x3,…,x100,有100个特征要素，...
详解神经网络的前向传播和反向传播（从头推导）
Sual
08-06 10万+
详解神经网络的前向传播和反向传播 本篇博客是对Michael Nielsen所著的《Neural Network and Deep Learning》第2章内容的解读，有兴趣的朋友可以直接阅读原文Neural Network and Deep Learning。 　　对神经网络有些了解的人可能都知道，神经网络其实就是一个输入XXX到输出YYY的映射函数：f(X)=Yf(X)=Yf(X)=Y，函...
吴恩达深度学习细节补充（一）——正向传播与反向传播
livan1234的博客
08-10 1万+
笔者是一个痴迷于挖掘数据中的价值的学习人，希望在平日的工作学习中，挖掘数据的价值，找寻数据的秘密，笔者认为，数据的价值不仅仅只体现在企业中，个人也可以体会到数据的魅力，用技术力量探索行为密码，让大数据助跑每一个人，欢迎直筒们关注我的公众号，大家一起讨论数据中的那些有趣的事情。 我的公众号为：livandata
前向传播算法(Forward propagation)与反向传播算法(Back propagation)
热门推荐
bitcarmanlee的博客
12-16 13万+
虽然学深度学习有一段时间了，但是对于一些算法的具体实现还是模糊不清，用了很久也不是很了解。因此特意先对深度学习中的相关基础概念做一下总结。先看看前向传播算法(Forward propagation)与反向传播算法(Back propagation)。1.前向传播如图所示，这里讲得已经很清楚了，前向传播的思想比较简单。 举个例子，假设上一层结点i,j,k,…等一些结点与本层的结点w有连接，那么结点
第九章 后向传播算法（分类）
moving
08-05 3568
1、神经网络          后向传播(Back—PropagationNetwork，简称BP网络)是一种神经网络学习算法。 神经网络最早是由心理学家和神经学家开创的，旨在寻求开发和检验神经的计算模拟。粗略地说，神经网络是一组连接的输入/输出单元，其中每个连接都与一个权重相关联。在学习阶段，通过调整这些权重，使得它能够正确预测输入样本的类标号。 神经网络的缺点： (1)需要很长的训练时
深度学习 前向后向传播公式推导
laojiaqi的专栏
09-29 2525
假设，该样本3种特征，分别为x1x_1,x2x_2,x2x_2, 1.1单个样本，用标量表示那么对于向前传播的公式可以得到: z=w1x1+w2x2+w3x3+bz=w_1x_1+w_2x_2+w_3x_3+b, 激活函数用（activation functionactivation \ function）: a=g(z)a=g(z) (其中gg可以为relurelu或者sigmoidsi
前向传播和反向传播（举例说明）
郭云飞的专栏
09-19 3万+
假设神经网络结构如下图所示：有2个输入单元；隐含层为2个神经元；输出层也是2个神经元，隐含层和输出层各有1个偏置。 为了直观，这里初始化权重和偏置量，得到如下效果： ----前向传播---- 隐含层神经元h1的输入： 代入数据可得： 假设激励函数用logistic函数，计算得隐含层神经元h1的输出： 同样的方法，可以得到隐含层神经元h
损失函数反向传播
最新发布
03-08
### 关于损失函数反向传播的过程、原理及其实现 #### 损失函数的作用及其计算方式 在神经网络中，损失函数用于衡量模型预测值与真实标签之间的差异。对于分类问题，常用的损失函数之一是交叉熵损失函数，在多类分类场景下通常采用softmax加交叉熵的形式[^1]。 #### 反向传播的核心概念 反向传播算法通过计算梯度来更新权重参数，从而最小化损失函数。这一过程中应用了链式法则以高效地求解各层参数相对于最终输出误差的导数[^3]。 #### 计算流程概述 - **前向传递阶段**：输入数据经过每一层节点直至得到输出结果； - **计算损失**：利用选定的损失函数评估当前输出与实际目标间的差距； - **反向传播阶段**：从最后一层开始逐级向前推算每层权值变化对总误差的影响程度；此步涉及大量矩阵运算以及激活函数的一阶导数值； - **参数调整**：依据所获得的梯度信息按照一定策略（如随机梯度下降SGD）修改连接权重和偏置项。 #### Python代码示例展示简单的两层全连接NN中的BP过程 ```python import numpy as np def sigmoid(x): return 1 / (1 + np.exp(-x)) def sigmoid_derivative(x): s = sigmoid(x) return s * (1 - s) class NeuralNetwork: def __init__(self, input_size=2, hidden_size=4, output_size=1): self.weights_input_hidden = np.random.randn(input_size, hidden_size) self.bias_hidden = np.zeros((1, hidden_size)) self.weights_hidden_output = np.random.randn(hidden_size, output_size) self.bias_output = np.zeros((1, output_size)) def forward(self, X): z_hidden = np.dot(X, self.weights_input_hidden) + self.bias_hidden a_hidden = sigmoid(z_hidden) z_output = np.dot(a_hidden, self.weights_hidden_output) + self.bias_output y_pred = sigmoid(z_output) return y_pred, a_hidden def backward(self, X, Y, learning_rate=0.1): m = X.shape[0] # Forward pass y_pred, a_hidden = self.forward(X) # Compute gradients using backpropagation dz_output = y_pred - Y dw_hidden_output = np.dot(a_hidden.T, dz_output) / m db_output = np.sum(dz_output, axis=0, keepdims=True) / m da_hidden = np.dot(dz_output, self.weights_hidden_output.T) dz_hidden = da_hidden * sigmoid_derivative(np.dot(X, self.weights_input_hidden) + self.bias_hidden) dw_input_hidden = np.dot(X.T, dz_hidden) / m db_hidden = np.sum(dz_hidden, axis=0, keepdims=True) / m # Update parameters with gradient descent step self.weights_hidden_output -= learning_rate * dw_hidden_output self.bias_output -= learning_rate * db_output self.weights_input_hidden -= learning_rate * dw_input_hidden self.bias_hidden -= learning_rate * db_hidden nn = NeuralNetwork() X_train = np.array([[0, 0], [0, 1], [1, 0], [1, 1]]) Y_train = np.array([[0], [1], [1], [0]]) for epoch in range(10000): nn.backward(X_train, Y_train) print("Final prediction after training:") y_final, _ = nn.forward(X_train) print(y_final) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值