Neural Network(4)-Gradient Descent Rule, Sigmoid

最新推荐文章于 2023-04-08 23:51:56 发布
最新推荐文章于 2023-04-08 23:51:56 发布
阅读量417 收藏
点赞数 1
分类专栏： Neural Network 文章标签： 深度学习 人工智能 神经网络 随机梯度下降 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42141943/article/details/105614334
版权

梯度递减-单层感知器 以及sigmoid 激活函数

1. 单层感知器的梯度递减

1.1 目的

替代了原来的学习法则
用梯度下降去寻找假设空间
假设空间：转自：https://blog.csdn.net/zmdsjtu/article/details/52689392
在这里插入图片描述

1.2 重新定义了错误测量

感知器原则不再适用因为其不可微
在这里插入图片描述

1.3 梯度训练法则

在这里插入图片描述
沿着错误下降最快的方向(错误沿权重下降最快的方向因为调节的是权重) 即梯度的反
在这里插入图片描述

为了理解梯度下降我们显化所有权重和相关联的错误值
在这里插入图片描述
error surface must be parabolic with a single global minimum
在这里插入图片描述
下面演示为什么是沿着梯度的反方向趋近全局或者局部最小值
在这里插入图片描述
在这里插入图片描述
梯度即为方向导数即为正负代表递增或递减
因此如果递增那之后的越来越大误差肯定不是最小因此将权重减小倒回去找
如果递减那之后误差越来越小因此将权重增加往前面去找 总之和梯度相反。

1.4 梯度递减公式的推导

在这里插入图片描述
其中Oe ＝Wi 与 Xie 乘积 wi 对应的是 其中一个权重(单一权重) xie对应的是一个输入pattern中于Wi相连的那个输入部分 其它的部分都不含Wi就省去了
在这里插入图片描述

1.41 批次更新

在这里插入图片描述
注意这里是把所有的权重更新加起来最后再更新
在这里插入图片描述
在这里插入图片描述

1.42 增量梯度递减

上述的梯度递减面对两个问题:

  1. 收敛时间很长因为每次加的太多了可能跳过了最优解(每次都是在旧的权重上计算)
  2. 如果有很多局部最小值很可能会找不到那个全局最小值因为掉进局部最小陷阱中了

Whereas the gradient descent rule updates the weights after calculating the whole error accumulated from all examples, the incremental version approximates the gradient descent error decrease by updating the weights after each training example
简而言之梯度递减法则等所有example跑完后更新一次权重而增量则每次example都更新

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2. Sigmoid 激活函数

2.1 目的：

单层感知器的功能太局限因此用sigmoid引入非线性
在这里插入图片描述

2.2 Sigmoid 作为激活函数的梯度递减

在这里插入图片描述
基本原理没变
在这里插入图片描述
变的是在求导过程中激活函数sigmoid包装的那一层输出
在这里插入图片描述
最终结果多了一个封装的 激活函数的导数 注意负号被放进去了
激活函数的导数为：
在这里插入图片描述
注意真正的应该是去掉一个负号

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.13 增量Sigmoid 梯度递减

在这里插入图片描述

2.14 批次梯度递减和增量梯度递减

在这里插入图片描述
批次的是把所有的pattern带来的权重改变相加在更新这导致每次都是沿着最深梯度下降不会有很大的抖动
而增量是每个pattern 更新一次因此会有很大的抖动比如上一个加下一个减但总体趋势是向梯度递减的有可能帮助跳出局部最小值

3. 感知器训练法则与梯度递减的比较

  1. 梯度递减最小化平方误差和而不是误差(target-out)
  2. 感知器能准确划分并保证找到解(线性可分) 梯度递减精度差并不保证找到最优解
  3. 梯度下降不需要线性可分而感知器必须线性可分
爱丁堡AI学习ing
关注
专栏目录
Neural Networks and Deep Learnging week4 Deep Neural Network - Application
QQ1845517170的博客
11-26 205
该实验作业的主要目的 将刚刚完成的神经网络模块，组合到一起，并进行对猫片的分类 你可能感兴趣的文献 http://stackoverflow.com/questions/1907993/autoreload-of-modules-in-ipython 刚刚完成的模块很多，如何快速加载那些常用模块 总体进程 需要手写的就两部分，一个是初始化设定，另一个是整合上一作业的模块，功利的完成作业很快，为了更好的了解过程，建议按照指导的内容，全部过一遍，需要写代码的模块用***在开头标出 载入文件（各种会用.
python语言画出Sigmoid,Tanh,RuLe函数图像
11-26
python语言画出Sigmoid,Tanh,RuLe函数图像,实现图像的可视化
One-hot 编码/TF-IDF 值来提取特征,LAD/梯度下降法（Gradient Descent），Sigmoid
weixin_34001430的博客
12-06 142
1. 多值无序类数据的特征提取: 多值无序类问题（One-hot 编码）把“耐克”编码为[0,1,0]，其中“1”代表了“耐克”的中 间位置，而且是唯一标识。同理我们可以把“中国”标识为[1,0]，把“蓝色”标识为[0,1]。 然后把所有的数据编码拼接起来，[“耐克”,“中国”,“蓝色”]的最终编码结果就变为了 [0,1,0,1,0,0,1]，这一组数据虽然很稀疏，但是可以带到算法中进行计算 无...
Sigmoid,Rule,LeakyRule,ELU
weixin_73539893的博客
04-08 395
网络截取：超参数α的取值也已经被很多实验研究过，有一种取值方法是 对α随机取值，α的分布满足均值为0,标准差为1的正态分布，该方法叫做随机LeakyReLU(Randomized LeakyReLU)。至于为什么随机LeakyReLU能取得更好的结果，解释之一就是随机LeakyReLU小于0部分的随机梯度，为优化方法引入了随机性，这些随机噪声可以帮助参数取值跳出局部最优和鞍点，这部分内容可能需要一整篇文章来阐述。小于0的部分，斜率有微小的变动，斜率值一般取0.01。Rule,解决梯度消失的问题，
激活函数（ReLU、sigmoid、tanh）的简单理解
01-20
ReLU函数 ReLU（rectified linear unit）函数提供了⼀个很简单的⾮线性变换。给定元素 ，该函数定义为： 可以看出，ReLU函数只保留正数元素，并将负数元素清零。函数图像如下图： 显然，当输⼊为负数时，ReLU函数的导数为0；当输⼊为正数时，ReLU函数的导数为1。尽管输⼊为0 时ReLU函数不可导，但是我们可以取此处的导数为0。绘制ReLU函数的导数图像： sigmoid函数 sigmoid函数可以将元素的值变换到0和1之间，函数定义： sigmoid函数在早期的神经⽹络中较为普遍，但它⽬前逐渐被更简单的ReLU函数取代。sigmoid函数接近线性变换： 对
梯度下降（gradient descent）原理
LilyZJ的博客
03-20 575
目标：解决多变量函数的最优化问题 例如神经网络中的损失函数（loss function）： C(w,b)=12n∑x∥y(x)−a∥2C(w,b)=\frac{1}{2n}\sum_{x}\|y(x)-a\|^2C(w,b)=2n1​x∑​∥y(x)−a∥2 其中www和bbb为网络的参数，xxx为训练样本，nnn为训练样本的数目，y(x)y(x)y(x)为网络的期望输出，aaa为网络的实际输出，...
Advanced Guide: MATLAB Neural Network Toolbox - User Guide
# Advanced Guide to MATLAB Neural Network Toolbox: A User Manual ## 1. Overview of MATLAB Neural Network Toolbox The MATLAB Neural Network Toolbox is a powerful set of tools designed for designing, ...
neural network.zip_neural network_人工神经网络入门程序
07-15
7. **优化器**：如梯度下降（Gradient Descent）、随机梯度下降（SGD）、Adam等，用于更新参数以最小化损失函数。 8. **训练过程**：包括批量训练、迭代次数、学习率等概念，以及如何使用训练数据集和验证数据集来...
Artificial-Neural-Networks-Project:多个顺序的可学习层，激活和丢失功能
03-28
优化器如梯度下降（Gradient Descent）、随机梯度下降（Stochastic Gradient Descent, SGD）、Adam等被用来调整权重和偏置，以最小化损失函数。 此外，该项目可能还涵盖了正则化技术，如L1和L2正则化，用于防止过...
neural_network_tf.zip_neural_network_tf
09-15
3. **模型训练**：梯度下降（Gradient Descent）、反向传播（Backpropagation）、损失函数（Loss Function，如交叉熵Cross-Entropy）、优化器（Optimizers，如Adam、SGD等）。 4. **数据预处理**：标准化、归一化、...
梯度下降法（Gradient Descent）
isMarvellous的博客
04-08 9758
第一次写博客，好激动啊，哈哈。之前看了许多东西但经常是当时花了好大功夫懂了，但过一阵子却又忘了。现在终于决定追随大牛们的脚步，试着把学到的东西总结出来，一方面梳理思路，另一方面也作为备忘。接触机器学习不久，很多东西理解的也不深，文章中难免会有不准确和疏漏的地方，在这里和大家交流，还望各位不吝赐教。 　　（又加了一部分代价函数的概率解释——2016.4.10）
《机器学习》学习笔记（五）-- 深度学习概述，反向传播
DIAJEY的博客
08-06 601
1.Neural Network(神经网络) concept 把多个logistic regression前后连接在一起，然后把一个logistic regression称之为neuron，整个则称之为neural network 我么可以用不同的方法连接这些neuron，就可以得到不同的结构，神经网络里的每一个逻辑回归都有自己的权重和偏值，这些weigh和bias集合起来，就是这个network的parameter。 Fully Connect Feedforward Network 最常见的方法是Fu
梯度下降法
刘明的博客
03-23 306
梯度下降 梯度下降的思想 过程 几个问题 梯度下降 梯度下降的思想   梯度下降就是用来求函数最小值的算法，我们将使用梯度下降算法来求出代价函数J(θ0,θ1)J(θ0,θ1)J(\theta_0,\theta_1)的最小值。   梯度下降思想：首先我们随机选择一个参数的组合J(θ0,θ1,...,θn)J(θ0,θ1,...,θn)J(\theta_0,\t...
【深度学习】——激活函数（sigmoid、tanh、relu、softmax）
python_AI_fans的博客
08-25 3932
目录 激活函数 1、作用 2、常用激活函数 3、衡量激活函数好坏的标准： 4、不同的激活函数 1）sigmoid 2）tanh函数 3）RULE函数和leak-relu函数 4）softmax函数 激活函数 1、作用 如果只是线性卷积的话，会导致无法形成复杂的表达空间，因此需要激活函数来进行非线性映射，这样可以得到更高语义的信息，提升整个神经网络的表达能力。 2、常用激活函数 sigmoid、tanh、relu、softmax 3、衡量激活函数好坏的标准： 1）是否0-.
基于梯度递减的线性回归算法
Niandada的博客
05-06 363
import numpy as np import random import tensorflow as tf # 定义损失函数 def loss(y_true, y_pred): # return tf.square(tf.subtract(real_y, pred_y)) # return tf.abs(real_y - pred_y) return tf.keras.losses.MSE(y_true, y_pred) # 生成训练数据 x_train_inc.
sigmoid与ReLU函数
涂涂的博客
02-21 6775
单极性Sigmoid函数 单极性Sigmoid函数，即f(x)=11+e−x,f(x)′=f(x)[1−f(x)]f(x)=\frac{1}{1+e^{-x}},f(x)'=f(x)[1-f(x)],该传输函数的输入在(−∞,+∞)(-\infty,+\infty)之间取值，输出在(0,1)(0,1)之间取值。sigmoid函数提供概率解释，另外，sigmoid函数是可微的，所以用于反向传播算法（B
梯度下降 Gradient Descent 详解、梯度消失和爆炸
止鱼
12-26 5443
1、什么是梯度 在微积分中，对多元函数的参数求∂偏导，把求得的各个参数的偏导数以向量形式写出来即为梯度。 例如对于函数f(x,y)，分别对x,y求偏导，求得的梯度向量就是 (∂f/∂x, ∂f/∂y)^T，简称 grad f(x,y)，或者▽f(x,y)。相对于的，在点（x_0,y_0）处的梯度就是 (∂f/∂x_0, ∂f/∂y_0)^T, 或者记做 ▽f(x_0,y_0)。 2、梯度的意义 ...
梯度下降（Gradient descent)算法详解
热门推荐
weixin_60737527的博客
03-26 1万+
梯度下降（Gradient descent)算法详解 说起梯度下降算法，其实并不是很难，它的重要作用就是求函数的极值。梯度下降就是求一个函数的最小值，对应的梯度上升就是求函数最大值。为什么这样说呢？兔兔之后会详细讲解的。 虽然梯度下降与梯度上升都是求函数极值的算法，为什么我们常常提到“梯度下降”而不是梯度上升“呢？主要原因是在大多数模型中，我们往往需要求函数的最小值。比如BP神经网络算法，我们得出损失函数，当然是希望损失函数越小越好，这个时候肯定是需要梯度下降算法的。梯度下降算法作为很多算法的一个关键环节，
常用激活函数比较
aliceyangxi1987的博客
05-01 7285
本文结构： 什么是激活函数 为什么要用 都有什么 sigmoid ，ReLU， softmax 的比较 如何选择 1. 什么是激活函数如下图，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数 Activation Function。2. 为什么要用如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。 如果使用
Write pytorch-based Python code to implement a neural network that solves solving binary classification problem with an output layer of a positively weighted sub-network plus a negatively weighted sub-network， where the negative weights are random and take the opposite of the absolute value of the standard normal distribution, the exact value of the two weights are obtained from the objective function by Back propagation.
最新发布
07-08
Sure! Here's an example of Python code using PyTorch to implement a neural network for binary classification with a positively weighted sub-network and a negatively weighted sub-network: ```python import torch import torch.nn as nn import torch.optim as optim from torch.autograd import Variable # Define the neural network model class BinaryClassifier(nn.Module): def __init__(self, input_size): super(BinaryClassifier, self).__init__() self.positive_network = nn.Linear(input_size, 1) self.negative_network = nn.Linear(input_size, 1) def forward(self, x): positive_output = self.positive_network(x) negative_output = self.negative_network(x) output = positive_output - negative_output return output # Generate random negative weights from the standard normal distribution def generate_negative_weights(model): for param in model.negative_network.parameters(): param.data = torch.abs(torch.randn(param.size())) * -1 # Define the objective function def objective_function(outputs, labels): criterion = nn.BCEWithLogitsLoss() loss = criterion(outputs, labels) return loss # Generate some dummy data input_size = 10 num_samples = 100 input_data = torch.randn(num_samples, input_size) labels = torch.randint(0, 2, (num_samples,)) # Create the model and initialize random negative weights model = BinaryClassifier(input_size) generate_negative_weights(model) # Training loop num_epochs = 10 learning_rate = 0.001 optimizer = optim.SGD(model.parameters(), lr=learning_rate) for epoch in range(num_epochs): model.train() optimizer.zero_grad() inputs = Variable(input_data) targets = Variable(labels.float()) # Forward pass outputs = model(inputs) loss = objective_function(outputs, targets) # Backward pass and optimization loss.backward() optimizer.step() # Print loss for tracking progress print('Epoch [{}/{}], Loss: {:.4f}'.format(epoch+1, num_epochs, loss.item())) ``` In this code, we define a `BinaryClassifier` class that inherits from `nn.Module` and contains two linear layers: `positive_network` and `negative_network`. The `forward` method computes the output by subtracting the negative output from the positive output. To generate random negative weights, we define the `generate_negative_weights` function, which iterates over the parameters of the negative network and assigns random negative values drawn from the standard normal distribution. The objective function is defined using the `nn.BCEWithLogitsLoss` loss function, which combines a sigmoid activation function and a binary cross-entropy loss. Finally, we define the training loop with a fixed number of epochs, a learning rate, and an optimizer (in this case, stochastic gradient descent). The loop performs a forward pass, computes the loss, performs a backward pass, and updates the model parameters. Please note that this code is a basic implementation and may need modifications depending on your specific requirements.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值