激活函数numpy实现(Sigmoid, Tanh, Relu, Softmax)

最新推荐文章于 2024-03-05 23:00:57 发布
最新推荐文章于 2024-03-05 23:00:57 发布
阅读量610 收藏
点赞数
分类专栏： AI 文章标签： 神经网络 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/disanda/article/details/119987003
版权

激活函数numpy实现

你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。

1.Sigmoid

s i g m o i d ( y ) = 1 1 + e − x sigmoid(y) = \frac{1}{1 + e^{-x}} sigmoid(y)=1+e−x1​

2.Tanh

t a n h ( y ) = 2 ∗ s i g m o i d ( 2 ∗ x ) − 1 tanh(y) = 2 * sigmoid(2*x) -1 tanh(y)=2∗sigmoid(2∗x)−1

or

s i g m o i d ( y ) = 1 / 2 + 1 / 2 ∗ t a n h ( 1 / 2 ∗ x ) sigmoid(y) = 1/2 + 1/2*tanh(1/2*x) sigmoid(y)=1/2+1/2∗tanh(1/2∗x)

3.Relu

4.Softmax

disanda
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
sigmoid函数，tanh函数，relu函数，softmax函数
lovekobe1997的博客
03-04 2356
sigmoid函数 数学表达式： f(z)=1/(1+e**-z) Sigmoid 函数的输出范围是 0 到 1。由于输出值限定在 0 到 1，因此它对每个神经元的输出进行了归一化； 用于将预测概率作为输出的模型。由于概率的取值范围是 0 到 1，因此 Sigmoid 函数非常合适； 梯度平滑，避免「跳跃」的输出值； 函数是可微的。这意味着可以找到任意两个点的 sigmoid 曲线的斜率； 明确的预测，即非常接近 1 或 0。 Sigmoid 激活函数有哪些缺点？ 倾向于梯度消失； 函数输出不是以 0 为
[小白系列]sigmoid和tanh激活函数的绘制(分开画，合起来画，总有一款适合你），逐行代码详解
12-21
import numpy as np plt.rcParams['axes.unicode_minus'] = False def sigmoid(x): return 1.0/(1.0+np.exp(-x)) def tanh(x): return (np.exp(x) - np.exp(-x))/(np.exp(x)+np.exp(-x)) x = np.linspace(-8,8) ...
基于Numpy动手实现一个dnn训练框架z_dnn，支持全连接层的正反传播，支持Sigmoid和Tanh激活.zip
02-15
人工智能-项目实践-机器学习
Numpy_学习笔记
Wanzy_SUSTC的博客
07-15 113
a=np.array([1, 2, 3]) # array([1, 2, 3]) a=np.zeros((2,2)) # array([[0., 0.],\n[0., 0.]]) a=np.ones((1,2)) # array([[1., 1.]]) a=np.full((2,2), 7) # array([[7, 7],\n[7, 7]]) a=np.eye(2) # array([[1., ...
Python的Numpy实现深度学习常用的函数
热门推荐
夜雨飘零
03-30 4万+
目录 目录 常用的激活函数 sigmoid函数 sigmoid函数的梯度 tanh函数 tanh函数的梯度 ReLU函数 图像转矢量 规范化行 广播和softmax函数 numpy矩阵的运算 损失函数 L1损失函数 L2损失函数 参考资料 常用的激活函数 我们常用的激活函数有sigmoid，tanh，ReLU这三个函数，我们都来学习学习吧。 sigmoid函数 ...
Tanh函数使用教程及代码实现
m0_73291751的博客
07-18 2121
Tanh函数（双曲正切函数）是一种常用的激活函数，它将输入值映射到范围在-1到1之间的连续输出。Tanh函数的公式如下：scss。
【Python】使用numpy进行神经网络激活函数算法描述
最新发布
bfz_50的博客
03-05 1292
最近接触了一些AI的知识点，感觉Python在这方面还是很有优势的，特别是库的应用，很多精彩的算法公式都可以通过Python简洁的表达出来，主要是numpy，提供了大量数学工具，在激活函数中描述相关的表达式非常方便。这一步非常重要，如果不进行这一步操作，后续在取倒数时，会发现值的区间超出1，比如当np.exp(-z)=0.1时，1/np.exp(-z)=10，这样整个函数的区间还是(0,+∞)，对数据范围限制作用就没有了。plot函数用于绘制曲线，当只传入一组数组时，x轴默认为0,1,2……
深度学习中的一些常见的激活函数集合（含公式与导数的推导）sigmoid, relu, leaky relu, elu， numpy实现
jasneik的博客
04-03 1628
深度学习常用激活函数 公式与导数的推导过程，sigmoid, relu, leaky relu(p relu), elu, sgn等
深度学习的四种激活函数
qq_51994753的博客
05-26 1465
首先四种激活函数分别为： （1）Sigmoid函数 （2）Tahn函数 （3）ReLu函数 （4）SoftMax函数 1.Sigmoid函数（该函数是将取值为（-∞，+∞）的数映射到（0，1）之间） 优点：在特征相差比较复杂或是相差不是特别打的效果比较好； 缺点：当z值非常大或着非常小时，通过上图我们可以看到，sigmoid函数的导数将接近0.着会导致权重W的梯度将接近0，使得梯度更新十分缓慢，即梯度消失； sigmoid函数可用在网络最后一层，作为输出层进行二分类，尽量不要使用在隐藏层。 代码如下： i
tanh,relu,sigmoid激活函数numpy实现
geter_CS的博客
03-17 5646
from matplotlib import pyplot as pl x=np.arange(-5,5,0.01) #Relu y1=np.where(x>0,x,0) pl.plot(x,y1) pl.show() y2=(x+np.abs(x))/2 pl.plot(x,y2) pl.show() y3=np.maximum(x,0) pl.plot(x,y3) pl.sho...
Numpy实现激活函数
AI浩
09-16 3385
import numpy as np # Collection of activation functions # Reference: https://en.wikipedia.org/wiki/Activation_function class Sigmoid(): def __call__(self, x): return 1 / (1 + np.exp(-x)) def gradient(self, x): return self.__call
NumPy统计函数的实现方法
12-23
numpy.amin()和numpy.amax() numpy.amin()用于计算数组中元素沿着指定轴的最小值。 numpy.amax()用于计算数组中元素沿着指定轴的最大值 a=np.array([1,3,6],[3,4,11],[6,1,4]) print(np.amin(a,1) #每行最小值 ...
神经网络中各种激活函数的Python实现
11-22
本资源主要是可视化各种激活函数：Relu，sigmoid ，swish，mish等，只需要依赖numpy，不需要安装pytorch，只是一个简单的demo
NumPy 数学函数及代数运算的实现代码
09-20
主要介绍了NumPy 数学函数及代数运算的实现代码,小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
[python3 Numpy使用技巧]一条语句实现numpy数组relu激活函数
简明AI工作室
11-26 4519
一条语句实现numpy数组relu激活函数 就是实现numpy数组中，小于零的元素赋值零。类似于神经网络里的激活函数，请看代码： Idata = 1 * (Idata > 0) * Idata 可以分解一下 temp = Idata > 0 temp = 1 * temp Idata = temp * Idata 自己编程的时候发现的，python如此强大呀！！！ ...
深度神经网络中的激活函数_导数推理过程_python绘制图像示意_特点及使用场景
PuJiang-的博客
03-26 2055
1、Sigmoid激活函数 f(z)=11+e−zf(z)=\frac{1}{1+e^{-z}}f(z)=1+e−z1​f′(z)=0−1∗(1+e−z)′(1+e−z)2=−e−z∗−1(1+e−z)2=e−z(1+e−z)2=1+e−z−1(1+e−z)2=1(1+e−z)−1(1+e−z)2=f(z)(1−f(z)) f^{'}(z)=\frac{0-1*(1+e^{-z})^{'}}{(1+e^{-z})^2}\\ =\frac{-e^{-z}*-1}{(1+e^{-z})^2}\\=\frac{e
【深度学习】用NumPy和PyTorch分别实现神经网络的反向传播
fengdu78的博客
03-24 476
反向传播算法的例子 假设我们的神经网络中有层，第层有个神经元，第层与层之间的权重矩阵为，偏置向量为。对于一个具有个样本的数据集，我们定义输入为，输出为。在前向传播中，我们使用以下公式计算每一层的值：其中是激活函数，表示层数，表示输入层。在反向传播中，我们需要计算每一层的误差并更新权重。计算输出层的误差时，可以使用以下公式：其中表示输出层。然后，我们可以通过反向传播输出误差来计算隐藏层的误差：其中，...
Numpy绘制激活函数图
caixiaobaideye的博客
06-16 198
使用Numpy绘制激活函数
深度学习常用的激活函数以及python实现(Sigmoid、Tanh、ReLU、Softmax、Leaky ReLU、ELU、PReLU、Swish、Squareplus)
qq_42025868的博客
02-22 1万+
前言 激活函数是一种添加到人工神经网络中的函数，类似于人类大脑中基于神经元的模型，激活函数最终决定了要发射给下一个神经元的内容。 此图来自百度百科，其中step function就是激活函数，它是对之前一层进行汇总后信号进行激活，传给下一层神经元。 常用的激活函数有以下8个： 常用的8个激活函数 sigmoid Tanh ReLU Softmax Leaky ReLU ELU PReLU Swish 1. Sigmoid 如上图是Sigmoid函数的函数图像。 Sigmoid 函数的图像看起来像
python画激活函数图片
07-08
这段代码会绘制出Sigmoid、ReLU和Tanh三种常见激活函数的图像。你可以根据需要修改代码中的激活函数或输入范围来绘制其他激活函数的图像。运行代码后，会显示一个包含三个子图的图像窗口，每个子图对应一个激活函数...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值