激活函数之softmax介绍及C++实现

最新推荐文章于 2024-09-28 21:30:16 发布
最新推荐文章于 2024-09-28 21:30:16 发布
阅读量1.7w 收藏 13
点赞数 2
分类专栏： Deep Learning Math Knowledge
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fengbingchun/article/details/75220591
版权

下溢(underflow)：当接近零的数被四舍五入为零时发生下溢。许多函数在其参数为零而不是一个很小的正数时才会表现出质的不同。例如，我们通常要避免被零除或避免取零的对数。

上溢(overflow)：当大量级的数被近似为∞或-∞时发生上溢。进一步的运算通常会导致这些无限值变为非数字。

必须对上溢和下溢进行数值稳定的一个例子是softmax函数(softmax function).softmax函数经常用于预测与Multinoulli分布相关联的概率，定义为：

考虑一下当所有xi都等于某个常数c时会发生什么。从理论分析上说，我们可以发现所有的输出都应该为1/n。从数值计算上说，当c量级很大时，这可能不会发生。如果c是很小的负数，exp(c)就会下溢。这意味着softmax函数的分母会变成0，所以最后的结果是未定义的。当c是非常大的正数时，exp(c)的上溢再次导致整个表达式未定义。这两个困难能通过计算softmax(z)同时解决，其中z=x-maxixi.简单的代数计算表明，softmax解析上的函数值不会因为从输入向量减去或加上标量而改变。减去maxixi导致exp的最大参数为0，这排除了上溢的可能性。同样地，分母中至少有一个值为1的项，这就排除了因分母下溢而导致被零除的可能性。

还有一个小问题。分子中的下溢仍可以导致整体表达式被计算为零。这意味着，如果我们在计算log(softmax(x))时，先计算softmax再把结果传给log函数，会错误地得到-∞。相反，我们必须实现一个单独的函数，并以数值稳定的方式计算log(softmax)。我们可以使用相同的技巧来稳定log(softmax)函数。

Softmax函数：在数学，尤其是概率论和相关领域中，Softmax函数，或称归一化指数函数，是逻辑函数的一种推广。它能将一个含任意实数的K维的向量z的”压缩”到另一个K维实向量σ(z)中，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1。该函数的形式通常按下面的式子给出：其中，j=1,…,K.

Softmax函数实际上是有限项离散概率分布的梯度对数归一化。因此，Softmax函数在包括多项逻辑回归，多项线性判别分析，朴素贝叶斯分类器和人工神经网络等的多种基于概率的多分类问题方法中都有着广泛应用。

The softmax function is often used in the final layer of a neural network-based classifier. Such networks are commonly trained under a log loss (or cross-entropy) regime, giving a non-linear variant of multinomial logistic regression.

Softmax可作为神经网络中的输出层，用于多分类(sigmoid只能用于二分类，而softmax可用于多分类。使用Logistic函数来实现二分类问题，对于多分类问题，可以使用多项Logistic回归，该方法也被称之为softmax函数)；Softmax还可以解决学习速度衰退的问题；softmax还可作为loss function。

softmax函数的导数如下：


以上内容主要摘自：《深度学习中文版》 和 维基百科

  以下是C++实现的测试code：

#include "funset.hpp"
#include <math.h>
#include <iostream>
#include <string>
#include <vector>
#include <opencv2/opencv.hpp>
#include "common.hpp"

// ========================= Activation Function: softmax =====================
template<typename _Tp>
int activation_function_softmax(const _Tp* src, _Tp* dst, int length)
{
	const _Tp alpha = *std::max_element(src, src + length);
	_Tp denominator{ 0 };

	for (int i = 0; i < length; ++i) {
		dst[i] = std::exp(src[i] - alpha);
		denominator += dst[i];
	}

	for (int i = 0; i < length; ++i) {
		dst[i] /= denominator;
	}

	return 0;
}

template<typename _Tp>
int activation_function_softmax_derivative(const _Tp* src, _Tp* dst, int length)
{
	std::vector<_Tp> y(length, (_Tp)0);
	activation_function_softmax(src, y.data(), length);

	fprintf(stderr, "Error: activation_function_softmax_derivative to do ...\n");
	return -1;
}

int test_activation_function()
{
	std::vector<float> src{ 1.23f, 4.14f, -3.23f, -1.23f, 5.21f, 0.234f, -0.78f, 6.23f };
	int length = src.size();
	std::vector<float> dst(length);

	fprintf(stderr, "source vector: \n");
	fbc::print_matrix(src);
	fprintf(stderr, "calculate activation function:\n");

	fprintf(stderr, "type: sigmoid result: \n");
	fbc::activation_function_sigmoid(src.data(), dst.data(), length);
	fbc::print_matrix(dst);
	fprintf(stderr, "type: sigmoid derivative result: \n");
	fbc::activation_function_sigmoid_derivative(src.data(), dst.data(), length);
	fbc::print_matrix(dst);
	fprintf(stderr, "type: sigmoid fast result: \n");
	fbc::activation_function_sigmoid_fast(src.data(), dst.data(), length);
	fbc::print_matrix(dst);

	fprintf(stderr, "type: softplus result: \n");
	fbc::activation_function_softplus(src.data(), dst.data(), length);
	fbc::print_matrix(dst);
	fprintf(stderr, "type: softplus derivative result: \n");
	fbc::activation_function_softplus_derivative(src.data(), dst.data(), length);
	fbc::print_matrix(dst);

	fprintf(stderr, "type: ReLU result: \n");
	fbc::activation_function_ReLU(src.data(), dst.data(), length);
	fbc::print_matrix(dst);
	fprintf(stderr, "type: ReLU derivative result: \n");
	fbc::activation_function_ReLU_derivative(src.data(), dst.data(), length);
	fbc::print_matrix(dst);

	fprintf(stderr, "type: Leaky ReLUs result: \n");
	fbc::activation_function_Leaky_ReLUs(src.data(), dst.data(), length);
	fbc::print_matrix(dst);
	fprintf(stderr, "type: Leaky ReLUs derivative result: \n");
	fbc::activation_function_Leaky_ReLUs_derivative(src.data(), dst.data(), length);
	fbc::print_matrix(dst);

	fprintf(stderr, "type: Leaky ELUs result: \n");
	fbc::activation_function_ELUs(src.data(), dst.data(), length);
	fbc::print_matrix(dst);

	fprintf(stderr, "type: softmax result: \n");
	fbc::activation_function_softmax(src.data(), dst.data(), length);
	fbc::print_matrix(dst);
	fprintf(stderr, "type: softmax derivative result: \n");
	fbc::activation_function_softmax_derivative(src.data(), dst.data(), length);
	fbc::print_matrix(dst);

	return 0;
}

GitHub： https://github.com/fengbingchun/NN_Test

fengbingchun
关注
专栏目录
使用C++编写softmax函数实现
techDM的博客
08-16 635
在上述代码中，我们首先定义了一个softmax函数，该函数接受一个double型的向量作为输入，并返回一个也是double型的向量。我们使用exp()函数计算每个向量元素的指数值，并计算它们的和。然后，我们将每个元素除以总和，从而获得softmax函数的输出。最后，我们在main()函数中调用softmax()函数，并打印输出结果。在机器学习和深度学习中，softmax函数是一种常用的激活函数。本文将介绍如何使用C++实现softmax函数的功能。首先，我们需要明确softmax函数的数学定义。
C++实现Softmax函数功能
CyberLynxX的博客
09-16 328
类型的输入向量，并返回一个包含Softmax函数值的新向量。我们首先计算输入向量中所有元素的指数和，然后根据Softmax函数的定义计算每个元素的Softmax值，并将结果存储在。Softmax函数是深度学习中常用的激活函数，用于将一组实数转换为表示概率分布的向量。在本文中，我们将使用C++编程语言实现Softmax函数，并提供相应的源代码。在实际应用中，Softmax函数常用于多类别分类问题，它可以将输入向量中的实数转换为表示不同类别的概率分布。最后，我们打印出Softmax函数的结果。
C++实现softmax
weixin_46273445的博客
12-04 1006
Softmax原型如下，常用于神经网络最后一层，将结果转化成(0,1)，并且相加等于1的概率。防止上下溢出，可以把xi替换为(xi-x_max)
常用激活函数activation function（Softmax、Sigmoid、Tanh、ReLU和Leaky ReLU)
最新发布
qq_46454669的博客
09-28 662
激活函数是确定神经网络输出的数学方程式。激活函数的作用：给引入了非线性因素，使得神经网络可以任意逼近任何非线性函数。1、附加到网络中的每个神经元，并根据每个神经元的输入来确定是否应激活。2、有助于将每个神经元的输出标准化到1到0或-1到1的范围内。
用C++实现softmax函数(面试经验)
热门推荐
concyclics的博客
04-29 2万+
背景 今天面试字节算法岗时被问到的问题，让我用C++实现一个softmax函数。softmax是逻辑回归在多分类问题上的推广。大概的公式如下： input:{x1,x2,⋯ ,xn}softmax(xt)=ext∑i=1nexi input: \{x_1, x_2,\cdots, x_n\}\\ softmax(x_t)=\frac{e^{x_t}}{\sum_{i=1}^{n}e^{x_i}} input:{x1​,x2​,⋯,xn​}softmax(xt​)=∑i=1n​exi​ext​​ 即判断该变量
softmax function in c++
weixin_30457465的博客
06-19 259
#include <iostream> #include <vector> #include <cmath> #include <algorithm> #include <numeric> double myfunction(double num) { return exp(num); } templa...
Softmax回归算法对MNIST手写数字进行识别(C++实现)
05-27
1. C++实现Softmax回归算法 2. 使用Softmax回归算法对MNIST手写数字进行识别 3. 代码干净, 整洁, 有注释, 可直接迁移使用 4. 工程中以包含MNIST手写数字数据文件 5. 关于MNIST可浏览网址: http://yann.lecun.com/exdb/mnist/
0083-极智AI-解读C++手写softmax激活函数-个人笔记
07-21
0083_极智AI_解读C++手写softmax激活函数-个人笔记
极智AI笔记：手写C++实现softmax激活函数
将Softmax函数用C++手写实现不仅可以加深对激活函数工作原理的理解，而且可以提高程序运行效率，满足特定场景下的性能要求。 在这个个人笔记中，我们将会深入探讨如何用C++手写实现Softmax激活函数。首先，需要了解...
极智AI | C++ 手写 softmax 激活函数
极智视界
06-21 641
大家好，我是极智视界，本文讲解一下 C++ 手写 softmax 激活函数。
OpenCV DNN下，实现softmax(C++)
winafox的专栏
05-28 2224
OpenCV DNN下实现softmax 最近在部署产品的时候，CPU平台，没有GPU，所以用到了dnn，然而，我用的pytorch，dnn没法直接加载，我导出为onnx。 第一次，我把softmax做到onnx里面，dnn模块加载就crash了，很无奈，我不得不把softmax移除，在模型外部实现，于是就有了下面的代码。 softmax c++实现with opencv int softmax(const cv::Mat & src, cv::Mat & dst) { float m
C++实现softmax函数（std::vector）
weixin_44285683的博客
08-24 1025
输入vector数组，修改原数组为softmax后输出。
C++实现softmax函数功能（附完整源码）
希望我的博客，能帮上你解决学习中工作中所遇到的问题
05-23 341
C++实现softmax函数功能（附完整源码）
[C++][algorithm][Eigen] 基于Eigen实现Softmax函数
qq_37380933的博客
05-21 551
Softmax函数是机器学习和深度学习中一个非常重要的激活函数，它在多分类问题中尤其关键。Softmax函数能够将一个向量或一组实数转换成概率分布，使得每个元素的值都在0到1之间，并且所有元素的和为1。本博客文章《【Eigen】基于Eigen实现Softmax函数》将详细探讨如何在C++中使用Eigen库来实现Softmax函数。
softmax 理解和c++ 实现
rongbaohan的博客
08-25 1698
int softmax(const cv::Mat& src, cv::Mat& dst) { float max = 0.0; float sum= 0.0; max = *max_element(src.begin<float>(), src.end<float>()); cv::exp((src - max), dst); sum = cv::sum(dst)[0]; ...
C++实现nms和softmax
qq_41920323的博客
09-25 452
C++实现NMS和softmax
Softmax 函数介绍
sinat_28002567的博客
02-28 1113
softmax函数 softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！ 假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是 Si=ei∑jejSi=ei∑jejS_i=\frac{e^i}{\sum_{j} e^j} 更形象的如下图表示： 　　softmax直白来说就是将原来输出是3,...
softmax实现
鱼香土豆丝
11-28 341
softmax 常用于预测于伯努利分布相关联的概率，具体的数学表达为： softmax(x)i=1∑j=1nexp(xj)softmax(x)_i=\frac{1}{{\sum^n_{j=1}exp{(x_j)}}}softmax(x)i​=∑j=1n​exp(xj​)1​ 也就是在机器学习中著名 的S型曲线，对数据下溢和上溢有很好的作用，具体的实现也就是如下的代码 import numpy as...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值