激活函数之softmax介绍及C++实现

最新推荐文章于 2024-08-11 17:23:07 发布
最新推荐文章于 2024-08-11 17:23:07 发布
阅读量1.6w 收藏 13
点赞数 2
分类专栏： Deep Learning Math Knowledge
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fengbingchun/article/details/75220591
版权

下溢(underflow)：当接近零的数被四舍五入为零时发生下溢。许多函数在其参数为零而不是一个很小的正数时才会表现出质的不同。例如，我们通常要避免被零除或避免取零的对数。

上溢(overflow)：当大量级的数被近似为∞或-∞时发生上溢。进一步的运算通常会导致这些无限值变为非数字。

必须对上溢和下溢进行数值稳定的一个例子是softmax函数(softmax function).softmax函数经常用于预测与Multinoulli分布相关联的概率，定义为：

考虑一下当所有xi都等于某个常数c时会发生什么。从理论分析上说，我们可以发现所有的输出都应该为1/n。从数值计算上说，当c量级很大时，这可能不会发生。如果c是很小的负数，exp(c)就会下溢。这意味着softmax函数的分母会变成0，所以最后的结果是未定义的。当c是非常大的正数时，exp(c)的上溢再次导致整个表达式未定义。这两个困难能通过计算softmax(z)同时解决，其中z=x-maxixi.简单的代数计算表明，softmax解析上的函数值不会因为从输入向量减去或加上标量而改变。减去maxixi导致exp的最大参数为0，这排除了上溢的可能性。同样地，分母中至少有一个值为1的项，这就排除了因分母下溢而导致被零除的可能性。

还有一个小问题。分子中的下溢仍可以导致整体表达式被计算为零。这意味着，如果我们在计算log(softmax(x))时，先计算softmax再把结果传给log函数，会错误地得到-∞。相反，我们必须实现一个单独的函数，并以数值稳定的方式计算log(softmax)。我们可以使用相同的技巧来稳定log(softmax)函数。

Softmax函数：在数学，尤其是概率论和相关领域中，Softmax函数，或称归一化指数函数，是逻辑函数的一种推广。它能将一个含任意实数的K维的向量z的”压缩”到另一个K维实向量σ(z)中，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1。该函数的形式通常按下面的式子给出：其中，j=1,…,K.

Softmax函数实际上是有限项离散概率分布的梯度对数归一化。因此，Softmax函数在包括多项逻辑回归，多项线性判别分析，朴素贝叶斯分类器和人工神经网络等的多种基于概率的多分类问题方法中都有着广泛应用。

The softmax function is often used in the final layer of a neural network-based classifier. Such networks are commonly trained under a log loss (or cross-entropy) regime, giving a non-linear variant of multinomial logistic regression.

Softmax可作为神经网络中的输出层，用于多分类(sigmoid只能用于二分类，而softmax可用于多分类。使用Logistic函数来实现二分类问题，对于多分类问题，可以使用多项Logistic回归，该方法也被称之为softmax函数)；Softmax还可以解决学习速度衰退的问题；softmax还可作为loss function。

softmax函数的导数如下：


以上内容主要摘自：《深度学习中文版》 和 维基百科

  以下是C++实现的测试code：

#include "funset.hpp"
#include <math.h>
#include <iostream>
#include <string>
#include <vector>
#include <opencv2/opencv.hpp>
#include "common.hpp"

// ========================= Activation Function: softmax =====================
template<typename _Tp>
int activation_function_softmax(const _Tp* src, _Tp* dst, int length)
{
	const _Tp alpha = *std::max_element(src, src + length);
	_Tp denominator{ 0 };

	for (int i = 0; i < length; ++i) {
		dst[i] = std::exp(src[i] - alpha);
		denominator += dst[i];
	}

	for (int i = 0; i < length; ++i) {
		dst[i] /= denominator;
	}

	return 0;
}

template<typename _Tp>
int activation_function_softmax_derivative(const _Tp* src, _Tp* dst, int length)
{
	std::vector<_Tp> y(length, (_Tp)0);
	activation_function_softmax(src, y.data(), length);

	fprintf(stderr, "Error: activation_function_softmax_derivative to do ...\n");
	return -1;
}

int test_activation_function()
{
	std::vector<float> src{ 1.23f, 4.14f, -3.23f, -1.23f, 5.21f, 0.234f, -0.78f, 6.23f };
	int length = src.size();
	std::vector<float> dst(length);

	fprintf(stderr, "source vector: \n");
	fbc::print_matrix(src);
	fprintf(stderr, "calculate activation function:\n");

	fprintf(stderr, "type: sigmoid result: \n");
	fbc::activation_function_sigmoid(src.data(), dst.data(), length);
	fbc::print_matrix(dst);
	fprintf(stderr, "type: sigmoid derivative result: \n");
	fbc::activation_function_sigmoid_derivative(src.data(), dst.data(), length);
	fbc::print_matrix(dst);
	fprintf(stderr, "type: sigmoid fast result: \n");
	fbc::activation_function_sigmoid_fast(src.data(), dst.data(), length);
	fbc::print_matrix(dst);

	fprintf(stderr, "type: softplus result: \n");
	fbc::activation_function_softplus(src.data(), dst.data(), length);
	fbc::print_matrix(dst);
	fprintf(stderr, "type: softplus derivative result: \n");
	fbc::activation_function_softplus_derivative(src.data(), dst.data(), length);
	fbc::print_matrix(dst);

	fprintf(stderr, "type: ReLU result: \n");
	fbc::activation_function_ReLU(src.data(), dst.data(), length);
	fbc::print_matrix(dst);
	fprintf(stderr, "type: ReLU derivative result: \n");
	fbc::activation_function_ReLU_derivative(src.data(), dst.data(), length);
	fbc::print_matrix(dst);

	fprintf(stderr, "type: Leaky ReLUs result: \n");
	fbc::activation_function_Leaky_ReLUs(src.data(), dst.data(), length);
	fbc::print_matrix(dst);
	fprintf(stderr, "type: Leaky ReLUs derivative result: \n");
	fbc::activation_function_Leaky_ReLUs_derivative(src.data(), dst.data(), length);
	fbc::print_matrix(dst);

	fprintf(stderr, "type: Leaky ELUs result: \n");
	fbc::activation_function_ELUs(src.data(), dst.data(), length);
	fbc::print_matrix(dst);

	fprintf(stderr, "type: softmax result: \n");
	fbc::activation_function_softmax(src.data(), dst.data(), length);
	fbc::print_matrix(dst);
	fprintf(stderr, "type: softmax derivative result: \n");
	fbc::activation_function_softmax_derivative(src.data(), dst.data(), length);
	fbc::print_matrix(dst);

	return 0;
}

GitHub： https://github.com/fengbingchun/NN_Test

fengbingchun
关注
专栏目录
极智AI | C++ 手写 softmax 激活函数
极智视界
06-21 627
大家好，我是极智视界，本文讲解一下 C++ 手写 softmax 激活函数。
C++实现softmax函数功能（附完整源码）
希望我的博客，能帮上你解决学习中工作中所遇到的问题
05-23 326
C++实现softmax函数功能（附完整源码）
C++实现softmax
weixin_46273445的博客
12-04 915
Softmax原型如下，常用于神经网络最后一层，将结果转化成(0,1)，并且相加等于1的概率。防止上下溢出，可以把xi替换为(xi-x_max)
Softmax回归算法对MNIST手写数字进行识别(C++实现)
05-27
1. C++实现Softmax回归算法 2. 使用Softmax回归算法对MNIST手写数字进行识别 3. 代码干净, 整洁, 有注释, 可直接迁移使用 4. 工程中以包含MNIST手写数字数据文件 5. 关于MNIST可浏览网址: http://yann.lecun.com/exdb/mnist/
小白学视觉 | 基于OpenCV的路面质量检测
最新发布
csdn_xmj的博客
08-11 899
本期我们将展示一种对路面类型和质量进行分类的方法及其步骤。为了测试这种方法，我们使用了我们制作的RTK数据集。
用C++实现softmax函数(面试经验)
热门推荐
concyclics的博客
04-29 2万+
背景 今天面试字节算法岗时被问到的问题，让我用C++实现一个softmax函数。softmax是逻辑回归在多分类问题上的推广。大概的公式如下： input:{x1,x2,⋯ ,xn}softmax(xt)=ext∑i=1nexi input: \{x_1, x_2,\cdots, x_n\}\\ softmax(x_t)=\frac{e^{x_t}}{\sum_{i=1}^{n}e^{x_i}} input:{x1​,x2​,⋯,xn​}softmax(xt​)=∑i=1n​exi​ext​​ 即判断该变量
softmax function in c++
weixin_30457465的博客
06-19 250
#include <iostream> #include <vector> #include <cmath> #include <algorithm> #include <numeric> double myfunction(double num) { return exp(num); } templa...
C++实现softmax函数（std::vector）
weixin_44285683的博客
08-24 987
输入vector数组，修改原数组为softmax后输出。
cuda-使用cuda并行加速实现之softmax.zip
04-24
在神经网络的输出层，softmax常被用作激活函数，以提供类别的概率预测。对于大规模数据集，传统的串行实现可能会导致计算效率低下。因此，借助CUDA的并行计算能力，我们可以显著提高计算速度。 首先，理解CUDA编程...
C++实现CNN识别手写数字
01-10
3. **激活函数**：如ReLU（Rectified Linear Unit），它在负值区域置零，引入非线性，增强模型表达能力。 4. **池化层**：如最大池化，用于降低数据维度，减少计算复杂性，同时保持关键特征。 5. **全连接层**：将...
OpenCV DNN下，实现softmax(C++)
winafox的专栏
05-28 2178
OpenCV DNN下实现softmax 最近在部署产品的时候，CPU平台，没有GPU，所以用到了dnn，然而，我用的pytorch，dnn没法直接加载，我导出为onnx。 第一次，我把softmax做到onnx里面，dnn模块加载就crash了，很无奈，我不得不把softmax移除，在模型外部实现，于是就有了下面的代码。 softmax c++实现with opencv int softmax(const cv::Mat & src, cv::Mat & dst) { float m
[C++][algorithm][Eigen] 基于Eigen实现Softmax函数
qq_37380933的博客
05-21 527
Softmax函数是机器学习和深度学习中一个非常重要的激活函数，它在多分类问题中尤其关键。Softmax函数能够将一个向量或一组实数转换成概率分布，使得每个元素的值都在0到1之间，并且所有元素的和为1。本博客文章《【Eigen】基于Eigen实现Softmax函数》将详细探讨如何在C++中使用Eigen库来实现Softmax函数。
softmax 理解和c++ 实现
rongbaohan的博客
08-25 1652
int softmax(const cv::Mat& src, cv::Mat& dst) { float max = 0.0; float sum= 0.0; max = *max_element(src.begin<float>(), src.end<float>()); cv::exp((src - max), dst); sum = cv::sum(dst)[0]; ...
C++实现nms和softmax
qq_41920323的博客
09-25 417
C++实现NMS和softmax
Softmax 函数介绍
sinat_28002567的博客
02-28 1097
softmax函数 softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！ 假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是 Si=ei∑jejSi=ei∑jejS_i=\frac{e^i}{\sum_{j} e^j} 更形象的如下图表示： 　　softmax直白来说就是将原来输出是3,...
softmax实现
鱼香土豆丝
11-28 329
softmax 常用于预测于伯努利分布相关联的概率，具体的数学表达为： softmax(x)i=1∑j=1nexp(xj)softmax(x)_i=\frac{1}{{\sum^n_{j=1}exp{(x_j)}}}softmax(x)i​=∑j=1n​exp(xj​)1​ 也就是在机器学习中著名 的S型曲线，对数据下溢和上溢有很好的作用，具体的实现也就是如下的代码 import numpy as...
softmax
Jiashilin
04-17 2278
目录 一.作用: 二. ''softmax''是什么意思: 三. softmax分类器步骤有下面三步(本质) 一.作用: 他把一些输入映射为0-1之间的实数，并且归一化保证和为1 二. ''softmax''是什么意思: 顾名思义，softmax由两个单词组成，其中一个是max。对于max我们都很熟悉，比如有两个变量a,b。如果a>b，则max为a，反之为b,另外一个单词...
Softmax回归C++实现
sq8912的专栏
04-18 6662
前言 本文的实现主要是参照了Andrew NG的深度学习课程所讲的内容。理论知识上一篇博文已经介绍。C++代码来源于一个开源项目，链接地址我忘了，哪天找到了再附上。对原代码改动不大，只是进行了一些扩充。 实验环境 Visual Studio 2013 OpenCV 2.4 数据 数据来自http://archive.ics.uci.edu/ml/datasets/Optical+Re
使用c++实现lenet-5
08-25
LeNet-5是一种经典的卷积神经网络，它是深度学习的先驱之一。在这里，我将向您展示如何使用C语言来实现LeNet-5模型。 在C语言中实现卷积神经网络需要用到一些基本的线性代数运算，例如矩阵乘法、向量加法和卷积等。您可以使用像OpenBLAS或MKL这样的优化库来执行这些运算。然后，您需要定义LeNet-5模型的架构和参数。最后，您可以编写代码来实现前向传递和反向传播算法，以及使用随机梯度下降法进行训练。 以下是一份示例代码，它演示了如何在C语言中实现LeNet-5： ```c #include <stdio.h> #include <stdlib.h> #include <math.h> // 定义神经网络层的参数 typedef struct Layer { int in_size; // 输入数据的大小 int out_size; // 输出数据的大小 int filter_size; // 过滤器的大小 int stride; // 步长 int padding; // 填充 double *weights; // 权重矩阵 double *biases; // 偏差向量 double *out_data; // 输出数据 } Layer; // 定义神经网络模型 typedef struct Model { int input_size; // 输入数据的大小 int output_size; // 输出数据的大小 Layer conv1; // 第一层卷积层 Layer conv2; // 第二层卷积层 Layer fc1; // 第一层全连接层 Layer fc2; // 第二层全连接层 } Model; // 定义ReLU激活函数 double relu(double x) { return fmax(0, x); } // 定义softmax激活函数 void softmax(double *x, int n) { double sum = 0; for (int i = 0; i < n; i++) { x[i] = exp(x[i]); sum += x[i]; } for (int i = 0; i < n; i++) { x[i] /= sum; } } // 定义卷积操作 void conv(double *in_data, double *out_data, double *weights, double *biases, int in_size, int out_size, int filter_size, int stride, int padding) { for (int i = 0; i < out_size; i++) { out_data[i] = biases[i]; for (int j = 0; j < in_size; j++) { for (int k = 0; k < filter_size; k++) { int index = i * stride + k - padding; if (index >= 0 && index < in_size) { out_data[i] += weights[j * filter_size + k] * in_data[index]; } } } out_data[i] = relu(out_data[i]); } } // 定义全连接操作 void fc(double *in
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值