机器学习实战(基于scikit-learn和TensorFlow)学习心得(25)--softmax回归及其计算公式

最新推荐文章于 2023-06-14 15:46:24 发布
最新推荐文章于 2023-06-14 15:46:24 发布
阅读量365 收藏 1
点赞数
分类专栏： 机器学习实战学习心得 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Tomswordyan/article/details/104781732
版权
本文介绍了softmax回归用于多分类问题的基本思想和计算流程。首先，解释了softmax函数如何从得分转化为类别概率，并展示了softmax回归的参数θ求解过程。接着，讨论了交叉熵作为成本函数，以及其对应的梯度下降更新规则。最后，通过对比与逻辑回归的相似性，强调了在多类别情况下softmax的适用性，并以三分类问题为例说明迭代优化过程。
摘要由CSDN通过智能技术生成

softmax regission

好,接下来说一说softmax,上一个随笔介绍了logistic 回归,但是logistic基本上都是用在二分类问题上,也就是他能分辨出一个样本究竟是A还是B,但如果多出一个C选项的话系统就不能很好的工作了.而softmax就是用来处理多分类问题得.

softmax regression的思想是这样的,当给定实例x时，Softmax回归模型首先为每个类别k计算该x的得分s(x),然后通过将Softmax函数应用于得分来估计每个类别的概率。
计算得分s(x)的方程应该看起来很熟悉，

要注意的是其中的θk并不是一组参数,而是一个元组对象,对于每个类别k,都有一个独一无二的θ值去计算分数.

一旦为实例x计算了每个类别的分数，就可以通过softmax函数再次计算这些分数，从而估算出该实例属于类别k的概率。


该函数计算每个分数的指数，然后对其进行归一化（除以所有指数的总和）。
在这个式子中,k是类别k=1,2,3,...n, s(x)k是指实例对于这个类别k的分数,σ(s(x))是实例x属于类别k的估计概率.

那么这个方程中最重要的是什么呢?就是怎么求θ.其实所有的回归问题都可以总结成一个问题,如何求得一组最合适的参数.

还是老样子,构建一个合适的cost function,然后用梯度下降法一点一点的迭代出最优解.

那我们之前就说了,cross entropy是一个在分类回归

最低0.47元/天 解锁文章
带刀的骑士
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习之逻辑回归和softmax回归及代码示例
cxmscb的博客
11-29 1万+
一、逻辑回归在 机器学习之线性回归 中，我们可使用梯度下降的方法得到一个映射函数hΘ(X)来去贴近样本点，这个函数是对连续值的一个预测。而逻辑回归是解决分类问题的一个算法，我们可以通过这个算法得到一个映射函数f：X-> y，其中X为特征向量，X 为 { x0 x1 x2 x3 x4 … xn }，y为预测的结果。在逻辑回归这里，标签y为一个离散的值。二、判定边界当将训练集的样本以其各个特征为坐标轴在
Scikit-Learn 机器学习笔记 -- 线性回归、逻辑回归、softmax回归
Wang_Jiankun的博客
07-19 5045
Scikit-Learn 机器学习笔记 – 线性回归、逻辑回归、softmax回归 import numpy as np from matplotlib import pyplot as plt # 创建线性回归数据集 def create_dataset(): X = 2 * np.random.rand(100, 1) # 结果加上高斯噪声 y = 4 + 3...
一文彻底搞懂 Softmax 函数，数学原理分析和 PyTorch 验证
qq_43799400的博客
06-14 2万+
Softmax 函数的数学原理分析和 PyTorch 使用
【机器学习】14、sklearn
呆呆的猫的博客
09-09 1691
机器学习是通过一定的样本来学习一个模型，来对未知数据的输出做预测。没有逻辑解、手工调整规则、构建适应环境波动的系统、帮助人类学习带标签的训练集表示在有样本的同时，还已知该样本的类别分类和回归聚类、可视化、降维和关联规则学习如果我们想让机器人学会各种各样的走路方式，强化学习很可能表现得最好未知地形，因为这是强化学习处理的典型问题。可以将这个问题表述为一个有监督或半监督的学习问题，但这就不那么自然了。如果不知道如何定义组，那么可以使用聚类算法(无监督学习)将你的客户划分成类似客户的集群。然而,如果您知道您想拥有
机器学习实战(基于Scikit-Learn和TensorFlow)
weixin_40645361的博客
03-17 2万+
第一部分机器学习基础 第一章-机器学习概览 本章是机器学习的最初级入门，这里会介绍很多的机器学习相关术语，应当熟记于心。 什么是机器学习：笔者：直观而言，机器学习就是让机器去学习。学什么呢?学习人类的思维方式，让计算机具备学习能力； 官方：一个计算机程序在完成任务Task之后，获得一定的经验Experience,其表现效果为Perf...
python 多分类逻辑回归_机器学习实践：多分类逻辑回归（softmax回归）的sklearn实现和tensorflow实现...
weixin_39638304的博客
12-07 1157
本文所有代码及数据可下载。Scikit Learn 篇：Light 版scikit learn内置了逻辑回归，对于小规模的应用较为简单，一般使用如下代码即可from sklearn.linear_model.logistic import LogisticRegressionclassifier = LogisticRegression()classifier.fit(X_train, y_tra...
机器学习实战(基于scikit-learn和TensorFlow)学习心得(20)--Lasso Regression,梯度下降法
Tomswordyan的博客
03-08 738
与ridge regression一样,不过加的正则项不一样 下图是lasso regression对不同的回归在不同的a值情况下对比 与ridge regression相比,lasso可能会使某一个θ变成0,具体原因下一个学习笔记会写道.而lasso成本函数在θi= 0时是不可微的(对于i = 1，2，…，n),所以我们要使用次梯度矢量g代替任何θ= 0,让梯度下降仍然可以正常工作 ...
《Hands-On Machine Learning with Scikit-Learn and TensorFlow》coding
05-17
《Hands-On Machine Learning with Scikit-Learn and TensorFlow》是一本深受数据科学家和机器学习爱好者欢迎的书籍，由Aurélien Géron撰写。这本书深入浅出地介绍了如何使用Scikit-Learn和TensorFlow这两个强大的...
PornDetector：带有python，tensorflow，scikit-learn和opencv的色情图像检测器
02-03
第一个（pcr.py）使用scikit-learn和opencv。 使用1500个正样本和1500个负样本，我能够在标记上获得〜85％的准确性。 它使用两个机器学习的分类器-其中一个使用HSV颜色直方图，另一个使用SIFT描述符。 第二个...
python实现softmax回归
08-26
softmax回归的python源码，用python和tensorflow实现softmax回归
ai-机器学习算法实现之逻辑回归.zip
最新发布
04-25
在压缩包中的"ai_机器学习算法实现之逻辑回归"可能包含了具体代码示例，使用Python的scikit-learn库或者其他编程语言实现逻辑回归的过程。这些示例可能涵盖了数据预处理、模型训练、参数调优以及结果评估的完整流程...
Python-skorch一个基于pytorch封装兼容scikitlearn的神经网络库
08-11
在机器学习领域，Python是主流编程语言，其中scikit-learn（简称sklearn）是广泛应用的库，提供了丰富的传统机器学习算法。然而，随着深度学习的发展，PyTorch等深度学习框架也受到了越来越多的关注。PyTorch以其...
DeepLearning tutorial（1）Softmax回归原理简介+代码详解
热门推荐
wepon的专栏
01-26 3万+
DeepLearning tutorial（1）Softmax回归原理简介+代码详解 @author：wepon @blog：http://blog.csdn.net/u012162613/article/details/43157801 本文介绍Softmax回归算法，特别是详细解读其代码实现，基于python theano，代码来自：Classifying MNIST
机器学习笔记之七——逻辑回归简单推导、softmax简单理解以及sklearn中逻辑回归常用参数解释
D的博客
12-11 1921
逻辑回归 对逻辑回归的理解：对线性回归的假设函数的 f(x) 又套上了一层sigmoid函数，即g(f(x)). 然后sigmoid函数是长这样的： 它的图像长这样： 对于线性回归得到的结果，再经过一层sigmoid函数，以x=0为界限，左边为0，右边为1，逻辑回归就是这样一个二分类的算法。 那我们再从数学的角度去看一下它的推导过程，在此之前，要知道sigmoid的导函数很特殊，长这样的...
Scikit-Learn 常用函数
Wang_Jiankun的博客
09-17 1205
Scikit-Learn 常用函数 1、数据集划分 函数原型： train_test_split(train_data, train_label, test_size=None, random_state=None, shuffle=True) train_data：数据集的数据，可以是列表或者numpy数组 train_label：数据集的标签 test_size：测试集的样本占...
scikit-learn : Logistic Regression
搬砖小工053
07-03 3181
用线性方法处理分类问题——逻辑回归实际上线性模型也可以用于分类任务。方法是把一个线性模型拟合成某个类型的概率分布，然后用一个函数建立阈值来确定结果属于哪一类。背景这里用的函数是经典的逻辑函数。一个非常简单的函数：f(x)=11+e−tf(x)= \frac 1 {1+e^{-t}}它的图形如下图所示：import numpy as np %matplotlib inline import matpl
机器学习sklearn19.0——Logistic回归算法
loveliuzz的博客
12-17 3万+
一、Logistic回归的认知与应用场景 Logistic回归为概率型非线性回归模型，是研究二分类观察结果与一些影响因素之间关系的 一种多变量分析方法。通常的问题是，研究某些因素条件下某个结果是否发生，比如医学中根据病人的一些症状 来判断它是否患有某种病。 二、LR分类器 LR分类器，即Logistic Regression C
机器学习实战(基于scikit-learn和TensorFlow)学习心得(28)--拉格朗日乘子法,多约束拉格朗日乘子法物理意义和KKT条件
Tomswordyan的博客
03-14 856
1. 拉格朗日乘子法 这个问题我们之前涉及到过,在机器学习实战(基于scikit-learn和TensorFlow)学习心得(23)--逻辑回归 Logistic Regression的时候我们把带约束条件的方程通过拉格朗日乘子法合并为了一个方程. 拉格朗日乘子法具体是什么样的呢? 我们看这么一个式子 在下面两个约束条件的情况下求得f的最小值.求最小值其实就是求偏导数等于0的点.如果只...
基于MIT-BIH已标注心电信号类型的数据进行图像识别机器学习并对心电异常信号做分析python代码
05-09
首先，需要下载MIT-BIH Arrhythmia Database的数据集，可以从这个网站下载：https://physionet.org/content/mitdb/1.0.0/ 数据集包含48个记录，每个记录包含30分钟的心电信号，以及相应的心律失常类型标记。 接下来，我们需要安装一些必要的Python库，包括wfdb、numpy、matplotlib、seaborn和scikit-learn： ```python !pip install wfdb !pip install numpy !pip install matplotlib !pip install seaborn !pip install scikit-learn ``` 然后，我们可以使用wfdb库中的rdrecord函数读取数据： ```python import wfdb record = wfdb.rdrecord('mitdb/100') ``` 数据包含两个字段，一个是信号，一个是注释： ```python signal = record.p_signal annotation = wfdb.rdann('mitdb/100', 'atr') ``` 我们可以使用matplotlib库绘制心电信号的图像： ```python import matplotlib.pyplot as plt plt.plot(signal) plt.show() ``` 接下来，我们需要将数据集中的每个记录转换为图像，以便进行图像识别机器学习。我们可以使用Python的PIL库将信号转换为图像： ```python from PIL import Image from io import BytesIO def signal_to_image(signal): # 将信号归一化到0-255之间 signal = (signal - signal.min()) / (signal.max() - signal.min()) * 255 # 将信号转换为图像 image = Image.fromarray(signal).resize((224, 224)).convert('RGB') # 将图像转换为字节流 buffer = BytesIO() image.save(buffer, format='jpeg') buffer.seek(0) return buffer.read() ``` 现在，我们可以将所有记录转换为图像，并将它们保存到一个文件夹中： ```python import os for i in range(100, 148): record = wfdb.rdrecord(f'mitdb/{i}') signal = record.p_signal[:, 0] image_bytes = signal_to_image(signal) with open(f'images/{i}.jpg', 'wb') as f: f.write(image_bytes) ``` 接下来，我们需要使用图像识别机器学习模型对心电异常信号进行分析。这里我们使用经典的卷积神经网络模型VGG16： ```python from keras.applications.vgg16 import VGG16 from keras.preprocessing.image import ImageDataGenerator from keras.models import Sequential from keras.layers import Flatten, Dense # 下载预训练的VGG16模型 vgg16 = VGG16(weights='imagenet', include_top=False, input_shape=(224, 224, 3)) # 冻结VGG16模型的权重 for layer in vgg16.layers: layer.trainable = False # 构建模型 model = Sequential() model.add(vgg16) model.add(Flatten()) model.add(Dense(units=512, activation='relu')) model.add(Dense(units=5, activation='softmax')) # 编译模型 model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy']) # 数据增强器 datagen = ImageDataGenerator(rescale=1./255, validation_split=0.2) # 训练数据生成器 train_generator = datagen.flow_from_directory( directory='images', subset='training', target_size=(224, 224), batch_size=32, class_mode='categorical') # 验证数据生成器 valid_generator = datagen.flow_from_directory( directory='images', subset='validation', target_size=(224, 224), batch_size=32, class_mode='categorical') # 训练模型 model.fit(train_generator, epochs=10, validation_data=valid_generator) ``` 训练完模型后，我们可以使用它对新的心电信号进行分类： ```python import numpy as np from keras.preprocessing.image import load_img, img_to_array def predict_heartbeat_type(image_path): # 加载图像 image = load_img(image_path, target_size=(224, 224)) # 将图像转换为数组 image_array = img_to_array(image) # 归一化图像 image_array = image_array / 255. # 将图像数组转换为批次数组 image_array = np.expand_dims(image_array, axis=0) # 使用模型进行预测 prediction = model.predict(image_array)[0] # 返回预测结果 return ['N', 'L', 'R', 'A', 'V'][np.argmax(prediction)] ``` 最后，我们可以使用predict_heartbeat_type函数对新的心电信号进行分类： ```python print(predict_heartbeat_type('test_image.jpg')) ``` 以上就是基于MIT-BIH已标注心电信号类型的数据进行图像识别机器学习并对心电异常信号做分析的Python代码。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值