logistic回归详解

最新推荐文章于 2024-11-14 17:10:58 发布

爱学习的羽

最新推荐文章于 2024-11-14 17:10:58 发布

阅读量287

点赞数 6

分类专栏： workHappy pytorch 文章标签：回归数据挖掘人工智能

本文链接：https://blog.csdn.net/qq_37437892/article/details/134626201

版权

pytorch 同时被 2 个专栏收录

10 篇文章 0 订阅

订阅专栏

workHappy

7 篇文章 0 订阅

订阅专栏

本文探讨了梯度消失问题、logistic回归中的sigmoid函数、MSE与crossentropy损失函数在分类问题中的应用，以及softmax解决多分类问题的方法。重点介绍了PyTorch中的inplace操作，feature缩放（如归一化和批归一化）在图像处理中的实践，特别是针对ImageNet数据集的标准化方法。

摘要由CSDN通过智能技术生成

为什么不直接统计标签数和预测结果数，计算精度？

因为

存在梯度为0的情况
梯度不连续

为什么叫logistic回归

logistic是因为加了一个sigmoid函数，将输出预测值映射到【0，1】
有时候使用MSE损失函数，拟合
有时候使用cross entropy==》分类问题

softmax解决多分类问题，让大的概率值更大

交叉熵损失详解 cross entropy

在这里插入图片描述
kl散度，两个分布重合的话，kl散度等于0，因为他们很整齐

在这里插入图片描述

熵：不确定性，惊喜的衡量度，稳定度

二分类的公式推导

在这里插入图片描述
cross entropy 越小越好，优化起来速度更快，在pytorch中，把softmax和log打包到一起了

pytorch中的inplace会改变输入x的值

feature缩放

有两种方式

图像数据增强

# 对3通道进行归一化处理   imagenet数据集上的
transforms.Normalize(mean=[0.485,0.456,0.406],
                     std=[0.229,0.224,0.225])

 #  批归一化 最后生成通道数      28*28
x = torch.rand(100,16,784)
layer = nn.BatchNorm1d(16)
out = layer(x)

#[16]   均值
print(layer.running_mean,layer.running_mean.size())

# 方差
print(layer.running_var)