logisti回归算法的损失函数和成本函数的由来

最新推荐文章于 2022-05-30 01:27:05 发布
最新推荐文章于 2022-05-30 01:27:05 发布
阅读量227 收藏
点赞数
文章标签： 算法 机器学习 概率论
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43801836/article/details/120625487
版权
这篇博客深入探讨了Logistic回归的二分类问题，指出成本函数只能取0或1。通过数学推导，展示了如何将两种情况合并成单一公式，并利用log函数的单调性简化成本函数。博主强调在Logistic回归中，我们目标是最小化损失函数，即最大化log(p(y/x))。此外，还提及了训练样本的联合概率是各样本概率的乘积，这对于理解Logistic回归的优化过程至关重要。
摘要由CSDN通过智能技术生成
  1. logistic回归是二分类回归。二分类的成本函数就只能取0或者1。把两种情况列出来，最后有一个巧妙的定义，可以把两个公式合并为一个公式，定义为p(y/x)=…(如下图）
    在这里插入图片描述
  2. 由于log函数是严格单调递增的函数，log p(y/x)等于在这里插入图片描述

化简为(如下）:
在这里插入图片描述
这就是前面提到的成本函数的负值，有一个负值是因为，
希望算法输出值的概率最大的，在logistic回归中，我们需要最小化损失函数，最小化损失函数就是最大化log（p(y/x)).

  1. 假设所有的训练样本服从同一分布且相互独立，所有这些样本的联合概率，就是每个样本概率的乘积。
    在这里插入图片描述
只想看世界
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
2.3 logistic回归模型的损失函数和成本函数
qq_45970087的博客
08-14 125
损失函数和成本函数前言补充笔记损失函数 前言 从本文章开始，我会参考一些前辈的链接，本文只用于笔记记录，不做商用。 参考链接: 2.3 Logistic 回归损失函数-深度学习-Stanford吴恩达教授-----Zhao-Jichao. 补充笔记 损失函数 损失函数主要用于衡量某一个点的预测值与真实值的误差，也可以代表当前模型和算法的运行状况。 常用的损失函数有很多，sigmoid函数用到的是交叉熵损失函数。 KaTeX parse error: Can't use function '\)' in ma
Logistic回归算法
笨拙的石头的博客
05-01 1511
一.logistic回归要点概述    Logistic回归算法是机器学习中的较为简单的也是一般教学中首先讲解的算法.    对于Logisti回归,我们首先要知道它是一种二分类算法,不是回归算法.    其次,我们要知道Logistic回归的一个重要的函数:sigmoid函数以及为什么选用这个函数?这些在后面都会讲到.    最后,我们还要知道Logistic回归的目标函数是什么?如何用梯度下降...
关于logistic回归模型的损失函数以及成本函数
qq_44733452的博客
07-09 304
损失函数：衡量单一训练样例的效果。当预测概率y^与y之间的差值越小时，说明测试所用的 成本函数：在全部训练集上衡量参数w和b的效果。
Logistic逻辑回归(sigmod二分类)成本函数推导 && 及其梯度下降
soullines的博客
07-31 2383
logistic逻辑回归是比较常用的二分分类,其激活函数适用于各种二分类场景,但是其函数在t极大或者极小的时候趋于饱和会引发梯度消失,进入影响网络调参使得函数不能很好的收敛 有兴趣的同学可以参阅我的上一篇博客,来参看梯度消失&爆炸的原理: https://blog.csdn.net/soullines/article/details/94399187 下面来看基于sigmod激活函数的og...
Logistic回归：成本函数
CrowQuill的博客
09-20 2315
为了训练w和b ，需要定义成本函数对其取值的好坏进行评估。
吴恩达老师DeepLearning系列课程最详细学习笔记之24—Logistic损失函数的解释
james9668的博客
05-30 403
教程是本人学习吴恩达老师DeepLearing系列课程中整理的最为详细的学习笔记。学习视频主要来自B站[双语字幕]吴恩达深度学习deeplearning.ai_哔哩哔哩_bilibili?，以及DeepLearning官方网站Deep Learning by deeplearning.ai | Coursera。该系列课程总共有180多个，我会将学习笔记陆续分享出来，为有兴趣深度学习的同仁提供便利。再次由衷感谢吴恩达老师的精彩讲解和无私奉献！ 特别说明：图片来源于吴恩达老师视频截图。 ...
Logistic回归算法理解之从模型到损失函数、参数求解、预测
hahaha_2017的博客
07-16 8310
    李航博士统计学习方法一书中，有以下描述：        统计学习方法都是由模型，策略，和算法构成的，即统计学习方法由三要素构成，可以简单表示为：            对于logistic回归来说，模型自然就是logistic回归，策略最常用的方法是用一个损失函数(loss function)或代价函数(cost function)来度量预测错误程度，算法则是求解过程 模型： ...
机器学习-线性回归→LR
weixin_41848793的博客
03-26 292
1.基于《统计学习方法》和西瓜书 2.全文是关于学习中遇到的问题记录和解决理解记录 3.限于能力，不足之处，希望多多指教 4.本人会将及时学到的以及错误之处不断改正更新 一、机器学习简介 1.有监督学习 监督学习分为分类问题和回归问题 2.无监督学习 用的最多的就是聚类学习 3.强化学习 二、回归问题 重要内容简述： 1.线性回归以及...
跟我一起学scikit-learn09：成本函数
u011436316的博客
06-03 734
成本是衡量模型与训练样本符合程度的指标。简单地理解，成本是针对所有的训练样本，模型拟合出来的值与训练样本的真实值的误差平均值。
这个公式是线性回归算法里的成本函数。
————————————
03-28 2706
上面用 LaTex 格式书写的数学公式经过 MathJax 展示后效果如下： J(θ)=12∑i=1m(hθ(x(i))−y(i))2 [Math Processing Error] 这个公式是线性回归算法里的成本函数。 规则 关于在 Markdown 书写 LaTex 数学公式有几个规则常用规则需要记住： 行内公式  行内公式使用 $ 号作为公式的左右边界，如 h(x)=θ0+
B站吴恩达深度学习视频笔记（7）——逻辑回归的代价函数
nine_mink的博客
03-16 562
前言 代价函数，损失函数，误差函数，这些函数名看起来意思十分相近，实际上他们的意思也十分相近，这篇博文就来介绍一下这几个函数，以及他们在机器学习中的重要作用。代价函数很重要！ 为什么需要代价函数 为了训练逻辑回归模型的参数 w和参数b我们，需要一个代价函数，通过训练代价函数来得到参数w和参数b 。先看一下逻辑回归的输出函数： 为了让模型通过学习调整参数，你需要给予一个m样本的训练集，这会让你在训...
学习笔记2-Logisti回归
limj150的博客
07-22 259
Logistic回归的一般过程 （1）收集数据：采用任意方法收集数据 （2）准备数据：由于需要进行距离计算，因此要求数据类型为数值型。另外，结构化数据格式则最佳 （3）分析数据：采用任意方法对数据进行分析 （4）训练算法：大部分时间将用于训练，训练的目的是为了找到最佳的分类回归系数。 （5）测试算法：一旦训练步骤完成，分类将会很快 （6）使用算法：首先，我们需要输入一些数据，并将其转换成对应的结构...
深度学习笔记——理论与推导之概念，成本函数与梯度下降算法初识（一）
Dream come ture~
08-10 4871
一、机器学习介绍 1. 概念：Learning ≈ Looking for a Function 2. 框架（Framework）： 3. What is Deep Learning? - 比起过去的语音识别技术，DeepLearning的所有function都是从数据中进行学习的。 - 深度学习通常指基于神经网络的方法。 二、只有一个神经元的机器学习：
logistic回归详解一：为什么要使用logistic函数
热门推荐
bitcarmanlee的博客
04-14 6万+
从线性分类器谈起　　给定一些数据集合，他们分别属于两个不同的类别。例如对于广告数据来说，是典型的二分类问题，一般将被点击的数据称为正样本，没被点击的数据称为负样本。现在我们要找到一个线性分类器，将这些数据分为两类（当然实际情况中，广告数据特别复杂，不可能用一个线性分类器区分）。用X表示样本数据，Y表示样本类别（例如1与-1，或者1与0）。我们线性分类器的目的，就是找到一个超平面（Hyperplan）
【深度学习】损失函数，成本函数，目标函数的区别
weixin_42338058的博客
11-12 2407
一直以为损失函数和成本函数是同一个玩意~今天看到微信推送，就备份一下 1、“损失函数”一般是指对单个样本的做的损失 2、“成本函数”一般是数据集上总的成本和损失 3、“目标函数”是一个非常广泛的名称 一般我们都是先确定一个“目标函数”，再去优化它。比如在不同的任务中“目标函数”可以是： – 最大化后验概率MAP(比如朴素贝叶斯) – 最大化适应函数(遗传算法) – 最大化回报/值...
逻辑回归为什么使用对数损失函数
saltriver的专栏
03-19 2万+
在前面介绍的《逻辑回归是个什么逻辑》中，我们构建的逻辑回归模型是： P(y=1|x;θ)=11+e−θTxP(y = 1|x;\theta ) = \frac{1}{{1 + {e^{ - {\theta ^T}x}}}} 在模型的数学形式确定后，剩下的就是如何去求解模型中的参数θ\theta。而在已知模型和一定样本的情况下，估计模型的参数，在统计学中常用的是极大似然估计方法。即找到一组参数θ\
神经网络-损失函数和成本函数
weixin_45385660的博客
09-20 1716
每一篇神经网络算法入门可能会介绍神经网络的结构，以及值与值之间如何传递的，递归公式等。今天，我们在已学习神经网络基础知识的前提下，学习一下成本函数。 神经网络算法的逻辑递归函数： 我们的最终目的是为了竟可能的接近。 损失函数： 神经网络中的“学习”是指从训练数据中自动获取最有权重参数的过程。学...
成本函数计算方法J
weixin_33936401的博客
07-02 1978
　　J = 1/(2*m) * sum((X*theta - y).^2); OR 转载于:https://www.cnblogs.com/znsongshu/p/9253715.html
机器学习-cs229-逻辑回归
qq_42950465的博客
10-16 663
文章目录逻辑回归**逻辑回归重新定义代价函数**为什么不用平方损失函数？用极大似然估计的方法总结一下算法：对Jθ求导，推荐博文 逻辑回归 公式： 用g(x)表示z 物理意义：对于输入x，输出为y=1的可能性 从函数的值的角度： 在这里插入图片描述 注：这里阈值可以调 逻辑回归重新定义代价函数 线性回归的代价函数为 : 代入到平方代价函数的时候 ,我们得到的代价函数将是一个非凸函数 (non-convexfunction) : 这将严重影响梯度下降算法寻找全局最小值 所以考虑到 Sigmoid 函
使用logisti回归预测乳腺癌
最新发布
05-19
乳腺癌是一种常见的癌症，我们可以使用逻辑回归模型来预测患者是否患有乳腺癌。以下是一个使用Python中的Scikit-learn库实现逻辑回归模型的例子： 首先，我们需要导入必要的库： ```python import numpy as np from sklearn import datasets from sklearn.linear_model import LogisticRegression from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score ``` 然后，我们可以加载乳腺癌数据集： ```python breast_cancer = datasets.load_breast_cancer() X = breast_cancer.data y = breast_cancer.target ``` 接下来，我们将数据集拆分为训练集和测试集： ```python X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42) ``` 然后，我们可以创建逻辑回归模型并对其进行训练： ```python clf = LogisticRegression() clf.fit(X_train, y_train) ``` 最后，我们可以使用测试集评估模型的准确性： ```python y_pred = clf.predict(X_test) accuracy = accuracy_score(y_test, y_pred) print("Accuracy: {:.2f}%".format(accuracy*100)) ``` 这个例子中，我们使用乳腺癌数据集来训练和测试逻辑回归模型，并使用准确性来评估模型的性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值