机器学习第五天：logestic regresion逻辑回归

于 2022-10-03 22:14:49 发布
阅读量267 收藏
点赞数
分类专栏： 人工智能 文章标签： 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mangoJohn/article/details/127147821
版权

 第一步中建立的函数集是：f_{w,b}(x)=P_{w,b}(C1|x)

 

 

最有可能的w*和b*是使L（w，b）最大的那个。 

 

 两个贝努利分布之间的交叉熵

 问题：为什么我们不简单地使用平方差作为线性回归？

 

 

 \hat{y}^{n}是目标，f_{w,b}(x^{n})是现在模型的output，相减差代表离目标的差距有多大                                    

 逻辑回归和线性回归有相同的update公式，只是代入的值不同

 \hat{y}^{n}=1时，离目标很远或很近，微分都为零

 \hat{y}^{n}=0时，离目标很远或很近，微分也都为零

 

 在交叉熵中，离目标远则微分大，update变化量大

在平方差中，离目标远微分小，update速度慢

 逻辑回归和generative用的一样的模型，但找出的是不一样的参数，找到的w和b也不一样

 

 

 

 

 

generative模型的好处

●用假设概率分布，则需要较少的训练数据

●用假设概率分布，抗噪声能力强

●先验概率和类相关概率可以从不同的来源进行估计。

 做完softmax会限制output

maximum entropy也类似

 y是probability distribution

minimize cross entropy来自于maximum likelihood

 做不到将class1和class2平分为两边

 

 找到transformation不容易

级联逻辑回归模型 

通过两个logistic regression model得到transformation后的x1‘，x2’

再用另外一个loigstic regression model进行classification

 

用红色的logistic regression将红蓝点分开 

 每个logistic regression都是一个neuron神经元，整个就是神经网络

 

 

mangoJohn
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器篇——逻辑回归(Logistic Regression)
天下所弃，不过其纪。世间事，在人，在志。
12-26 1813
返回目录 上一章：机器篇——线性回归 下一章：机器篇——决策树(一) 细讲了线性回归的推导和代码，图文结合，本章再接再厉，来讲解逻辑回归。大佬来了，请多多指教。 逻辑回归的理解 一. 回归与分类 1. 关于回归，给人直观的理解就是拟合 2. 对于二类线性可分的数据集，使用线性感知器...
机器学习之逻辑回归(Logistic Regression)
ysl的博客
08-09 1012
"""逻辑回归中的Sigmoid函数""" import numpy as np import matplotlib.pyplot as plt def sigmoid(t): return 1/(1+np.exp(-t)) x=np.linspace(-10,10,500) y=sigmoid(x) plt.plot(x,y) plt.show()  结果： ...
回归(regression)和logistic regression
Iteration makes perfection.
05-04 680
回归“回归”就是“回归本质”的意思。用一个函数去拟合一组数据(xi,yi)(x^i,y^i)，随着数据越来越多，用来拟合的这个曲线就越来越接近真实的情况。这里xix^i可以是一个向量, 假设xi∈Rnx^i \in R^n, 若用线性回归的方法, 首先把它扩展为n+1n+1维, 用来拟合的参数θ∈Rn+1\theta \in R^{n+1}; 其中x0=1x_0 =1, 对应θ0\theta_0为
多类别逻辑回归（Multinomial Logistic Regression）
huangjx36的博客
09-21 8万+
多类别逻辑回归介绍
逻辑斯谛回归模型（logitic regression model)
weixin_43327597的博客
02-09 1030
逻辑斯谛回归模型 逻辑斯谛分布 定义 ：设X是连续随机变量，X服从逻辑斯谛分布是指X具有下列分布函数和密度函数： 上式中u为位置参数，r>0为形状参数。 下图是他的概率密度函数图像和函数图像 有些同学对逻辑斯谛回归不了解的可能以为它是回归模型，其实不是，它是分类模型，而且是概率模型，往往逻辑斯谛回归模型用来解决二分类问题，不过它也有处理多分类问题的推广。 二项逻辑斯谛回归模型则用于解...
linearregresion(x,y​):计算线性回归，参数 a 和 b。-matlab开发
05-30
计算线性回归的 a 和 b 并绘制结果。
machine-learning-with-python:使用python进行机器学习的示例代码
05-02
用python机器学习 使用python进行机器学习的示例代码 1.线性回归 regresion.py 2. K邻居分类 分类.py 我的分类 3.支持向量机 二次编程 svm-basic.py svm-kernel.py 4. K-均值 k均值 k-均值-sklearn.py 5.均值平移 ...
h3.rar_regresion_vector
07-14
suport vector machin for regresion
svr.rar_SVR_SVR in matlab_regresion_vector
07-14
suport vector regresion in matlab
Curso_Regresion:Seguimos los ejercicioscapítulo和capítulodel libro“ Andrew Gelman，使用回归和Multilevel_Hierarchical模型进行数据分析（2007）”
03-16
Curso_Regresion Seguimos los ejercicioscapítulo和capítulodel libro“ Andrew Gelman，使用回归和Multilevel_Hierarchical模型进行数据分析（2007）”。
Tensorflow实战笔记：上（基础）
weixin_42717395的博客
03-30 212
1、基础 有向图（计算图），运算操作（节点），流动的张量，依赖控制。 Tensorflow内建的运算操作： Session、tensor、Variable Placeholder：输入数据的地方 2、深度学习框架 Tensorflow、Caffe、Keras、CNTK、Torch7、Pytorch、MXNet、Theano、Deeplearning4 3、多分类任务 多分类...
【GAN理论与WGAN】——基于李宏毅2021春机器学习课程
Dylan's Blog
12-31 749
GAN 理论 目标 输入一个Normal Distribution到Generator里，得到一个复杂的Distribution，PG。 我们还有一个标准的data集，形成另一个Distribution，Pdata。 因此，定义一个loss function（损失函数）来让PG和Pdata之间的Divergence（可以理解为距离）越小越好，如上图公式。 我们目标就是找一组Generator的参数（简写为G*）让divergence越小越好。 GAN有个问题——divergence不好计算 （老师就单
线性回归（Linear Regression）和逻辑回归（Logistic Regression）
Yemiekai的博客
07-25 9416
1 线性回归（Linear Regression） 1.1 建立问题 举个例子，你有这样一组数据：波特兰市的城市住房价格的数据，不同尺寸的房子对应不同的售价。 现在你有个朋友想要卖房子，他的房子是1250平方英尺，大概能卖多少钱？ 我们可以根据这组数据，建立一个模型，然后用这组数据集去拟合模型。拟合完毕后，输入1250，它就会告诉你朋友能卖多少钱。 看起来这组数据似乎分布在一条直线附近： 好，只要找到这条直线的方程，你就能根据面积来预测房价了。（在这个例子里，直线方程就是我们要拟合的模型） 如何找到直线
Classification分类
weixin_46373295的博客
07-05 263
分类问题的目标变量是离散的；回归问题的目标变量是连续的数值。 神经网络模型的效果及优化的目标是通过损失函数来定义的。 Gaussian Distruibution高斯分布 unique Normal Distribution Maximum Lkelihood Estimate 极大似然数 有模型，有结果数据，求得最接近结果数据的参数 Naive Bayes朴素贝叶斯 each element are independent的贝叶斯 Classi...
【機器學習2021】8.3 Transformer Training
yyyang_的博客
04-10 938
【機器學習2021】Transformer (下) 8.1/8.2是train好的模型的运作方式，接下来关注如何进行training和testing Teacher Forcing: use the GT as input 训练目标：minimize cross entropy（见4.） Traning Tips (train seq2seq model) 1. Copy Mechanism 2. Guide Attention 客制化attention，通过对任务的理解，强制要求attention的顺
TensorFlow 实战（一）—— 交叉熵（cross entropy）的定义
hftytf的博客
11-10 478
TensorFlow 实战（一）—— 交叉熵（cross entropy）的定义
深度学习关键参数交叉熵
spursping的博客
05-02 241
import tensorflow as tf from numpy.random import RandomState batch_size=8 w1=tf.Variable(tf.random_normal([2,3],stddev=1,seed=1)) w2=tf.Variable(tf.random_normal([3,1],stddev=1,seed=1)) x=tf.placehold...
简单谈谈Cross Entropy Loss
热门推荐
时光杂货店
06-23 18万+
写在前面 分类问题和回归问题是监督学习的两大种类。 神经网络模型的效果及优化的目标是通过损失函数来定义的。 回归问题解决的是对具体数值的预测。比如房价预测、销量预测等都是回归问题。这些问题需要预测的不是一个事先定义好的类别，而是一个任意实数。解决回顾问题的神经网络一般只有一个输出节点，这个节点的输出值就是预测值。对于回归问题，常用的损失函数是均方误差( MSE，mean squared ...
What are the differences between maximum likelihood and minimize cross entropy loss function?
赵大宝的博客
11-10 557
https://www.quora.com/What-are-the-differences-between-maximum-likelihood-and-cross-entropy-as-a-loss-function
public class Forecast_low { /** * @param args */ public static void main(String[] args) { SparkConf sparkConf = new SparkConf().setAppName("Regresion").setMaster("local[*]"); JavaSparkContext sc = new JavaSparkContext(sparkConf); JavaRDD<String> data = sc.textFile("myFile/part-00000-1cba69e4-ac54-4ba5-a5b6-c0992d93b959.csv");
最新发布
06-12
这段代码是使用Spark框架读取CSV文件的代码。首先，创建了一个SparkConf对象，用于设置Spark应用程序的名称和运行模式。其中，setAppName()方法用于设置应用程序的名称，setMaster()方法用于设置运行模式，本例中...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值