逻辑回归

线性回归

线性回归是利用数理统计中回归分析,来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。表现形式:
  f ( x ) = w T x + b  f(x) = w^Tx + b  f(x)=wTx+b
一般给定一个 x x x,可以预测一个数值 y y y
为了消除常数项 b b b,我们设 x , = [ 1 , x ] T x^, = [1,x]^T x,=[1,x]T ,同时 w , = [ b , w ] T w^, = [b,w]^T w,=[b,w]T, 方程简化为
f ( x , ) = w , T x , f(x^,) = w^{, T} x^, f(x,)=w,Tx,

逻辑回归

上述线性回归的方法的值域为 ( − ∞ , + ∞ ) (-{\infty},+{\infty}) (,+) ,而我们想要的只是 ( 0 , 1 ) (0,1) (0,1),所以sigmod函数 1 1 + e − x \frac{1}{1+e^{-x}} 1+ex1,其图形如下:
在这里插入图片描述

逻辑回归损失函数

定义
P y = 1 = 1 1 + e − w T x = p P_{y=1} =\frac{1}{1+e^{-w^Tx}} = p Py=1=1+ewTx1=p
P y = 0 = 1 − p P_{y=0} =1-p Py=0=1p
p ( y i ∣ x i ) = p y i ( 1 − p ) 1 − y i p(y_i|x_i)= p^{y_i}(1-p)^{1-y^i} p(yixi)=pyi(1p)1yi
所以:样本 ( x 1 , y 1 ) , ( x 2 , y 2 ) . . . ( x n , y n ) (x_1,y_1),(x_2,y_2)...(x_n,y_n) (x1,y1),(x2,y2)...(xn,yn)的对数似然函数
F = l n ( ∏ i = 1 n p y i ( 1 − p ) 1 − y i ) = ∑ i = 1 n y i l n ( p ) + ( 1 − y i ) l n ( 1 − p ) F= ln(\prod_{i=1}^n p^{y_i}(1-p)^{1-y_i}) = \sum_{i=1}^n y_i ln(p) + (1-y_i)ln(1-p) F=ln(i=1npyi(1p)1yi)=i=1nyiln(p)+(1yi)ln(1p)
其中 p = 1 1 + e − w T x p=\frac{1}{1+e^{-w^Tx}} p=1+ewTx1
next: 求 ▽ w F \triangledown_{w}F wF
首先记住以下几个矩阵求导公式,具体见矩阵求导
∂ ( A X ) ∂ X = A T \frac{\partial (AX)} {\partial X} = A^T X(AX)=AT
∂ ( X T A ) ∂ X = A \frac {\partial (X^T A)} {\partial X} = A X(XTA)=A

所以
∂ w T x ∂ w = x \frac{\partial w^Tx} {\partial w} = x wwTx=x
下面对p求导( p ′ = ∂ p ∂ w p^{'}=\frac {\partial p}{\partial w} p=wp)
p ′ = ( 1 1 + e − w T x ) ′ = ( 1 + e − w T x ) ′ ( 1 + e − w T x ) 2 = ( e − w T x ) ( − w T x ) ′ ( 1 + e − w T x ) 2 = ( e − w T x ) ( − x ) ( 1 + e − w T x ) 2 = p ( 1 − p ) x p^{'} = (\frac{1}{1+e^{-w^Tx}})^{'} \\ = \frac {(1+e^{-w^Tx})^{'}}{{(1+e^{-w^Tx}})^2} \\ = \frac {(e^{-w^Tx}) (-w^Tx)^{'}}{{(1+e^{-w^Tx}})^2} \\ = \frac {(e^{-w^Tx}) (-x)}{{(1+e^{-w^Tx}})^2} \\ = p(1-p)x p=(1+ewTx1)=(1+ewTx)2(1+ewTx)=(1+ewTx)2(ewTx)(wTx)=(1+ewTx)2(ewTx)(x)=p(1p)x
最后求得: ▽ w F = ∑ i = 1 n ( y i l n ( p ) + ( 1 − y i ) l n ( 1 − p ) ) ′ = ∑ i = 1 n y i l n ′ ( p ) + ( 1 − y i ) l n ′ ( 1 − p ) = ∑ i = 1 n y i p ′ p + ( 1 − y i ) − p ′ 1 − p = ∑ i = 1 n y i p ( 1 − p ) x p + ( 1 − y i ) − p ( 1 − p ) x 1 − p = ∑ i n ( y i − p ) x i \triangledown_{w}F = \sum_{i=1}^n (y_i ln(p) + (1-y_i)ln(1-p))^{'} \\ =\sum_{i=1}^n y_i ln^{'}(p) + (1-y_i)ln^{'}(1-p) \\ = \sum_{i=1}^ny_i \frac{p^{'}}{p} + (1-y_i)\frac{-p^{'}}{1-p} \\ =\sum_{i=1}^ny_i \frac{ p(1-p)x}{p} + (1-y_i)\frac{- p(1-p)x}{1-p} \\ = \sum_i^n (y_i -p)x_i wF=i=1n(yiln(p)+(1yi)ln(1p))=i=1nyiln(p)+(1yi)ln(1p)=i=1nyipp+(1yi)1pp=i=1nyipp(1p)x+(1yi)1pp(1p)x=in(yip)xi

内容概要:本文详细介绍了QY20B型汽车起重机液压系统的设计过程,涵盖其背景、发展史、主要运动机构及其液压回路设计。文章首先概述了汽车起重机的分类和发展历程,强调了液压技术在现代起重机中的重要性。接着,文章深入分析了QY20B型汽车起重机的五大主要运动机构(支腿、回转、伸缩、变幅、起升)的工作原理及相应的液压回路设计。每个回路的设计均考虑了性能要求、功能实现及工作原理,确保系统稳定可靠。此外,文章还详细计算了支腿油缸的受力、液压元件的选择及液压系统的性能验算,确保设计的可行性和安全性。 适合人群:从事工程机械设计、液压系统设计及相关领域的工程师和技术人员,以及对起重机技术感兴趣的高等院校学生和研究人员。 使用场景及目标:①为从事汽车起重机液压系统设计的工程师提供详细的参考案例;②帮助技术人员理解和掌握液压系统设计的关键技术和计算方法;③为高等院校学生提供学习和研究起重机液压系统设计的实用资料。 其他说明:本文不仅提供了详细的液压系统设计过程,还结合了实际工程应用,确保设计的实用性和可靠性。文中引用了大量参考文献,确保设计依据的科学性和权威性。阅读本文有助于读者深入了解汽车起重机液压系统的设计原理和实现方法,为实际工程应用提供有力支持。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值