logistic回归是回归分析的一种,函数表达式为
y = 1/(1+exp(-x))
在matlab中可以画出其graph:
x = -10:0.1:10;
y = 1./(exp(-x)+1);
plot(x,y,'g-x');
title('logistic function');
xlabel('x');ylabel('y');
以上是一维的情况。对于多维变量,可以定义一个超平面 代入原来的变量x中,得到:
对于任意变量x,可以代入上式计算出y值并与0.5比较进行分类, 分类式为:
其中sgn(x) 为符号函数。
为了演示logistic函数是版怎样用于分类的, 假定我们有一组数据,分别对应的类别为。 定义平方和(或L2-norm)代价函数为:
通过最小化代价函数可以得到模型的参数w和b 。最小化的方法有很多种, 在下面的代码中给出一个最简单的梯度下降法。其基本思想是利用代价函数对w和b的一阶导数。 由于CSDN输入公式太不方便了,关于导数如何求得请大家参考下面的Matlab代码。
%% generate random data