# 1.学习知识点概要
1.1 逻辑回归
1.2 python的逻辑回归实现
# 2.学习内容
主要学习了逻辑回归的基本公式和概念,然后实践了逻辑回归的简单应用(以iris数据库为例子)。内容比较简单之前都有接触过。
### 逻辑回归(LR)
Logistic回归是一种分类方法,主要用于两分类问题(binary problem),所以利用了Logistic函数(或称为Sigmoid函数),函数形式为:
$$
logi(z)=\frac{1}{1+e^{-z}}
$$
Logistic 函数是单调递增函数,并且在z=0的时候取值为0.5,并且$logi(\cdot)$函数的取值范围为$$(0,1)$$。
而回归的基本方程为$$z=w_0+\sum_i^N w_ix_i$$,
将回归方程写入其中为:
$$
p = p(y=1|x,\theta) = h_\theta(x,\theta)=\frac{1}{1+e^{-(w_0+\sum_i^N w_ix_i)}}
$$
所以,
$$p(y=1|x,\theta) = h_\theta(x,\theta)$$,$$p(y=0|x,\theta) = 1-h_\theta(x,\theta)$$
逻辑回归从其原理上来说,逻辑回归其实是实现了一个决策边界:对于函数 $$y=\frac{1}{1+e^{-z}}$$,当 $$z=>0$$时,$$y=>0.5$$,分类为1,当 $$z<0$$时,$$y<0.5$$,分类为0,其对应的$y$值我们可以视为类别1的概率预测值.
对于模型的训练而言:实质上来说就是利用数据求解出对应的模型的特定的$$w$$。从而得到一个针对于当前数据的特征逻辑回归模型。
而对于多分类而言,将多个二分类的逻辑回归组合,即可实现多分类。
### python的逻辑回归实现
教程使用了sklearn库来实现逻辑回归。
可以看到,还使用了pandas对数组进行转化(array to DataFrame)。
组合标签值得借鉴参考。
还讲解了如何进行二分类和三分类,三分类就是将三个逻辑回归的结果进行组合。
# 3.学习问题与解答
逻辑回归和GBDT算法结合?不是很明白,是GBDT去找特征重要性然后再用这些特征去做逻辑回归么?
# 4.学习思考与总结
1.逻辑回归可以和GBDT合用,值得去了解。
2.逻辑回归解释性强,可以了解特征的影响,适合解释,解释性对工业应用有一定帮助。
3.逻辑回归特征太多应该也容易过拟合。
4.有概率意义这个也很有意思。
5.三分类之前没想到过。