python实现xgboost回归_机器学习之逻辑回归(纯python实现)

机器学习之逻辑回归(纯python实现)

logistic回归是一种广义的线性回归，通过构造回归函数，利用机器学习来实现分类或者预测。

原理

上一文简单介绍了线性回归，与逻辑回归的原理是类似的。

1. 预测函数(h)。该函数就是分类函数，用来预测输入数据的判断结果。过程非常关键，需要预测函数的“大概形式”， 比如是线性还是非线性的。 本文参考机器学习实战的相应部分，看一下数据集。

// 两个特征-0.017612 14.053064 0-1.395634 4.662541 1-0.752157 6.538620 0-1.322371 7.152853 00.423363 11.054677 00.406704 7.067335 1复制代码

1. 如上图，红绿代表两种不同的分类。可以预测分类函数大概是一条直线。Cost函数(损失函数)：该函数预测的输出h和训练数据类别y之间的偏差，(h-y)或者其他形式。综合考虑所有训练数据的cost， 将其求和或者求平均，极为J函数， 表示所有训练数据预测值和实际值的偏差。
2. 显然，J函数的值越小，表示预测的函数越准确(即h函数越准确)，因此需要找到J函数的最小值。有时需要用到梯度下降。

具体过程

构造预测函数

逻辑回归名为回归，实际为分类，用于两分类问题。 这里直接给出sigmoid函数。

接下来确定分类的