Titan0427的专栏

本文简单描述了经典的分类算法：决策树算法。

最早是由 Vladimir N. Vapnik 和 Alexey Ya. Chervonenkis 在1963年提出；目前的版本(soft margin)是由Corinna Cortes 和 Vapnik在1993年提出，并在1995年发表；深度学习（2012）出现之前，SVM被认为机器学习中近十几年来最成功，表现最好的算法。

文章的背景取自An Introduction to Gradient Descent and Linear Regression，本文想在该文章的基础上，完整地描述线性回归算法。部分数据和图片取自该文章。没有太多时间抠细节，所以难免有什么缺漏错误之处，望指正。线性回归的目标很简单，就是用一条线，来拟合这些点，并且使得点集与拟合函数间的误差最小。

梯度下降法和牛顿法机器学习问题可以分为两类：给定data求model；给定model求解θ" role="presentation">θθ\theta ： SGD或BGD（沿一阶方向）Newton（沿二阶方向）BFGS（居于一、二阶方向之间）L-BFGS通过一个例子来对比两种求参算法的区别。问题：求解a" role="presentation">a−−√

在用sklearn的roc_curve()函数的时候，发现返回的结果和想象中不太一样，理论上threshold应该取遍所有的y_score（即模型预测值）。但是roc_curve()的结果只输出了一部分的threhold。从源码找到了原因。初始数据：y_true = [0, 0, 1, 0, 0, 1, 0, 1, 0, 0]y_score = [0.31689620142873609,...