机器学习---SGDClassifier梯度下降分类方法

1..SGD主要应用在大规模稀疏数据问题上，经常用在文本分类及自然语言处理。假如数据是稀疏的，该模块的分类器可轻松解决如下问题：超过10^5的训练样本、超过10^5的features。利用梯度来求解参数。

2.损失函数
loss=”hinge”: (soft-margin) 线性SVM.
loss=”modified_huber”: 带平滑的hinge loss.
loss=”log”: logistic 回归
3.通过penalty参数，可以设置对应的惩罚项。SGD支持下面的罚项：
penalty=”l2”: 对coef_的L2范数罚项
penalty=”l1”: 对coef_的L1范数罚项

penalty=”elasticnet”: L2和L1的convex组合; (1 - l1_ratio) * L2 + l1_ratio * L1

4.SGDClassifier支持多分类，它以”one-vs-all(OVA)”的方式通过结合多个二分类来完成。对于K个类中的每个类来说，一个二分类器可以通过它和其它K-1个类来进行学习得到。在测试时，我们会为每个分类器要计算置信度（例如：到超平面的有符号距离）并选择最高置信度的类。