Python机器学习库——Sklearn

最新推荐文章于 2024-05-28 07:25:07 发布
最新推荐文章于 2024-05-28 07:25:07 发布
阅读量6.8k 收藏 86
点赞数 12
分类专栏： sklearn Python

目录

简介

 常规使用模式

sklearn中的数据展示

sklearn model中常用属性与功能

数据标准化

交叉验证

过拟合问题

保存模型

小结

  • 简介

Scikit-learn(sklearn)是机器学习中常用的第三方模块，对常用的机器学习方法进行了封装，包括回归（Regression）、降维（Dimensionality Reduction）、分类（Classfication）、聚类（Clustering）方法。

常用的回归：线性、决策树、SVM、KNN ；集成回归：随机森林、Adaboost、GradientBoosting、Bagging、ExtraTrees
常用的分类：线性、决策树、SVM、KNN，朴素贝叶斯；集成分类：随机森林、Adaboost、GradientBoosting、Bagging、ExtraTrees
常用聚类：k均值（K-means）、层次聚类（Hierarchical clustering）、DBSCAN
常用降维：LinearDiscriminantAnalysis、PCA

  •  常规使用模式

sklearn自带数据集，我们通过对自带数据集选择相应的机器学习算法进行训练。

from sklearn import datasets  #导入数据集
from sklearn.model_selection import train_test_split #将数据分为测试集和训练集
from sklearn.neighbors import KNeighborsClassifier  #利用近邻点方式训练数据

iris=datasets.load_iris() #加载鸢尾花数据
iris_X=iris.data  #特征
iris_y=iris.target #目标变量

#将数据集分成训练集和测试集两部分，测试集占比30%
X_train,X_test,y_train,y_test=train_test_split(iris_X,iris_y,test_size=0.3)

看看y_train都有啥：

[2 0 2 1 0 2 1 2 1 0 1 0 1 2 2 2 0 1 2 1 1 1 0 1 2 1 0 0 0 0 0 1 0 1 1 2 2
 1 2 2 1 0 2 1 0 1 0 0 2 2 2 1 2 2 0 0 0 2 0 0 0 2 2 2 0 0 2 1 0 2 1 2 1 1
 2 2 2 0 2 1 0 0 1 2 2 0 1 0 1 1 0 2 0 1 1 2 0 1 0 1 2 1 2 0 1]

训练数据：

knn=KNeighborsClassifier() #引入训练方法
knn.fit(X_train,y_train)  #队训练数据进行拟合

测试数据：

y_pred=knn.predict(X_test)  
# y_predprob=knn.predict_proba(X_test)[:,1]

查看一下测试数据的预测类别：

[1 1 1 1 1 0 0 0 0 0 1 2 0 1 2 2 1 0 0 0 2 1 2 2 2 0 2 0 0 2 1 2 2 0 1 2 0
 2 1 2 1 1 1 2 0]

一般，我们参加比赛会把最后的模型结果写入.csv文件，提交。

生成一个样本对应ID,假设是1-45的序号：

ind=[]
for i in range(45):
    ind.append(i+1)

回顾Pandas中的数据框：

import pandas as pd
dic={'id':ind,'pred':y_pred}
test_pred=pd.DataFrame(dic)
test_pred.head()

将数据框写入.csv文件中：

test_pred.to_csv('knn_iris.csv',index=False)

  • sklearn中的数据展示

from sklearn import datasets 
X,y=datasets.make_regression(n_samples=100,n_features=1,n_targets=1,noise=1) #生成本地数据集
#n_samples:样本数 n_features：特征数，n_targets:输出y的维度

#对构造数据绘图
import matplotlib.pyplot as plt
plt.figure()
plt.scatter(X,y)
plt.show()

  • sklearn model中常用属性与功能

对于线性回归模型，最后训练的模型，可以输出拟合直线的系数和截距，同时可以获得训练模型所使用的参数，以及对训练模型进行打分。

from sklearn import datasets
from sklearn.linear_model import LinearRegression  #导入线性回归模型

#加载数据
load_data=datasets.load_boston()
data_X=load_data.data
data_y=load_data.target
print(data_X.shape) #样本个数和样本特征数

#训练数据
model=LinearRegression()
model.fit(data_X,data_y)
model.predict(data_X[:4,:])  #预测前四个数据

#查看模型的一些属性和功能
w=model.coef_  #拟合直线的系数
b=model.intercept_  #拟合直线的截距
param=model.get_params() #模型训练参数

print(w)
print(b)
print(param)
(506, 13)
[-1.07170557e-01  4.63952195e-02  2.08602395e-02  2.68856140e+00
 -1.77957587e+01  3.80475246e+00  7.51061703e-04 -1.47575880e+00
  3.05655038e-01 -1.23293463e-02 -9.53463555e-01  9.39251272e-03
 -5.25466633e-01]
36.49110328036181
{'copy_X': True, 'fit_intercept': True, 'n_jobs': 1, 'normalize': False}

对于线性回归如此，对与其他的模型同样如此，根据官方文档查看模型的属性跟方法，使用起来非常方便。

  • 数据标准化

许多学习算法中目标函数的基础都是假设所有的特征都是零均值并且具有同一阶数上的方差（比如径向基函数，支持向量机以及L1L2正则化项等）。如果某个特征的方差比其他特征大几个数量级，那么他就会在学习算法中占据主导位置，导致学习器对其他特征有所忽略。
标准化先对数据进行中心化，再除以特征的标准差进行缩放。
在sklearn中，我们可以通过Scale将数据缩放，达到标准化的目的。

from sklearn import preprocessing
import numpy as np
a=np.array([[10,2.7,3.6],
           [-100,5,-2],
            [120,20,40]],dtype=np.float64)
print("标准化前的数据：",a)
print("标准化后的数据：",preprocessing.scale(a))
标准化前的数据： [[  10.     2.7    3.6]
 [-100.     5.    -2. ]
 [ 120.    20.    40. ]]
标准化后的数据： [[ 0.         -0.85170713 -0.55138018]
 [-1.22474487 -0.55187146 -0.852133  ]
 [ 1.22474487  1.40357859  1.40351318]]

下边来看一下数据不做标准化处理跟做了标准化处理有什么区别：

from sklearn.model_selection import train_test_split
from sklearn.datasets.samples_generator import make_classification
from sklearn.svm import SVC
import matplotlib.pyplot as plt

#生成数据可视化如下
plt.figure()
X,y=make_classification(n_samples=300,n_features=2,n_redundant=0,n_informative=2,
                       random_state=22,n_clusters_per_class=1,scale=100)
plt.scatter(X[:,0],X[:,1],c=y)
plt.show()

X_pre=X
y_pre=y
X_train_pre,X_test_pre,y_train_pre,y_test_pre=train_test_split(X_pre,y_pre,test_size=0.3)
clf=SVC()
clf.fit(X_train_pre,y_train_pre)
print(clf.score(X_test_pre,y_test_pre))
0.5222222222222223

利用minmax方式对数据进行规范化：

X=preprocessing.minmax_scale(X) #feature_range=(-1,1)  #可设置重置范围
X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.3)
clf=SVC()
clf.fit(X_train,y_train)
print(clf.score(X_test,y_test))

0.9111111111111111

可以看到数据规范化之前模型分数为0.52222，数据规范化之后模型分数为0.91111

  • 交叉验证

交叉验证的思想就是重复的使用数据，把得到的样本数据进行切分，组合成为不同的训练集和验证集，用训练集来训练模型，用验证集评估模型预测的好坏。

（1）简单的交叉验证：

随机的将样本数据分为两部分（如70%训练，30%测试），然后用训练集来训练模型，在验证集上验证模型及参数；接着再把样本打乱，重新选择训练集和验证集，重新训练验证，最后选择损失函数评估最优的模型和参数。

（2）k折交叉验证：

随机将样本数均分为K份，每次随机选择其中的k-1份作为训练集，剩下的1份做验证集。当这一轮完成后，重新随机选择k-1份来训练数据，若干轮后选择损失函数评估最优的模型和参数。

（3）留一交叉验证：

留一交叉验证是k折交叉验证的一种特例，此时k=n(样本的个数)，每次选择n-1个样本进行训练，留一个样本进行验证模型的好坏。
这种方法适合样本量非常少的情况。

（4）Boostrapping自助采样法：

这种方法也是随机森林训练样本采用的方法。
在n个样本中随机有放回抽样m个样本作为一颗树的一个训练集，这种采用会大约有1/3的样本不被采到，这些不被采到的样本就会被作为这棵树的验证集。

如果只是对数据做一个初步的模型建立，不需要做深入分析的话，简单的交叉验证就可以了，否则使用k折交叉验证，在样本量很小时，可以选择使用留一法。
 

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import cross_val_score  #导入交叉验证

#加载数据
iris=load_iris()
X=iris.data
y=iris.target

#训练数据
X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.3)


knn=KNeighborsClassifier(n_neighbors=5)#选择邻近的5个点
scores=cross_val_score(knn,X,y,cv=5,scoring='accuracy')#5折交叉验证，评分方式为accuracy
print(scores)#每组的评分结果

print(scores.mean())#平均评分结果
[0.96666667 1.         0.93333333 0.96666667 1.        ]
0.9733333333333334

调整模型参数，采用k近邻方法中k=5：

from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import cross_val_score#引入交叉验证
import  matplotlib.pyplot as plt
#加载数据
iris=datasets.load_iris()
X=iris.data
y=iris.target
#设置n_neighbors的值为1到30,通过绘图来看训练分数
k_range=range(1,31)
k_score=[]
for k in k_range:
    knn=KNeighborsClassifier(n_neighbors=k)
    scores=cross_val_score(knn,X,y,cv=10,scoring='accuracy')#10折交叉验证
    k_score.append(scores.mean())
plt.figure()
plt.plot(k_range,k_score)
plt.xlabel('Value of k for KNN')
plt.ylabel('CrossValidation accuracy')
plt.show()

K过大会带来过拟合问题,我们可以选择12-18之间的值。

另外我们可以选择2-fold cross validation,leave-one-out cross validation等方法来分割数据，比较不同的方法和参数得到最优结果。

改变评分函数“neg_mean_squared_error”：

from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import cross_val_score#引入交叉验证
# from sklearn.model_selection import LeaveOneOut
import  matplotlib.pyplot as plt
#加载数据
iris=datasets.load_iris()
X=iris.data
y=iris.target
print(len(X))

#设置n_neighbors的值为1到30,通过绘图来看训练分数
k_range=range(1,31)
k_score=[]
for k in k_range:
    knn=KNeighborsClassifier(n_neighbors=k)
    loss=-cross_val_score(knn,X,y,cv=10,scoring='neg_mean_squared_error')#10折交叉验证
    k_score.append(loss.mean())
plt.figure()
plt.plot(k_range,k_score)
plt.xlabel('Value of k for KNN')
plt.ylabel('CrossValidation accuracy')
plt.show()

  • 过拟合问题

过拟合的问题是因为模型过于复杂，对于训练数据能很好的拟合，却不能正确的处理测试数据，从一个角度说就是，学到了一些样本数据一些非通用信息。使得模型的泛化效果非常不好。

sklearn.learning_curve中的learning curve可以直观的看出模型学习的进度，对比发现有没有过拟合。

from sklearn.model_selection import learning_curve  # 学习曲线
from sklearn.datasets import load_digits 
from sklearn.svm import SVC
import matplotlib.pyplot as plt
import numpy as np

#加载数据
digits=load_digits()
X=digits.data
y=digits.target

#train_size表示记录学习过程中的某一步,比如在10%,25%...的过程中记录一下
train_size,train_loss,test_loss=learning_curve(
    SVC(gamma=0.1),X,y,cv=10,scoring='neg_mean_squared_error',
    train_sizes=[0.1,0.25,0.5,0.75,1]
)
train_loss_mean=-np.mean(train_loss,axis=1)
test_loss_mean=-np.mean(test_loss,axis=1)

plt.figure()
#将每一步进行打印出来
plt.plot(train_size,train_loss_mean,'o-',color='r',label='Training')
plt.plot(train_size,test_loss_mean,'o-',color='g',label='Cross-validation')
plt.legend(loc='best')
plt.show()

损失函数的值在10左右停留，便能直观得看出过拟合：

改变gamma的值0.01，会相应的改变loss函数：

from sklearn.model_selection import learning_curve  # 学习曲线
from sklearn.datasets import load_digits 
from sklearn.svm import SVC
import matplotlib.pyplot as plt
import numpy as np

#加载数据
digits=load_digits()
X=digits.data
y=digits.target

#train_size表示记录学习过程中的某一步,比如在10%,25%...的过程中记录一下
train_size,train_loss,test_loss=learning_curve(
    SVC(gamma=0.01),X,y,cv=10,scoring='neg_mean_squared_error',
    train_sizes=[0.1,0.25,0.5,0.75,1]
)
train_loss_mean=-np.mean(train_loss,axis=1)
test_loss_mean=-np.mean(test_loss,axis=1)

plt.figure()
#将每一步进行打印出来
plt.plot(train_size,train_loss_mean,'o-',color='r',label='Training')
plt.plot(train_size,test_loss_mean,'o-',color='g',label='Cross-validation')
plt.legend(loc='best')
plt.show()

通过改变不同的gamma值可以看到Loss函数的变化情况：

from sklearn.model_selection import validation_curve  # 验证曲线
from sklearn.datasets import load_digits 
from sklearn.svm import SVC
import matplotlib.pyplot as plt
import numpy as np

#加载数据
digits=load_digits()
X=digits.data
y=digits.target

#改变param来观察loss函数的情况
param_range=np.logspace(-6,-2.3,5)
train_loss,test_loss=validation_curve(
    SVC(),X,y,param_name='gamma',param_range=param_range,cv=10,
    scoring='neg_mean_squared_error'
)
train_loss_mean=-np.mean(train_loss,axis=1)
test_loss_mean=-np.mean(test_loss,axis=1)

plt.figure()
plt.plot(param_range,train_loss_mean,'o-',color='r',label='Training')
plt.plot(param_range,test_loss_mean,'o-',color='g',label='Cross-validation')
plt.xlabel('gamma')
plt.ylabel('loss')
plt.legend(loc='best')
plt.show()

  • 保存模型

from sklearn import svm
from sklearn import datasets

#加载数据
iris=datasets.load_iris()
X,y=iris.data,iris.target
clf=svm.SVC()
clf.fit(X,y)

print(clf.get_params)

<bound method BaseEstimator.get_params of SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0,
  decision_function_shape='ovr', degree=3, gamma='auto', kernel='rbf',
  max_iter=-1, probability=False, random_state=None, shrinking=True,
  tol=0.001, verbose=False)>

导入sklearn中自带的保存模块：

from sklearn.externals import joblib

#保存model
joblib.dump(clf,'sklearn_save/clf.pkl')

重新加载model，只有保存一次后才能加载model：

clf3=joblib.load('sklearn_save/clf.pkl')
print(clf3.predict(X[0:1]))
[0]

  • 小结

对于机器学习任务，一般我们的主要步骤是：

1.加载数据集（自己的数据，或者网上的数据，或者sklearn自带的数据）
2.数据预处理（降维，数据归一化，特征提取，特征转换）
3.选择模型并训练 （直接查看api找到你需要的方法，直接调用即可，其中你可能需要调调参等）
4.模型评分（使用模型自带的score方法，或者使用sklearn指标函数，或者使用自己的评价方法）
5.模型的保存

 sklearn官方文档：https://scikit-learn.org/stable/user_guide.html

韩明宇
关注
  • 12
    点赞
  • 踩
  • 86
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python机器学习Scikit-learn库
胖大xian
01-31 918
Scikit-learn库 概述 ​ 1.Scikit-learn库最早由数据科学家David Cournapeau在2007年发起，使用需要Numpy和Scipy等其他库的支持，是Python中专门针对机器学习应用而发展起来的一款开源扩展库。 ​ 2.和其他众多的开源项目一样，Scikit-learn目前主要有社区成员自发进行维护 ​ 3.Scikit-learn相比其他开源项目显得更为保守，主...
机器学习之Python — Sklearn库简介
weixin_42181072的博客
08-23 2017
文章目录机器学习之Python — Sklearn库简介1 Sklearn简介2 Sklearn安装3 Sklearn datasets4 Sklearn通用学习模式5 Sklearn数据预处理 – 标准化6 Sklearn交叉验证7 总结参考资料 机器学习之Python — Sklearn库简介 1 Sklearn简介 Scikit-learn(sklearn)是机器学习中常用的第三方模块，对常...
机器学习Sklearn实战——线性回归
Grateful_Dead424的博客
11-02 598
线性回归 import numpy as np from sklearn.linear_model import LinearRegression import matplotlib.pyplot as plt from sklearn import datasets boston = datasets.load_boston() X = np.linspace(0,10,50).reshape(-1,1) y = np.random.randint(2,8,size = 1)*X lr
机器学习笔记1.1-回归(regression)
m0_52985451的博客
11-30 1928
监督学习-Regression 一：模型搭建（初始版） 这里采用的模型：sklearn.linear_model import LinearRegression sklearn 库中，线性模型中的，线性回归（最小二乘法） 1.1加载数据集 from sklearn import datasets boston=datasets.load_boston() data=boston.data#X target=boston.target#Y 1.2对数据集进行划分，划分为测试集和训练集。 from skle
机器学习：在Python中sklearn库的使用，纯干货！12个小时的整理！
最新发布
CKissjy的博客
05-28 1082
今天演示了关于scikit-learn在无监督学习方面的使用。后续会出scikit-learn在其他方面的使用，大家可以关注起来！
from sklearn.linear_model import LinearRegression
jokerxsy的博客
03-14 1万+
前言： 在线性回归中 相关指数R2表示线性方程的拟合程度，拟合程度越高越好 TSS(Total Sum Of Square)表示总体平方和 ESS(Explained Sum Of Square)表示回归平方和 RSS(Residual Sum Of Square)表示残差平方和 三者关系为TSS = ESS + RSS 具体公式引用参考博客中的式子: 简单理解成，如果测试结果离回归线越近，也就...
Python 机器学习6：sklearn 线性回归
Amzmks的博客
07-22 4044
回归问题：目标值是连续型值的问题。 线性回归：通过一个或者多个自变量与因变量之间之间进行建模的回归分析，其中特点为一个或多个称为回归系数的模型参数的线性组合。 from sklearn import linear_model 一元线性回归：涉及到的变量只有一个 多元线性回归：涉及到的变量两个或两个以上 通用公式： 其中，w为权重，x为特征，w0为偏移量。 预测结果与真实值会有误差，使用损失函数定义： 其中，yi为第i个训练样本的真实值，hw(xi)为第i个训练样本特征值组合预测函数
机器学习之线性回归算法Linear Regression（python代码实现）
热门推荐
记录知识，学习分享
05-21 2万+
线性回归（Linear Regression）是一种非常简单、用处非常广泛、含义也非常容易理解的一类经典的算法，非常合适作为机器学习的入门算法。 线性回归就是拟合出一个线性组合关系的函数。要找一条直线，并且让这条直线尽可能地拟合所有数据点。即：试图找到一条直线，使所有样本到直线上的欧式距离之和最小。 一元线性回归（Linear Regression） 拟合出一个线性组合关系的函数：y = wx+b 。 拟合图像： 多元线性回归 多元线性回归比一元线性回归复杂，其组成的不是直线，而是一..
机器学习-有监督学习-线性回归-sklearn
星星的博客
08-14 496
import numpy as np import matplotlib.pyplot as plt # 导入线性回归库 from sklearn.linear_model import LinearRegression # 定义损失函数 ( y - w * x - b ) **2 def cost(w , b , points): sum_cost = 0 M = len(points) for i in range(M): x = points[i,0] .
python机器学习库sklearn——集成方法
02-24
本文来自csdn，本文将介绍sklearn中如何使用集成学习,模块还支持树的并行构建和预测结果的并行计算，希望对您的学习有所帮助。集成方法的目标是把多个使用给定学习算法构建的基估计器的预测结果结合起来，从而获得比...
使用sklearn库学习线性回归（一）
理科男同学
11-02 1万+
1，概述 1.1，判别式方法 产生式模型需要计算输入输出的联合概率 需要知道（or 假定）样本的概率分布 定义似然密度的隐式参数 为没给类别搜索最大化样本似然的参数 也称为基于似然的分类（Likelihood-based Classification） 判别式模型直接构造（假定）判别式 。 判别式的显式参数（特征变量的权重）。 判别式方法 基于似然的方法关注类区域中的概率密度 基于判别式的方法只关注类区域之间的边界。 1.2，线性回归介绍 回归是一种应
sklearn-LinearRegression(线性回归)
m0_68828538的博客
04-09 4208
LinearRegression(线性回归) import numpy as np from sklearn.linear_model import LinearRegression #是二维数组所以用两个[],传入两个特征。 x=np.array([[150,70],[160,80],[170,90],[180,98]]) # y = 1 * x_0 + 2 * x_1 + 3 #公式代码化，正常y为数值，训练模型得出系数以及偏差值，从而进行预测 y=np.dot
python数据分析——在python中实现线性回归
早起Python
02-16 1755
线性回归是基本的统计和机器学习技术之一。经济，计算机科学，社会科学等等学科中，无论是统计分析，或者是机器学习，还是科学计算，都有很大的机会需要用到线性模型。建议先学习它，然后再尝试更复杂的方法。 本文主要介绍如何逐步在Python中实现线性回归。而至于线性回归的数学推导、线性回归具体怎样工作，参数选择如何改进回归模型将在以后说明。 回归 回归分析是统计和机器学习中最重要的领域之一。有许多可用...
【Python】基于sklearn构建并评价回归模型（LinearRegression线性回归模型）
○( ＾皿＾)っHiahiahia…的博客
12-03 3312
本博客主要代码基于： 《Python数据分析与应用》第6章使用sklearn构建模型 【 黄红梅、张良均主编 中国工信出版集团和人民邮电出版社，侵请删】 （书写的确实挺不错的，推荐大家购买阅读） （而且目前全网找不到电子版的????） 相关网站链接 一、LinearRegression线性回归模型 1、构建LinearRegression回归模型核心语句 from sklearn.linear_mode...
机器学习 —— 线性回归 简单使用
qq_52421831的博客
11-02 1059
分类的目标变量是标称型数据，而回归将会对连续型的数据做出预测。
Python机器学习之回归分析
CJW的博客
03-16 1612
线性模型（linear model） 线性模型是一个通过属性的线性组合来进行预测（目标属性）的函数。 基本形式： 形式简单，易于建模； 蕴含机器学习的基本思想； 是其他非线性模型的基础； 权重体现出各属性重要性，可解释性强。 from sklearn.linear_model import LinearRegression model = LinearRegression() model.fi...
python中数值型数据_教你学Python32-预测数值型数据：数据回归
weixin_39819671的博客
11-26 291
一、引言前面的文章介绍了很多分类算法，分类的目标变量是标称型数据，而本节将会对连续型的数据做出预测。主要讲解简单的线性回归和局部加权线性回归。二、什么是回归？回归的目的是预测数值型的目标值。他和我们之前做的分类是不一样的。最直接的办法是依据输入写出一个目标值的计算公式。假如你想预测小姐姐男友法拉利汽车的功率，可能会这么计算：HorsePower = 0.0015 * annualSalary - ...
Python-sklearn模块-线性回归
m0_58786865的博客
01-28 1559
import numpy as np from sklearn.linear_model import LinearRegression 准备x的数据 X = np.array([ [1,3], [2,4], [3,4], [4,6], [5,5] ]) 准备y的数据 y = np.array([1, 3, 5, 7, 9]) 创建线性回归模块 lr = LinearRegression() 填充数据并训练 lr.fit(X, y) 输出参数 print(“w=”, lr.coef_, “b=”, lr.i
机器学习Day2
metrao的博客
03-01 293
简单的线性回归 英文原链接源链接 假设： X和Y是线性相关的 则需要找到一个关于X的线性函数来尽可能准确的预测Y。 y = a0+ a1x1 怎样找到最合适的回归线？ 通过最小化预测值和观测值的均方差 第一步 数据的预处理 导入库、导入数据集、检查缺失数据、分离训练集和测试集、特征缩放 第二步 为训练集适配简单的线性回归模型 从sklearn.linear_model中导入LinearRegression类。 通过LinearRegression生成一个regressor对象 通过LinearRgressi
Sklearn 损失函数如何应用到_Python机器学习笔记：SVM（4）——sklearn实现
05-31
Sklearn中的损失函数是通过模型的loss参数来设置的。在SVM中，常用的损失函数有hinge损失和squared_hinge损失。 hinge损失函数是一种基于最大间隔的分类器损失函数，常用于线性SVM中。它的数学表达式为： $$\max(0, 1 - y_i(w \cdot x_i + b))$$ 其中，$y_i$表示第$i$个样本的真实标签，$w$和$b$表示线性SVM的参数，$x_i$表示第$i$个样本的特征。 squared_hinge损失函数是hinge损失函数的平方，它的数学表达式为： $$\max(0, 1 - y_i(w \cdot x_i + b))^2$$ 在Sklearn中，我们可以通过设置SVC类的loss参数来选择使用哪种损失函数。默认情况下，Sklearn使用hinge损失函数，即loss='hinge'。如果想使用squared_hinge损失函数，我们可以将loss参数设置为'squared_hinge'。例如： ```python from sklearn.svm import SVC # 使用hinge损失函数的线性SVM linear_svm = SVC(kernel='linear', C=1.0, loss='hinge') # 使用squared_hinge损失函数的线性SVM linear_svm = SVC(kernel='linear', C=1.0, loss='squared_hinge') ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值