《机学四》特征工程4 —— 数据划分、转换器与估计器、总结（特征工程三大部分总结）

最新推荐文章于 2022-10-05 13:07:58 发布
最新推荐文章于 2022-10-05 13:07:58 发布
阅读量376 收藏
点赞数
分类专栏： Python # 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010132177/article/details/103232266
版权

一、概述

主要学习纲要：

1、sklearn数据集与估计器
2、分类算法-k近邻算法
3、k-近邻算法实例
4、分类模型的评估
5、分类算法-朴素贝叶斯算法
6、朴素贝叶斯算法实例
7、模型的选择与调优
8、决策树与随机森林

★★★机器学习步骤：

  1. 收集数据
  2. 准备输入数据
  3. 分析输入数据
  4. 训练算法
  5. 测试算法
  6. 使用算法

机器学习步骤详见：《机学零》——第六节：https://blog.csdn.net/u010132177/article/details/103232316

二、数据划分（第2步：准备数据）

数据一般要分成两类：

  1. 【训练集】用于训练模型（建立模型） ：一般占总数据比例：75%
  2. 【测试集】用于测试模型（评估模型） ：一般占总数据比例：25%

2.1 sklearn数据集

1、数据集划分
2、sklearn数据集接口介绍
3、sklearn分类数据集
4、sklearn回归数据集

2.1.1 数据集划分Api

sklearn.model_selection.train_test_split

2.1.2 sklearn数据集接口

【为什么要用sklearn数据集】：自己的准备的数据集不一定准确，不一定真实，而且费时费力，所以学习中可以使用sklearn现成的数据集；

sklearn.datasets：

  • 用于加载获取流行数据集
  • datasets.load_*()：获取小规模数据集，数据已包含在datasets里

datasets.fetch_*(data_home=None)：

  • 获取大规模数据集，需要从网络上下载，函数的第一个参数是data_home，表示数据集下载的目录,默认是 ~/scikit_learn_data/

2.1.2 获取数据集返回的类型

load* 和 fetch*

  1. 返回的数据类型：datasets.base.Bunch(即字典格式)

  2. data：特征数据数组，是 [n_samples * n_features] 的二维numpy.ndarray 数组

  3. target：标签数组，是 n_samples 的一维 numpy.ndarray 数组

  4. DESCR：数据描述

  5. feature_names：特征名,新闻数据，手写数字、回归数据集没有

  6. target_names：标签名,回归数据集没有

2.1.2-1 其中分类相关的数据集

1.sklearn.datasets.load_iris()

  • 加载并返回鸢尾花数据集
    在这里插入图片描述

2.sklearn.datasets.load_digits()

  • 加载并返回数字数据集
    在这里插入图片描述

【调用自带数据集代码实例】——分类型数据集：

from  sklearn.datasets import load_iris

li=load_iris() #实例化鸢尾花数据集
print('特征值：',li.data)
print('目标值：',li.target)
print('特征名：',li.feature_names)
print('数据描述：',li.DESCR)

'''结果：
特征值：共150行特征
 [[5.1 3.5 1.4 0.2]
 ...
 [6.2 3.4 5.4 2.3]
 [5.9 3.  5.1 1.8]]
 
目标值：共3类，150个目标数值
 [0 0 0...1 1 1...2 2 2]

特征名：4种特征名
 ['sepal length (cm)', 'sepal width (cm)', 'petal length (cm)', 'petal width (cm)']

数据描述：英文，主要描述数据的特征，目标，详细信息，略过
'''

2.2 数据集分割

sklearn.model_selection.train_test_split(*arrays, **options)

  • 【x】： 数据集的特征值
  • 【y】： 数据集的标签值
  • 【test_size】： 测试集的大小，一般为float
  • 【random_state】： 随机数种子,不同的种子会造成不同的随机采样结果。相同的种子采样结果相同。
  • 【return】： 训练集特征值，测试集特征值，训练标签，测试标签(默认随机取)

2.2.1【分割数据集代码示例】

from  sklearn.datasets import load_iris  #自带数据集模块
from sklearn.model_selection import train_test_split  #数据集分割模块

#【1】实例化鸢尾花数据集
li=load_iris()

#【2】数据集分割：分成训练集（x_train    y_trian_）；测试集（x_test   y_test）；注意返回数据顺序；
# 2.1 test_size=0.25，即：分割成测试集占25%，则训练集占比：75%；
x_train,x_test,y_trian,y_test=train_test_split(li.data,li.target,test_size=0.25)
print('训练集是：',x_train,y_trian)
print('测试集是：',x_test,y_test)

'''结果
训练集是（数量占比75%）：
		[[5.1 3.5 1.4 0.2]
		 ...
 		[6.2 3.4 5.4 2.3]
 		[5.9 3.  5.1 1.8]]
 		[0 0 0...1 1 1...2 2 2]
测试集是（数量占比25%）：略...
'''

2.3 用于分类的大数据集

sklearn.datasets.fetch_20newsgroups(data_home=None,subset=‘train’)

  • subset: ‘train’或’test’,‘all’，可选，选择要加载的数据集。训练集的“训练”，测试集的“测试”，两者的“全部”
  • data_home： 数据集下载后的存放目录

datasets.clear_data_home(data_home=None)

  • 清除目录下的数据

【大数据集调用代码例】——分类型大数据集《新闻类别》

from  sklearn.datasets import fetch_20newsgroups #引入自带大数据集模块

news = fetch_20newsgroups(data_home=r'E:\PycharmProjects\LearnMachine1\20newsbydate',subset='all')
print(news.data)
print(news.target)

运行会发很长时间下载数据集，这是一个新闻文章分类相关的数据集，后面会讲到

2.4 sklearn自带的 回归数据集

  1. sklearn.datasets.load_boston()
    - 加载并返回波士顿房价数据集
    在这里插入图片描述

  2. sklearn.datasets.load_diabetes()
    - 加载和返回糖尿病数据集
    在这里插入图片描述

【调用sklearn回归数据集示例】《波士顿房价》

from sklearn.datasets import load_boston #导入波士顿数据集包

boston_price=load_boston() #实例化
print('房价集特征名',boston_price.feature_names)
print('房价特征集',boston_price.data)
print('房价目标集',boston_price.target)
print('房价集描述：',boston_price.DESCR)

'''
房价集特征名 ['CRIM' 'ZN' 'INDUS' 'CHAS' 'NOX' 'RM' 'AGE' 'DIS' 'RAD' 'TAX' 'PTRATIO' 'B' 'LSTAT']
房价特征集 [[6.3200e-03 1.8000e+01 2.3100e+00 ... 1.5300e+01 3.9690e+02 4.9800e+00]...
房价目标集 [24.  21.6 34.7 33.4 36.2 28.7 22.9 27.1 16.5 18.9 15.  18.9 21.7 20.4...
房价集描述：(头尾略过)...
		Attribute Information (in order):
        - CRIM     per capita crime rate by town
        - ZN       proportion of residential land zoned for lots over 25,000 sq.ft.
        - INDUS    proportion of non-retail business acres per town
        - CHAS     Charles River dummy variable (= 1 if tract bounds river; 0 otherwise)
        - NOX      nitric oxides concentration (parts per 10 million)
        - RM       average number of rooms per dwelling
        - AGE      proportion of owner-occupied units built prior to 1940
        - DIS      weighted distances to five Boston employment centres
        - RAD      index of accessibility to radial highways
        - TAX      full-value property-tax rate per $10,000
        - PTRATIO  pupil-teacher ratio by town
        - B        1000(Bk - 0.63)^2 where Bk is the proportion of blacks by town
        - LSTAT    % lower status of the population
        - MEDV     Median value of owner-occupied homes in $1000's
      ...
'''

三、转换器

3.1数据集的标准化处理

回忆之前做特征工程的步骤？

  1. 实例化 (实例化的是一个转换器类(Transformer))
  2. 调用fit_transform(对于文档建立分类词频矩阵，不能同时调用)
【标准化转换图示】
数据集 ---fit_transform(X)--> 转换后的数据集
【相关单词】
  • fit： 适合
  • transform： 转型
  • preprocessing： 预处理
  • StandardScaler： 标准定标器
【标准化函数、库】
from sklearn.preprocessing import StandardScaler

单独使用：
StandardScaler().fit_transform([[1,3,5],[2,3,6]])

以下两个为一个整体：
fit()
transform()
【标准化代码示例】
from sklearn.preprocessing import StandardScaler #预处理：标准化数据集包

#fit_transform()是fit()，和transform()的组合，只要两步即可对数据进行转型
sta=StandardScaler() #【1】
ft=sta.fit_transform([[1,3,5],[2,3,6]]) #【2】
print('ft：',ft)

#fit()，transform()要3步都做才可对数据进行转型
sta2=StandardScaler() #【1】
sta2.fit([[1,3,5],[2,3,6]]) #【2】此处是不能直接输出任何结果的，输出会报错，它只做处理(计算平均值，⽅差等)不返回值
ft2=sta2.transform([[1,3,5],[2,3,6]]) #【3】此处才能返回值
print('ft2:',ft2)

'''结果
ft： [[-1.  0. -1.] [ 1.  0.  1.]]
ft2: [[-1.  0. -1.] [ 1.  0.  1.]]
'''

四、估计器——sklearn机器学习算法的实现Api

在sklearn中，估计器(estimator)是一个重要的角色，分类器和回归器都属于estimator，是一类【实现了算法的API】

  • 在估计器中有有两个重要的方法是fit和transform（用法见三）。
    • fit方法用于从训练集中学习模型参数 ：
    • transform用学习到的参数转换数据
      在这里插入图片描述

4.1估计器的工作流程

估计器的工作流程

1、调用fit： fit(x_train, y_train)

2、向预估器（estimator）输入测试集的数据

  1. y_predict = predict(x_test)
  2. 预测的准确率： score(x_test, y_test)

4.2 用于分类的估计器：

sklearn.neighbors	                        k-近邻算法
sklearn.naive_bayes                         贝叶斯
sklearn.linear_model.LogisticRegression     逻辑回归

4.3 用于回归的估计器：

sklearn.linear_model.LinearRegression     线性回归
sklearn.linear_model.Ridge                岭回归

五、总结

至此特征工程三大块已经学完，下面，回忆一下

特征工程三大部分：

  1. 特征抽取：https://blog.csdn.net/u010132177/article/details/102911543
  2. 特征预处理：https://blog.csdn.net/u010132177/article/details/102967662
  3. 特征降维：https://blog.csdn.net/u010132177/article/details/103155379
深蓝冰河
关注
专栏目录
研究生系统化入门教程（三）【机器学习】分类算法：数据集该如何划分/相关API；sklearn转换器和估计器；K近邻算法；模型选择和调优；朴素贝叶斯算法(条件概率与联合概率)（含案例代码）
追光者♂：记录、分享、总结、提升，现象级专栏《Python从入门到人工智能》作者，无惧黑暗，坚信曙光
09-23 40
知道数据集的分为训练集和测试集知道sklearn的转换器和估计器流程了解sklearn的分类、回归数据集说明K-近邻算法的距离公式说明K-近邻算法的超参数K值以及取值问题说明K-近邻算法的优缺点应用KNeighborsClassifier实现分类了解分类算法的评估标准准确率说明朴素贝叶斯算法的原理说明朴素贝叶斯算法的优缺点应用MultinomialNB实现文本分类应用模型选择与调优说明决策树算法的原理说明决策树算法的优缺点。
深度学习知识点全面总结
热门推荐
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 26万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
机器学习特征选择、开发流程、数据集划分、转换器与估计器
Tracy19970428的博客
07-21 615
机器学习特征选择、开发流程、数据集划分、转换器与估计器机器学习特征工程特征选择（降维）特征选择的原因特征选择的定义特征选择的三大方法过滤式：VarianceThresholdPCA（主成分分析）PCA目的PCA定义PCA代码实现机器学习的开发流程机器学习整体开发流程机器学习模型工作流程机器学习算法分类机器学习数据集划分数据集划分代码实现转换器与估计器转换器估计器估计器工作流程 机器学习特征工程 特征选择（降维） 特征选择的原因 冗余：部分特征的相关度高，容易消耗计算性能 噪声：部分特征对预测结果有负影响
《特征工程三部曲》之一：数据处理
jacky_zhuyuanlu的博客
10-23 1万+
要理解特征工程，首先要理解数据（Data）和特征（Feature）的概念概念 特征工程（Feature Engineering）其本质上是一项工程活动，它目的是最大限度地从原始数据中提取特征以供算法和模型使用。 特征工程在数据挖掘中有举足轻重的位置 数据领域一致认为：数据和特征决定了机器学习的上限，而模型和算法只能逼近这个上限而已。特征工程重要性：特征越好，灵活性越强； 特征越好，模型越简单
特征工程：转换器与估计器，估计器的工作原理
ck784101777的博客
07-12 530
目录 1.转换器与估计器 1_当转换器与估计器输入数据集不一致时 2_当省略估计器时会报错 3_其他估计器的API接口 4_估计器的工作流程 参考文章 1.转换器与估计器 fit_transform()这个函数实际分为两步 fit()：估计器，输入数据集后，先计算平均值，方差，标准差。 transform()：只有估计器工作后，才能进行数据转换 1_当转换器与估计器输入数据集不一致时 值得注意的是，当数估计器和转换器的输入数据集不一样时，转换器会以估计器输入的数据集来计算平均值和标.
文本分类任务特征工程和分类器介绍
欢迎光临啊噗不是阿婆主的酒馆
09-11 2053
文本分类任务基本框架 文本 特征工程：决定模型的上限 分类器：逼近模型的上限 类别 文本特征提取的主要方法分类 1. 经典文本特征——前人研究成熟理论 1). TF 词频 2). TFIDF 词频逆文档 3). Doc2vec 深度学习 词向量按位相加形成一个向量，或者拼接形成长向量 4). Word2vec 深度学习 2. 手工构...
2.5 2.6 特征工程与多项式回归
m0_55913152的博客
10-05 129
机器学习吴恩达自学笔记
数据预处理与特征工程—12.常见的数据预处理与特征工程手段总结
柳杰的博客
05-08 2290
文章目录引言1.数据预处理1.1 数据清洗1.1.1 异常值处理1.1.2 缺失值处理1.2 特征预处理1.2.1 数值型特征无量纲化1.2.1 连续数值型特征分箱1.2.1.1 无监督分箱法1.2.1.2 有监督分箱法 引言   数据预处理与特征工程包括Data PreProcessing（数据预处理）、Feature Extraction（特征提取）、Feature Selection（特征选择）和Feature construction（特征构造）等步骤 1.数据预处理   数据预处理又包括数据清洗与
数据挖掘：特征工程——特征提取与选择
AvenueCyy的博客
02-25 1万+
数据挖掘：特征工程——特征降维与选择 特征的处理和构建已经在上一篇特征处理和构建文章中有所总结。接来下对特征降维和选择进行说明。 一、什么是特征降维与特征选择？ 一般经过特征处理和生成后，会产生大量的特征，而这些特征中有的特征是很重要的，但不是每一项特征都对模型有用，因此，要将这类没用的特征剔除掉。所以，特征降维与特征选择的主要目的就是为了剔除无用的特征。 之前一直有个疑惑，既然特征降维与特征选择...
机器学习知识点全面总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
04-12 13万+
机器学习按照模型类型分为监督学习模型、无监督学习模型和概率模型三大类,文章对十大机器学习算法进行详细介绍并阐述机器学习其他概念问题，可作为机器学习初学者学习使用。
二分类数据集
01-13
目标检测算法数据集。。。。。。。。。。。。。。。。
多分类数据集
06-09
多分类数据集
分类测试的数据集
01-22
包括了一个可用于香蕉分类的数据及以及一个分三类的数据及，可用于初学者进行数据分类实验和测试
机器学习之转换器和估计器
Charles_TheGod的博客
11-23 2525
1️⃣、转换器 想一下之前做的特征工程的步骤？ 1 实例化 (实例化的是一个转换器类(Transformer)) 2 调用fit_transform(对于文档建立分类词频矩阵，不能同时调用) 我们把特征工程的接口称之为转换器，其中转换器调用有这么几种形式 fit_transform fit transform 实例化一个转换器 transfer = StandardScaler() ...
【Machine Learning】5.特征工程和多项式回归
m0_51371693的博客
09-22 1027
特征工程，使用线性回归机制来拟合非常复杂甚至非线性(存在xn)的函数。
常用分类数据集
Major_S的博客
01-03 6709
常用分类数据集常用分类数据集常用分类数据集 CIFAR系列
07-转换器与估计器
qq_34873298的博客
09-19 174
"""sklearn中 fit_transform()：输入数据，直接转换 =fit()：输入数据，不转换，可以计算平均值、方差等 +transform()：进行数据的转换，将数据转换成值 """ """转换器""" from sklearn.preprocessing import StandardScaler s = StandardScaler() data = s.fit...
pandas数据集数据类型划分II
RuGe_Lee的博客
03-06 1430
我们之前的blog写了一个函数，拿到了数据类型的分布。但是，在基于sklearn中的pipeline机器学习机制下，我们希望可以把数据集中的数据类型划分为以下几个部分： 1.含大量的空值的列（如一列中超过70%为空） 1.数值数据（numerical），并且不含大量的空值 2.低类别数的类别数据（categorical），如只含两类的类别数据，并且不含大量的空值 3.中等类别数的类别数据，如含3-10类的类别数据，并且不含大量的空值 4.高类别数的类别数据，可能类别接近于类似均匀，如一列中70%以
机器学习——特征工程
公众号：风景邮递Yuan的博客
09-07 3165
缺点就是倾向于选择冗余的特征，因为他们不当虑特征之间的相关性有可能某个特征的分类能力很差，但是它和某些其它特征组合起来会得到不错的效果。如果原始数据是表格数据，一般使用混合属性或者组合属性来创建新的特征，或是分解、切分原有的特征来创建新的特征。，封装器用选取的特征子集对样本集进行分类，分类的精度作为衡量特征子集好坏的标准，经过比较选出最好的特征子集。它的优点是考虑了特征与特征之间的关联性，缺点是当观测数据较少时容易过拟合，当特征数量较多时，计算时间会较长。特征提取目的是自动地构建新的特征，
四旋翼飞行器姿态估计：卡尔曼滤波与传感器融合
"四旋翼飞行器姿态估计方法的实施主要涉及对传感器数据的精确处理，以克服旋翼振动带来的测量误差。研究者采用卡尔曼滤波技术，将加速度计和陀螺仪的数据融合，以提升姿态估计的精度。这种方法旨在解决由载体振动...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值