机器学习 第二讲 Scikit-learn

最新推荐文章于 2021-10-18 16:51:24 发布
最新推荐文章于 2021-10-18 16:51:24 发布
阅读量2.6w 收藏 1
点赞数 1
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangyusir/article/details/115286596
版权

在这里插入图片描述

文章目录

一、Scikit-learn库介绍

在这里插入图片描述

1.Python语言的机器学习工具

2.Scikit-learn包括许多知名的机器学习算法的实现

3.Scikit-learn文档完善,容易上手,丰富的API

二、安装scikit-learn库：打开cmd命令行窗口

pip install scikit-learn -i https://pypi.douban.com/simple --trusted-host pypi.douban.com
在这里插入图片描述

三、数据的特征抽取

from sklearn.feature_extraction.text import CountVectorizer
vector = CountVectorizer()
res = vector.fit_transform([‘life is short,i like python’,‘life is too long’])
print(vector.get_feature_names())
print(res.toarray())

1.sklearn特征抽取API

sklearn.feature_extraction

# 数据的特征抽取
# 将一个文本转换为一串数字
from sklearn.feature_extraction.text import CountVectorizer

vector = CountVectorizer()
res = vector.fit_transform(['life is short,i like python','life is too long'])
print(vector.get_feature_names())
# ['is', 'life', 'like', 'long', 'python', 'short', 'too']
print(res.toarray())
# [[1 1 1 0 1 1 0]
#  [1 1 0 1 0 0 1]]

2.字典特征抽取

作用：对字典数据进行特征值化
sklearn.feature_extraction.DictVectorizer

# 字典特征抽取
from sklearn.feature_extraction import DictVectorizer


def dictvec():
    """
    字典数据抽取
    :return: None
    """

    dic = DictVectorizer()

    data = dic.fit_transform([{'city': '北京', 'temp': 30}, {'city': '上海', 'temp': 20}, {'city': '深圳', 'temp': 40}])

    # sparse矩阵
    print(data)
    '''
      (0, 1)	1.0
      (0, 3)	30.0
      (1, 0)	1.0
      (1, 3)	20.0
      (2, 2)	1.0
      (2, 3)	40.0'''
    print(dic.get_feature_names())
    '''['city=上海', 'city=北京', 'city=深圳', 'temp']'''


if __name__ == '__main__':
    dictvec()

3.文本特征抽取

作用:对文本数据进行特征值化
sklearn.feature_extraction.text.CountVectorizer

from sklearn.feature_extraction.text import CountVectorizer


def countvec():
    """
    对文本进行特征值化
    :return: None
    """
    cv = CountVectorizer()
    data = cv.fit_transform(['life is short,i like python', 'life is too long'])
    print(cv.get_feature_names())
    '''
    ['is', 'life', 'like', 'long', 'python', 'short', 'too']'''
    print(data)
    '''
      (0, 1)	1
      (0, 0)	1
      (0, 5)	1
      (0, 2)	1
      (0, 4)	1
      (1, 1)	1
      (1, 0)	1
      (1, 6)	1
      (1, 3)	1'''
    print(data.toarray())
    '''
    [[1 1 1 0 1 1 0]
     [1 1 0 1 0 0 1]]'''


if __name__ == '__main__':
    countvec()

4.jieba分词

import jieba
jieba.cut(“人生苦短,我用Python”)
words = ’ '.join(data)
print(words)
jieba分词的安装：pip install jieba -i https://pypi.douban.com/simple --trusted-host pypi.douban.com
在这里插入图片描述
在这里插入图片描述

5.案例-对三段话进行特征值化

1、今天很残酷，明天更残酷，后天很美好，但绝对大部分是死在明天晚上，所以每个人不
要放弃今天。
2、我们看到的从很远星系来的光是在几百万年之前发出的，这样当我们看到宇宙时，我们
是在看它的过去。
3、如果只用一种方式了解某样事物，你就不会真正了解它。了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系。

TF:term frequency 词的频率
IDF:Inverse document frequency 逆文档频率
Log:总文档数量/该词出现的文档数
TF*IDF:重要性程度
TF-IDF
TF-IDF的主要思想是：如果某个词或短语在一篇文章中出现的概率高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。
TF-IDF作用：用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。

import jieba
from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer

'''
1、今天很残酷，明天更残酷，后天很美好，但绝对大部分是死在明天晚上，所以每个人不要放弃今天。
2、我们看到的从很远星系来的光是在几百万年之前发出的，这样当我们看到宇宙时，我们是在看它的过去。
3、如果只用一种方式了解某样事物，你就不会真正了解它。了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系。
'''


def cutwords():
    s1 = jieba.cut('今天很残酷，明天更残酷，后天很美好，但绝对大部分是死在明天晚上，所以每个人不要放弃今天')
    s2 = jieba.cut('我们看到的从很远星系来的光是在几百万年之前发出的，这样当我们看到宇宙时，我们是在看它的过去')
    s3 = jieba.cut('如果只用一种方式了解某样事物，你就不会真正了解它。了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系')

    c1 = ' '.join(s1)
    c2 = ' '.join(s2)
    c3 = ' '.join(s3)

    return c1, c2, c3


def countvec():
    """
    对汉字进行特征值化
    :return:None
    """
    c1, c2, c3 = cutwords()
    cv = CountVectorizer()
    data = cv.fit_transform([c1, c2, c3])
    print(cv.get_feature_names())
    '''
    ['一种', '不会', '不要', '之前', '了解', '事物', '今天', '光是在', '几百万年', '发出', '取决于', '只用', '后天', '含义', '大部分', '如何', '如果', '宇宙', '我们', '所以', '放弃', '方式', '明天', '星系', '晚上', '某样', '残酷', '每个', '看到', '真正', '秘密', '绝对', '美好', '联系', '过去', '这样']'''
    print(data.toarray())
    '''
    [[0 0 1 0 0 0 2 0 0 0 0 0 1 0 1 0 0 0 0 1 1 0 2 0 1 0 2 1 0 0 0 1 1 0 0 0]
     [0 0 0 1 0 0 0 1 1 1 0 0 0 0 0 0 0 1 3 0 0 0 0 1 0 0 0 0 2 0 0 0 0 0 1 1]
     [1 1 0 0 4 3 0 0 0 0 1 1 0 1 0 1 1 0 1 0 0 1 0 0 0 1 0 0 0 2 1 0 0 1 0 0]]'''
    return None


def tfidfvec():
    c1, c2, c3 = cutwords()
    tf = TfidfVectorizer()
    data = tf.fit_transform([c1, c2, c3])
    print(tf.get_feature_names())
    '''
    ['一种', '不会', '不要', '之前', '了解', '事物', '今天', '光是在', '几百万年', '发出', '取决于', '只用', '后天', '含义', '大部分', '如何', '如果', '宇宙', '我们', '所以', '放弃', '方式', '明天', '星系', '晚上', '某样', '残酷', '每个', '看到', '真正', '秘密', '绝对', '美好', '联系', '过去', '这样']'''
    print(data.toarray())
    '''
    [[0.         0.         0.21821789 0.         0.         0.
      0.43643578 0.         0.         0.         0.         0.
      0.21821789 0.         0.21821789 0.         0.         0.
      0.         0.21821789 0.21821789 0.         0.43643578 0.
      0.21821789 0.         0.43643578 0.21821789 0.         0.
      0.         0.21821789 0.21821789 0.         0.         0.        ]
     [0.         0.         0.         0.2410822  0.         0.
      0.         0.2410822  0.2410822  0.2410822  0.         0.
      0.         0.         0.         0.         0.         0.2410822
      0.55004769 0.         0.         0.         0.         0.2410822
      0.         0.         0.         0.         0.48216441 0.
      0.         0.         0.         0.         0.2410822  0.2410822 ]
     [0.15698297 0.15698297 0.         0.         0.62793188 0.47094891
      0.         0.         0.         0.         0.15698297 0.15698297
      0.         0.15698297 0.         0.15698297 0.15698297 0.
      0.1193896  0.         0.         0.15698297 0.         0.
      0.         0.15698297 0.         0.         0.         0.31396594
      0.15698297 0.         0.         0.15698297 0.         0.        ]]
    '''
if __name__ == '__main__':
    # countvec()
    tfidfvec()

6.数据的特征预处理

1、特征处理的方法
2、sklearn特征处理API
特征处理是什么
通过特定的统计方法（数学方法）将数据转换成算法要求的数据

第一组：
在这里插入图片描述
特征处理方案
> 数值型数据-标准缩放：
1.归一化
2.标准化
3.缺失值
> 类别型数据:
1.one-hot编码
> 时间类型:
1.时间的切分

sklearn特征处理API
sklearn. preprocessing
归一化
特点：通过对原始数据进行变换把数据映射到(默认为[0,1])之间
公式：
在这里插入图片描述
作用于每一列，max为一列的最大值，min为一列的最小值,那么X’’为最终结果，mx，mi分别为
指定区间值默认mx为1,mi为0

归一化公式计算过程
在这里插入图片描述
注：里面是第一步，还需要第二步乘以(1-0)+0

sklearn归一化API
sklearn归一化API: sklearn.preprocessing.MinMaxScaler

MinMaxScalar(feature_range=(0,1)…) 每个特征缩放到给定范围(默认[0,1])

归一化步骤
1、实例化MinMaxScalar
2、通过fit_transform转换

问题
如果数据中异常点较多，会有什么影响？

标准化
特点：通过对原始数据进行变换把数据变换到均值为0,标准差为1范围内
在这里插入图片描述
结合归一化来谈标准化
在这里插入图片描述
对于归一化来说：如果出现异常点，影响了最大值和最小值，那么结果显然会发生改变
对于标准化来说：如果出现异常点，由于具有一定数据量，少量的异常点对于平均值的影响并不大，从而方差改变较小。

sklearn特征化API
sklearn特征化API: scikit-learn.preprocessing.StandardScaler
处理之后每列来说所有数据都聚集在均值0附近标准差为1

标准化步骤
1、实例化StandardScaler
2、通过fit_transform转换

归一化处理和标准化处理

# 归一化处理和标准化处理
from sklearn.preprocessing import MinMaxScaler, StandardScaler


def mms():
    """
    归一化处理
    :return:None
    """
    mm = MinMaxScaler(feature_range=(2, 3))  # 默认feature_range=(0,1)，一般不做修改
    data = mm.fit_transform([[90, 2, 10, 40], [60, 4, 15, 45], [75, 3, 13, 46]])
    print(data)
    '''
    [[3.         2.         2.         2.        ]
     [2.         3.         3.         2.83333333]
     [2.5        2.5        2.6        3.        ]]'''
    return None


def stand():
    """
    标准化处理
    :return:None
    """
    std = StandardScaler()
    data = std.fit_transform([[1., -1., 3.], [2., 4., 2.], [4., 6., -1.]])
    print(data)
    '''
    [[-1.06904497 -1.35873244  0.98058068]
     [-0.26726124  0.33968311  0.39223227]
     [ 1.33630621  1.01904933 -1.37281295]]'''
    return None


if __name__ == '__main__':
    mms()
    stand()

缺失数据的处理

'''
缺失数据的处理
1.删除
2.插补
'''
from sklearn.impute import SimpleImputer
import numpy as np


def im():
    """
    处理缺失数据
    :return: None
    """
    im = SimpleImputer(missing_values=np.nan, strategy='mean')

    li = [[1, 2], [np.nan, 3], [7, 9]]
    print(li)
    '''
    [[1, 2], [nan, 3], [7, 9]]'''
    data = im.fit_transform([[1, 2], [np.nan, 3], [7, 9]])
    print(data)
    '''
    [[1. 2.]
     [4. 3.]
     [7. 9.]]'''
    return None


if __name__ == '__main__':
    im()

四、数据的降维

数据的降维之特征选择
在这里插入图片描述

1.特征选择

特征选择
1.特征选择是什么？
2.sklearn特征选择API
3.其他特征选择方法

特征选择原因
冗余
部分特征的相关度高,容易消耗计算性能
噪声
部分特征对预测结果有影响

2.主成分分析

特征分析
特征？
羽毛颜色
眼睛宽度
是否有爪子
爪子长度
在这里插入图片描述

3.特征选择的主要方法

1.Filter(过滤式) VarianceThreshold
2.Embedded(嵌入式) 正则化、决策树
3.Wrapper(包裹式)

VarianceThreshold语法
VarianceThreshold(threshold = 0.0) 删除所有低方差特征

# 过滤式
from sklearn.feature_selection import VarianceThreshold

def var():
    """
    特征选择-删除低方差的特征
    :return: None
    """

    # 删除方差为0的特征
    var = VarianceThreshold(threshold=0.0)

    data = var.fit_transform([[0, 2, 0, 3], [0, 1, 4, 3], [0, 1, 1, 3]])
    '''
    [
    [0, 2, 0, 3], 
    [0, 1, 4, 3], 
    [0, 1, 1, 3]
    ]
    '''
    print(data)
    '''
    [[2 0]
     [1 4]
     [1 1]]'''
    return None


if __name__ == '__main__':
    var()

sklearn主成分分析API
sklearn.decomposition

PCA是什么
本质：PCA是一种分析、简化数据集的技术,特征数量达到上百的时候,考虑数据的简化
目的：是数据维数压缩，尽可能降低原数据的维数（复杂度），损失少量信息。
作用：可以削减回归分析或者聚类分析中特征的数量

from sklearn.feature_selection import VarianceThreshold
from sklearn.decomposition import PCA

def var():
    """
    特征选择-删除低方差的特征
    :return: None
    """
    # 删除方差为1的特征
    var = VarianceThreshold(threshold=1)
    data = var.fit_transform([[0, 2, 0, 3], [0, 1, 4, 3], [0, 1, 1, 3]])
    '''
    [
    [0, 2, 0, 3], 
    [0, 1, 4, 3], 
    [0, 1, 1, 3]
    ]
    '''
    print(data)
    '''
    [[0]
     [4]
     [1]]'''
    return None


def pca():
    """
    主成分分析进行数据降维
    :return:None
    """
    pca = PCA(n_components=0.9)
    data = pca.fit_transform([[2,8,4,5],[6,3,0,8],[5,4,9,1]])
    print(data)
    '''
    [[ 1.28620952e-15  3.82970843e+00]
     [ 5.74456265e+00 -1.91485422e+00]
     [-5.74456265e+00 -1.91485422e+00]]'''
    return None


if __name__ == '__main__':
    var()
    pca()

# 特征选择  主成分分析 特征比较多的时候用主成分分析

高纬度数据容易出现的问题
特征之间通常是相关的
数据：
(-1,-2)
(-1, 0)
( 0, 0)
( 2, 1)
( 0, 1)
要求：将这个二维的数据简化成一维？
在这里插入图片描述
在这里插入图片描述

通过公式计算
在这里插入图片描述
矩阵运算得出P为在这里插入图片描述
在这里插入图片描述

通过公式计算
在这里插入图片描述
PCA语法
PCA(n_components=None) 将数据分解为较低维数空间
在这里插入图片描述

加油小羽哥
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
《机器学习实战：基于Scikit-Learn、Keras和TensorFlow第2版》-个人学习笔记及代码
04-02
学习时的笔记及相关代码，...学习来源：Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow, 2nd Edition, by Aurélien Géron (O’Reilly). Copyright 2019 Aurélien Géron, 978-1-492-03264-9.
【版本安装】最新版本|还在开发的版本sklearn安装方式
向往有那么一天梦幻的步态识别落地，开花❀！
10-30 8130
对于有些还处在开发版本的库，我们是无法通过简单的pip调用的，比如sklearn的所有版本（2022.10.30）如下：
机器学习scikit-learn入门
GIS哼哈哈的博客
10-18 2685
1\证书，得签发给ip；也就是证书里面需要包含IP； 2\ 然后设置server和portal的webcontent的url. 3\portal进行联合server的时候，设置联合server：serviceURL和AdminURL使用IP的形式 注：无论如何，Enterprise涉及的这些节点上：无论是server和datastore，还是server和portal，还是要把ip和机器名的关系都用IP的形式写上 ...
sklearn库中找不到Imputer包问题
weixin_45609519的博客
05-07 4871
sklearn库中找不到Imputer包问题 问题描述： cannot import name ‘Imputer’ from 'sklearn.preprocessing’ 问题原因： sklearn库中不存在Imputer类 解决方法一： 0.22以上版本的sklearn去除了Imputer类，因此需要使用SimpleImputer类代替 库引用代码需改为： from sklearn.imp...
机器学习实战(用Scikit-learn和TensorFlow进行机器学习)(二)
02-24
本文来自于csdn，本文章主要对真实数据（csv表格数据）的查看以及如何正确的分开训练测试集进行实战操作，希望对您的学习有帮助。５、查看训练集的特征图像信息以及特征之间的相关性上一节粗略地查看了数据的统计...
机器学习系列6 使用Scikit-learn构建回归模型：简单线性回归、多项式回归与多元线性回归
04-26
在本机器学习系列的第六部分，我们将探讨如何使用Python中的Scikit-learn库来构建三种不同类型的回归模型：简单线性回归、多项式回归和多元线性回归。这些方法广泛应用于预测连续数值型数据，例如预测商品价格或销售...
解决ImportError: cannot import name ‘AipOcr‘ from ‘aip‘
热门推荐
yangyusir的博客
03-15 4万+
报错 ImportError: cannot import name ‘AipOcr’ from ‘aip’ 一、卸载相关的aip pip uninstall aip pip uninstall baidu-aip 二、重新安装baidu-aip pip install baidu-aip -i https://pypi.douban.com/simple --trusted-host pypi.douban.com ### 三、再运行程序 ...
InsecureRequestWarning: Unverified HTTPS request is being made to host ‘api.ai.qq.com‘. Adding
yangyusir的博客
03-15 4万+
1020: InsecureRequestWarning: Unverified HTTPS request is being made to host ‘api.ai.qq.com’. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings InsecureRequestWarning, 解决办法：
机器学习 第一讲 机器学习概述
yangyusir的博客
03-28 3万+
一、机器学习与应用 1.“人工智能之父”–艾伦.图灵 图灵测试（1950） 2.人工智能的知识图谱 二、AI,ML,DL的关系 1.机器学习是实现人工智能的一种方法,深度学习是机器学习一个分支 2.机器学习领域 自然语言处理 图像处理 传统预测 学习完之后可以干什么？ 图像处理 图像识别 图像处理 人脸识别 3.机器学习库和框架 4.什么是机器学习？ 机器学习是从数据中自动分析获得规律(模型),并利用规律对未知数据进行预测 5.为什么需要机器学习？ 5.1 解放生产力,智能客服 5.
机器学习 第三讲 机器学习基础、机器学习算法（K-近邻算法、朴素贝叶斯算法）
yangyusir的博客
04-07 2万+
第二讲 机器学习基础 机器学习开发流程 机器学习模型是什么 机器学习算法分类 明确几点问题 算法是核心,数据和计算是基础 找准定位 大部分复杂模型的算法设计都是算法工程师在做,而我们 > 分析很多的数据 > 分析具体的业务 > 应用常见的算法 > 特征工程、调参数、优化 我们应该怎么做 1.学会分析问题,使用机器学习算法的目的,想要算法完成何种任务 2.掌握算法基本思想,学会对问题用相应的算法解决 3.学会利用库或者框架解决问题 机器学习算法的判别依据 这两组数据的区别？ 数据类
线性回归和矩阵运算
yangyusir的博客
04-16 1万+
线性回归和矩阵运算和矩阵运算 一、线性回归 1.线性回归分析： 回忆回归问题的判定 目标值是连续的 2.回归问题能干什么？ 1.房价预测 2.贷款额度 房子数据： 编号 平方米 价格 1 60 126 2 72 151.2 3 75 157.5 4 80 168 5 83 174.3 6 87 180 7 90 192.2 8 93 194 from matplotlib import pyplot as plt plt.figure(figsize=
机器学习 第四讲 决策树和随机森林
yangyusir的博客
04-16 1万+
决策树和随机森林 一、认识决策树 决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-else结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法。 比如：你母亲要给你介绍男朋友，是这么来对话的： 女儿：多大年纪了？ 母亲：26。 女儿：长的帅不帅？ 母亲：挺帅的。 女儿：收入高不？ 母亲：不算很高，中等情况。 女儿：是公务员不？ 母亲：是，在税务局上班呢。 女儿：那好，我去见见。 二、信息论基础-银行贷款分析 银行贷款数据 你如何去划分是否能得到贷款？ 决策树的实际划分 g(D
Java面试整理，涵盖基础、JVM、线程并发、框架、MySQL、微服务、Redis、中间件、数据结构与算法等。陆续完善中.zip
07-31
Java面试整理，涵盖基础、JVM、线程并发、框架、MySQL、微服务、Redis、中间件、数据结构与算法等。陆续完善中
chromedriver-mac-x64_121.0.6167.184.zip
最新发布
07-31
chromedriver-mac-x64_121.0.6167.184.zip
【Java面试+Java技术文章汇总】 涵盖大部分Java程序员所需要掌握的核心知识。.zip
07-31
【Java面试+Java技术文章汇总】 涵盖大部分Java程序员所需要掌握的核心知识。
资源管理的艺术：使用MySQL用户资源配额优化性能
07-31
MySQL是一个流行的开源关系型数据库管理系统（RDBMS），广泛用于Web应用程序的后端数据存储。它基于结构化查询语言（SQL）来管理数据，并且是LAMP（Linux, Apache, MySQL, PHP/Python/Perl）技术栈的一部分，这个技术栈常用于构建动态网站和Web应用程序。 MySQL的特点包括： - **开放源代码**：MySQL的源代码是公开的，任何人都可以自由使用和修改。 - **跨平台**：MySQL可以在多种操作系统上运行，包括Linux、Windows、macOS等。 - **高性能**：MySQL以其快速的查询处理和良好的性能而闻名。 - **可靠性**：MySQL提供了多种机制来确保数据的完整性和可靠性，包括事务支持、备份和恢复功能。 - **易于使用**：MySQL提供了简单直观的界面和丰富的文档，便于用户学习和使用。 - **可扩展性**：MySQL支持从小型应用到大型企业级应用的扩展。 - **社区支持**：由于其广泛的使用，MySQL拥有一个活跃的开发者社区，提供大量的资源和支持。 MySQL被广泛应用于各种场景，包括在线事务处理（OL
机器学习实战：Scikit-Learn, Keras, TensorFlow 2nd Edition 概览
"《Hands-on Machine Learning with Scikit-Learn, Keras, TensorFlow, 2nd Edition》是关于机器学习实践的一本经典书籍，涵盖了Scikit-Learn、Keras和TensorFlow等工具的使用，特别指出该版本仅包含第一部分的前九...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值