数据集的特征提取

最新推荐文章于 2024-02-29 11:32:23 发布
最新推荐文章于 2024-02-29 11:32:23 发布
阅读量779 收藏 4
点赞数 1
分类专栏： 机器学习 文章标签： scikit-learn 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42402817/article/details/133998110
版权

1、 特征提取

1.1、 将任意数据（如文本或图像）转换为可用于机器学习的数字特征

注：特征值化是为了计算机更好的去理解数据

  • 字典特征提取(特征离散化)
  • 文本特征提取
  • 图像特征提取（深度学习将介绍）

2 特征提取API

sklearn.feature_extraction

3、字典特征提取

作用：对字典数据进行特征值化

  • sklearn.feature_extraction.DictVectorizer(sparse=True,…)
    • DictVectorizer.fit_transform(X) X:字典或者包含字典的迭代器返回值：返回sparse矩阵
    • DictVectorizer.inverse_transform(X) X:array数组或者sparse矩阵 返回值:转换之前数据格式
    • DictVectorizer.feature_names_ 返回类别名称

3.1 、案例代码

from sklearn.feature_extraction import DictVectorizer

def dict_demo():
    """
    对字典类型的数据进行特征抽取
    :return: None
    """
    data = [{'city': '北京', 'temperature': 100}, {'city': '上海', 'temperature': 60}, {'city': '深圳', 'temperature': 30}]
    # 1、实例化一个转换器类
    transfer = DictVectorizer(sparse=False)
    # 2、调用fit_transform
    data = transfer.fit_transform(data)
    print("返回的结果:\n", data)
    # 打印特征名字
    print("特征名字：\n", transfer.feature_names_)

    return None


if __name__ == '__main__':
    dict_demo()

在这里插入图片描述
注意观察没有加上sparse=False参数的结果

transfer = DictVectorizer(sparse=True)

在这里插入图片描述
我们把这个处理数据的技巧叫做”one-hot“编码：
在这里插入图片描述
转化为：
在这里插入图片描述

4、 总结

对于特征当中存在类别信息的我们都会做one-hot编码处理。

5、文本特征提取

作用：对文本数据进行特征值化

  • sklearn.feature_extraction.text.CountVectorizer(stop_words=[])
    - 返回词频矩阵
  • CountVectorizer.fit_transform(X) X:文本或者包含文本字符串的可迭代对象 返回值：返回sparse矩阵
  • CountVectorizer.inverse_transform(X) X:array数组或者sparse矩阵 返回值:转换之前数据格式
  • CountVectorizer.get_feature_names_out() 返回值:单词列表
  • sklearn.feature_extraction.text.TfidfVectorizer
from sklearn.feature_extraction.text import CountVectorizer

def text_count_demo():
    """
    对文本进行特征抽取，countvetorizer
    :return: None
    """
    data = ["life is short,i like like python", "life is too long,i dislike python"]
    # 1、实例化一个转换器类
    # transfer = CountVectorizer(sparse=False)
    transfer = CountVectorizer()
    # 2、调用fit_transform
    data = transfer.fit_transform(data)
    print("文本特征抽取的结果：\n", data.toarray())
    print("返回特征名字：\n", transfer.get_feature_names_out())

    return None


if __name__ == '__main__':
    text_count_demo()

在这里插入图片描述

问题:如果我们将数据替换成中文？

from sklearn.feature_extraction.text import CountVectorizer

def text_count_demo():
    """
    对文本进行特征抽取，countvetorizer
    :return: None
    """
    data = ["人生苦短, 我学python", "人生太长, 我不喜欢python"]
    # 1、实例化一个转换器类
    # transfer = CountVectorizer(sparse=False)
    transfer = CountVectorizer()
    # 2、调用fit_transform
    data = transfer.fit_transform(data)
    print("文本特征抽取的结果：\n", data.toarray())
    print("返回特征名字：\n", transfer.get_feature_names_out())

    return None


if __name__ == '__main__':
    text_count_demo()

在这里插入图片描述

data = ["人生 苦短, 我 学 python", "人生 太长, 我 不喜欢 python"]

在这里插入图片描述
只有将中文手动按空格分开，才可以实现特征抽取。

6、jieba分词处理

  • jieba.cut()
    • 返回词语组成的生成器
    • 需要安装下jieba库

pip3 install jieba

对以下三句话进行特征值化

今天很残酷，明天更残酷，后天很美好，
但绝对大部分是死在明天晚上，所以每个人不要放弃今天。
我们看到的从很远星系来的光是在几百万年之前发出的，
这样当我们看到宇宙时，我们是在看它的过去。
如果只用一种方式了解某样事物，你就不会真正了解它。
了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系。

  • 分析
    • 准备句子，利用jieba.cut进行分词
    • 实例化CountVectorizer
    • 将分词结果变成字符串当作fit_transform的输入值
from sklearn.feature_extraction.text import CountVectorizer
import jieba


def cut_word(text):
    """
    对中文进行分词
    "我爱北京天安门"————>"我 爱 北京 天安门"
    :param text:
    :return: text
    """
    # 用结巴对中文字符串进行分词
    text = " ".join(list(jieba.cut(text)))

    return text


def text_chinese_count_demo2():
    """
    对中文进行特征抽取
    :return: None
    """
    data = ["一种还是一种今天很残酷，明天更残酷，后天很美好，但绝对大部分是死在明天晚上，所以每个人不要放弃今天。",
            "我们看到的从很远星系来的光是在几百万年之前发出的，这样当我们看到宇宙时，我们是在看它的过去。",
            "如果只用一种方式了解某样事物，你就不会真正了解它。了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系。"]
    # 将原始数据转换成分好词的形式
    text_list = []
    for sent in data:
        text_list.append(cut_word(sent))
    print(text_list)

    # 1、实例化一个转换器类
    # transfer = CountVectorizer(sparse=False)
    transfer = CountVectorizer()
    # 2、调用fit_transform
    data = transfer.fit_transform(text_list)
    print("文本特征抽取的结果：\n", data.toarray())
    print("返回特征名字：\n", transfer.get_feature_names_out())

    return None


if __name__ == '__main__':
    text_chinese_count_demo2()

结果：

Building prefix dict from the default dictionary ...
Dumping model to file cache C:\Users\superxqq\AppData\Local\Temp\jieba.cache
Loading model cost 0.540 seconds.
Prefix dict has been built successfully.
['一种 还是 一种 今天 很 残酷 ， 明天 更 残酷 ， 后天 很 美好 ， 但 绝对 大部分 是 死 在 明天 晚上 ， 所以 每个 人 不要 放弃 今天 。', '我们 看到 的 从 很 远 星系 来 的 光是在 几百万年 之前 发出 的 ， 这样 当 我们 看到 宇宙 时 ， 我们 是 在 看 它 的 过去 。', '如果 只用 一种 方式 了解 某样 事物 ， 你 就 不会 真正 了解 它 。 了解 事物 真正 含义 的 秘密 取决于 如何 将 其 与 我们 所 了解 的 事物 相 联系 。']
文本特征抽取的结果：
 [[2 0 1 0 0 0 2 0 0 0 0 0 1 0 1 0 0 0 0 1 1 0 2 0 1 0 2 1 0 0 0 1 1 0 0 1
  0]
 [0 0 0 1 0 0 0 1 1 1 0 0 0 0 0 0 0 1 3 0 0 0 0 1 0 0 0 0 2 0 0 0 0 0 1 0
  1]
 [1 1 0 0 4 3 0 0 0 0 1 1 0 1 0 1 1 0 1 0 0 1 0 0 0 1 0 0 0 2 1 0 0 1 0 0
  0]]
返回特征名字：
 ['一种' '不会' '不要' '之前' '了解' '事物' '今天' '光是在' '几百万年' '发出' '取决于' '只用' '后天' '含义'
 '大部分' '如何' '如果' '宇宙' '我们' '所以' '放弃' '方式' '明天' '星系' '晚上' '某样' '残酷' '每个'
 '看到' '真正' '秘密' '绝对' '美好' '联系' '过去' '还是' '这样']

但如果把这样的词语特征用于分类，会出现什么问题？

请看问题：

在这里插入图片描述
该如何处理某个词或短语在多篇文章中出现的次数高这种情况

7、 Tf-idf文本特征提取

  • TF-IDF的主要思想是：如果某个词或短语在一篇文章中出现的概率高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。
  • TF-IDF作用：用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。

7.1、公式

  • 词频（term frequency，tf）指的是某一个给定的词语在该文件中出现的频率
  • 逆向文档频率（inverse document frequency，idf）是一个词语普遍重要性的度量。某一特定词语的idf，可以由总文件数目除以包含该词语之文件的数目，再将得到的商取以10为底的对数得到。
    在这里插入图片描述
    最终得出结果可以理解为重要程度。

注：假如一篇文件的总词语数是100个，而词语"非常"出现了5次，那么"非常"一词在该文件中的词频就是5/100=0.05。而计算文件频率（IDF）的方法是以文件集的文件总数，除以出现"非常"一词的文件数。所以，如果"非常"一词在1,000份文件出现过，而文件总数是10,000,000份的话，其逆向文件频率就是lg（10,000,000 / 1,0000）=3。
最后"非常"对于这篇文档的tf-idf的分数为0.05 * 3=0.15

from sklearn.feature_extraction.text import TfidfVectorizer
import jieba


def cut_word(text):
    """
    对中文进行分词
    "我爱北京天安门"————>"我 爱 北京 天安门"
    :param text:
    :return: text
    """
    # 用结巴对中文字符串进行分词
    text = " ".join(list(jieba.cut(text)))

    return text


def text_chinese_tfidf_demo():
    """
    对中文进行特征抽取
    :return: None
    """
    data = ["一种还是一种今天很残酷，明天更残酷，后天很美好，但绝对大部分是死在明天晚上，所以每个人不要放弃今天。",
            "我们看到的从很远星系来的光是在几百万年之前发出的，这样当我们看到宇宙时，我们是在看它的过去。",
            "如果只用一种方式了解某样事物，你就不会真正了解它。了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系。"]
    # 将原始数据转换成分好词的形式
    text_list = []
    for sent in data:
        text_list.append(cut_word(sent))
    print(text_list)

    # 1、实例化一个转换器类
    # transfer = CountVectorizer(sparse=False)
    transfer = TfidfVectorizer(stop_words=['一种', '不会', '不要'])
    # 2、调用fit_transform
    data = transfer.fit_transform(text_list)
    print("文本特征抽取的结果：\n", data.toarray())
    print("返回特征名字：\n", transfer.get_feature_names_out())

    return None


if __name__ == '__main__':
    text_chinese_tfidf_demo()

结果：

Building prefix dict from the default dictionary ...
Loading model from cache C:\Users\superxqq\AppData\Local\Temp\jieba.cache
Loading model cost 0.531 seconds.
Prefix dict has been built successfully.
['一种 还是 一种 今天 很 残酷 ， 明天 更 残酷 ， 后天 很 美好 ， 但 绝对 大部分 是 死 在 明天 晚上 ， 所以 每个 人 不要 放弃 今天 。', '我们 看到 的 从 很 远 星系 来 的 光是在 几百万年 之前 发出 的 ， 这样 当 我们 看到 宇宙 时 ， 我们 是 在 看 它 的 过去 。', '如果 只用 一种 方式 了解 某样 事物 ， 你 就 不会 真正 了解 它 。 了解 事物 真正 含义 的 秘密 取决于 如何 将 其 与 我们 所 了解 的 事物 相 联系 。']
文本特征抽取的结果：
 [[0.         0.         0.         0.43643578 0.         0.
  0.         0.         0.         0.21821789 0.         0.21821789
  0.         0.         0.         0.         0.21821789 0.21821789
  0.         0.43643578 0.         0.21821789 0.         0.43643578
  0.21821789 0.         0.         0.         0.21821789 0.21821789
  0.         0.         0.21821789 0.        ]
 [0.2410822  0.         0.         0.         0.2410822  0.2410822
  0.2410822  0.         0.         0.         0.         0.
  0.         0.         0.2410822  0.55004769 0.         0.
  0.         0.         0.2410822  0.         0.         0.
  0.         0.48216441 0.         0.         0.         0.
  0.         0.2410822  0.         0.2410822 ]
 [0.         0.644003   0.48300225 0.         0.         0.
  0.         0.16100075 0.16100075 0.         0.16100075 0.
  0.16100075 0.16100075 0.         0.12244522 0.         0.
  0.16100075 0.         0.         0.         0.16100075 0.
  0.         0.         0.3220015  0.16100075 0.         0.
  0.16100075 0.         0.         0.        ]]
返回特征名字：
 ['之前' '了解' '事物' '今天' '光是在' '几百万年' '发出' '取决于' '只用' '后天' '含义' '大部分' '如何'
 '如果' '宇宙' '我们' '所以' '放弃' '方式' '明天' '星系' '晚上' '某样' '残酷' '每个' '看到' '真正'
 '秘密' '绝对' '美好' '联系' '过去' '还是' '这样']

总体下来：分类机器学习算法进行文章分类中前期数据处理方式

靓仔写sql
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【时间序列】数据集比较复杂的特征提取、特征选择
Fanjufei的博客
04-18 707
值得注意的是，HCTSA 不仅可以针对单变量的时间序列进行特征提取，还可针对多变量或者跨时间序列数据集进行特征提取。需要注意的是，在进行特征提取时，应该根据实际问题选择合适的特征和特征提取方法，并且要注意特征的数量和质量，过多或者过少的特征都可能影响最终结果。需要注意的是，由于 HCTSA 专注于大规模时间序列数据的分析，因此其特征提取方法和数学模型较为复杂，需要用户具备一定的数学和编程背景才能更好地使用该工具箱。全局特征描述子也是常用的特征提取方法，一般包括直方图特征、统计特征、形状特征等。
数据集特征提取_模式识别5-特征提取
weixin_39524703的博客
11-20 1542
一. 概述模式识别过程中，如果数据的维度较多，一方面可能是多个维度携带了同样的信息，一方面如果在数据集较大的情况下也会增加计算的时长，特征提取的意义在于通过合并相同的信息，达到降低维度的目的。二，主成分分析（Principal Components Analysis）定义：对于一个N维的数据空间，我们希望可以找到一个M（M < N）维的正交向量，让N映射过去后，还可以尽量多的保持原有数据空间...
（3-4）特征提取：特征抽取
码农三叔
02-29 1214
主成分分析（Principal Component Analysis，PCA）是一种线性降维方法，通过将数据投影到新的低维子空间，保留最大方差的特征，以实现维度降低和噪声削减。例如下面是一个使用PyTorch实现主成分分析（PCA）方法进行特征抽取的例子，本实例将使用PCA降低图像数据的维度，并使用降维后的数据训练一个简单的神经网络模型。下面是一个使用 PyTorch 构建自动编码器并保存模型的例子，展示了如何使用 PyTorch 构建自动编码器并保存模型，以及如何进行训练和数据加载的过程。
【NLP】特征提取: 广泛指南和 3 个操作教程 [Python、CNN、BERT]
sikh_0529的博客
11-07 5634
通过使用预先训练的 CNN 模型进行特征提取，您可以受益于该模型自动学习和捕获信息丰富的图像特征的能力。此外，随着 NLP 研究的不断发展，预训练的语言模型因其提供丰富的上下文嵌入的能力而受到欢迎，并显着提高了各种 NLP 任务的现有技术水平。深度学习模型，特别是用于图像数据的卷积神经网络 (CNN) 和用于文本等序列数据的循环神经网络 (RNN)，可以学习数据中复杂的模式和表示。总之，特征提取是数据预处理和机器学习的基本步骤，在提高模型的质量、可解释性和性能方面发挥着至关重要的作用。
特征提取介绍和方法
every place is the center of the universe
03-06 5730
特征变量相关性 1.计算相关系数 2.画出相关性热力图 3.根据相关系数筛选特征变量(适用于判别线性相关) 寻找K个与target变量最相关的特征变量（K) 然后找出与target变量的相关系数大于0.5的特征变量 4.使用树模型的特征重要性选择 4.Box-Cox变换 由于线性回归是基于正态分布的，因此在进行统计分析时，需要将数据转换使其符合正态分布 BoxˉCox变换是统计建模中常用的＿种数据转换方法°在连续的响应变量不满足正态分布时,可以使用BoxˉCox变换’这一变换可以使线性回归模型在满足线
从数据集中抽取特征
weixin_30532987的博客
06-01 960
大多数数据挖掘算法都依赖于数值或类别型特征，从数据集中抽取数值和类别型特征，并选出最佳特征。 特征可用于建模， 模型以机器挖掘算法能够理解的近似的方式来表示现实 特征选择的另一个优点在于：降低真实世界的复杂度，模型比现实更容易操纵 特征选择 scikit-learn中的VarianceThreshold转换器可用来删除特征值的方差达不到最低标准 的特征。 import numpy ...
波恩癫痫脑电数据集-脑电公开数据集
07-10
该数据集是由 5 个健康人和 5 个癫痫患者的脑电数据构成的，共包含有 5 个数据子集，分别是 F、S、N、Z、O。数据描述如表 2。波恩数据集为单通道数据集，其中每个子数据集都包含100个数据片段，每个数据片段的时间...
支持数据挖掘算法选择的数据集特征提取研究.pdf
07-14
支持数据挖掘算法选择的数据集特征提取研究.pdf
支持数据挖掘算法选择的数据集特征提取研究终稿.pdf
03-13
支持数据挖掘算法选择的数据集特征提取研究终稿.pdf
matlab 模式识别，对数据集进行特征提取，数据可视化
01-05
对数据集进行特征提取，数据可视化，之后进行分类（通过神经网络、决策树、随机森林）。对三个方法的准确率，精度，虚警率，召回率，进行对比。报告分类器不同参数，对分类效果的影响 对数据集进行特征提取，数据...
VOC数据集类别提取 VOC2007_test数据集类别提取.rar
04-08
VOC数据集类别提取 VOC2007test数据集20个类，对所有的数据进行了单类别提取，每个文件夹里包含一个类别的图片和对应标签，标签格式为VOC格式的xml和YOLO格式的txt
DEAP数据集的特征提取-近似熵、排列熵、样本熵.zip
11-17
基于DEAP数据集的特征提取———近似熵、排列熵、样本熵， 包含上述三个方法的python代码实现，全部在Jupyter Notebook上实现的
读多个数据集提取特征
06-06
本代码是读取数据集，可以同时读取多个文件，并提取你所需的特征
VOC数据集类别提取 VOC2007trainval_extra目标检测数据集.rar
04-08
VOC数据集类别提取 VOC2007tainval数据集20个类，对所有的数据进行了单类别提取，每个文件夹里包含一个类别的图片和对应标签，标签格式为VOC格式的xml和YOLO格式的txt
ppg-ecg预处理及特征提取
最新发布
03-11
②提取的特征包含 潮波幅值比h2/h1、重搏波幅值比h4/h1、收缩面积比S1/S、舒张面积比S2/S 主波高度h1、波形周期面积S、收缩期面积S1、舒张期面积S2、脉搏传导时间PWTT，采用ECG与之间脉搏渡越时间（也就是心脏动脉...
特征工程vs.特征提取
01-27
例如，如果类边界是一个对角线，那么树可能会在分类数据集上遇到麻烦，因为分类边界使用的是数据的正交分解（斜树除外）。其次，预测编码过程从问题的特定学科知识中受益最大。在我刚才列举的例子中，你需要了解数据...
深度学习笔记：利用预训练模型之特征提取训练小数据集上的图像分类器
热门推荐
chenxy_bwave的专栏
01-03 1万+
前面两篇我们分别进行了在不用数据增强和用数据增强技术的条件下在一个小数据集上训练一个小的卷积神经网络。采用数据增强可以获得相当程度的改善，但是由于原始数据集毕竟太小，所以很难达到90%的预测准确度。 本文我们将考虑如何在（已经在大数据集上训练过的）预训练模型的基础上，在小数据集上进一步训练得到最终模型的效果。
第二节、总结
Carl_changxin的博客
03-13 4344
下一节：探索数据https://blog.csdn.net/Carl_changxin/article/details/88533798 1、数据类型 1.1、属性和度量 1、属性和属性的测量标度 属性是对象的性质或特性 属性的测量标度是将数值或符号与对象的属性相关联的规则或函数 2、按性质对属性分类 通常将属性的类型称为测量标度的类型 属性通常会具有数值的一些性质，如相异性、...
数据集处理与特征提取的方法及工具介绍(from understanding natural language
禅与计算机程序设计艺术
10-02 703
作者：禅与计算机程序设计艺术 1.简介 自然语言处理（NLP）的研究主要集中在如何理解、生成和利用自然语言信息上。作为一种计算机科学技术，自然语言处理面临着极大的挑战，包括如分词、词性标注、句法分析、命名实体识别、机器翻译、问答系统、文本摘要等方面的复杂任务。为了解决这些问题，很多工作都涉及到“数据”的
MELD数据集特征提取
07-27
对于MELD数据集的特征提取，可以考虑以下几个方面： 1. 文本特征提取：可以使用词袋模型（Bag-of-Words）或者TF-IDF（Term Frequency-Inverse Document Frequency）来表示对话文本。这些方法将文本转换为向量表示，以便机器学习算法能够处理。 2. 情感特征提取：MELD数据集是一个情感对话数据集，因此可以使用情感分析技术来提取情感特征。可以使用预训练的情感分类器，如BERT、GloVe等，来预测对话中的情感类别。 3. 语音特征提取：MELD数据集还包含语音信号，可以使用声学特征提取算法来提取语音特征，例如MFCC（Mel-frequency cepstral coefficients）、Pitch等。 4. 非语言特征提取：除了文本和语音外，MELD数据集还包含了非语言的音频和视频信息。可以使用计算机视觉技术来提取视频特征，例如人脸表情、身体动作等。 综上所述，MELD数据集的特征提取可以结合文本、情感、语音和非语言信息进行处理，以获得更全面的特征表示。具体的特征提取方法可以根据具体任务和模型选择合适的算法和技术。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值