特征提取-特征工程

最新推荐文章于 2024-03-30 14:58:55 发布

herry57

最新推荐文章于 2024-03-30 14:58:55 发布

阅读量531

点赞数

分类专栏：数学建模文章标签：机器学习 python 人工智能

本文链接：https://blog.csdn.net/herry57/article/details/125395656

版权

数学建模专栏收录该内容

23 篇文章 9 订阅

订阅专栏

本文详细介绍了如何使用Python的sklearn库进行字典、英文文本和中文文本的特征提取，包括DictVectorizer、CountVectorizer在数据预处理中的关键作用。通过实例展示了如何将非结构化文本转化为机器学习可用的数字特征，并揭示了不同文本类型特征提取的技巧和停用词设置。

摘要由CSDN通过智能技术生成

1.定义

将任意数据（如⽂本或图像）转换为可⽤于机器学习的数字特征

2.字典特征提取

from sklearn.feature_extraction import DictVectorizer
data = [{'city': '北京','temperature':100}, 
    {'city': '上海','temperature':60}, 
    {'city': '深圳','temperature':30}]
    transfer=DictVectorizer(sparse=False)
    new_data=transfer.fit_transform(data)
    print(new_data)
    #获取属性名
    names=transfer.get_feature_names()
    print("属性的名字：\n",names)

结果：[[ 0. 1. 0. 100.] #0.1.0代表北京
[ 1. 0. 0. 60.]
[ 0. 0. 1. 30.]]

['city=上海', 'city=北京', 'city=深圳', 'temperature']

data = [{'city': '北京','temperature':100}, 
    {'city': '上海','temperature':60}, 
    {'city': '深圳','temperature':30}]
    transfer=DictVectorizer(sparse=True) #节省空间，读取效率提高
    new_data=transfer.fit_transform(data)
    print(new_data)
    #获取属性名
    names=transfer.get_feature_names()
    print("属性的名字：\n",names)

(0, 1) 1.0
(0, 3) 100.0
(1, 0) 1.0
(1, 3) 60.0
(2, 2) 1.0
(2, 3) 30.0 #描述一的位置

3.英文⽂本特征提取

    from sklearn.feature_extraction.text import CountVectorizer
    data=["life is short,i like like python", "life is too long,i dislike python"]
    transfer=CountVectorizer(stop_words=["is"]) #不统计is
    new_data=transfer.fit_transform(data)
    print(new_data.toarray()) #单个单词和符号不做统计
    print("特征名字：\n",transfer.get_feature_names())

结果：[[0 1 2 0 1 1 0]
[1 1 0 1 1 0 1]]

['dislike', 'life', 'like', 'long', 'python', 'short', 'too']

4.中文⽂本特征提取

from sklearn.feature_extraction.text import CountVectorizer
import jieba

def cut_word(text):
    """
    对中文进行分词
    "我爱北京天安门"————>"我 爱 北京 天安门"
    :param text:
    :return: text
    """
    # 用结巴对中文字符串进行分词
    text = " ".join(list(jieba.cut(text)))

    return text

def text_chinese_count_demo2():
    """
    对中文进行特征抽取
    :return: None
    """
    data = ["一种还是一种今天很残酷，明天更残酷，后天很美好，但绝对大部分是死在明天晚上，所以每个人不要放弃今天。",
            "我们看到的从很远星系来的光是在几百万年之前发出的，这样当我们看到宇宙时，我们是在看它的过去。",
            "如果只用一种方式了解某样事物，你就不会真正了解它。了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系。"]
    # 将原始数据转换成分好词的形式
    text_list = []
    for sent in data:
        text_list.append(cut_word(sent))
    print(text_list)

    # 1、实例化一个转换器类
    # transfer = CountVectorizer(sparse=False)
    transfer = CountVectorizer() #这块可以查看停用词，来限制
    # 2、调用fit_transform
    data = transfer.fit_transform(text_list)
    print("文本特征抽取的结果：\n", data.toarray())
    print("返回特征名字：\n", transfer.get_feature_names())

    return None

if __name__ == '__main__':
    text_chinese_count_demo2()

结果：['一种还是一种今天很残酷，明天更残酷，后天很美好，但绝对大部分是死在明天晚上，所以每个人不要放弃今天。', '我们看到的从很远
星系来的光是在几百万年之前发出的，这样当我们看到宇宙时，我们是在看它的过去。', '如果只用一种方式了解某样事物，你就不会真正
了解它。了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系。']
文本特征抽取的结果：
[[2 0 1 0 0 0 2 0 0 0 0 0 1 0 1 0 0 0 0 1 1 0 2 0 1 0 2 1 0 0 0 1 1 0 0 1
0]
[0 0 0 1 0 0 0 1 1 1 0 0 0 0 0 0 0 1 3 0 0 0 0 1 0 0 0 0 2 0 0 0 0 0 1 0
1]
[1 1 0 0 4 3 0 0 0 0 1 1 0 1 0 1 1 0 1 0 0 1 0 0 0 1 0 0 0 2 1 0 0 1 0 0
0]]

返回特征名字：
['一种', '不会', '不要', '之前', '了解', '事物', '今天', '光是在', '几百万年', '发出', '取决于', '只用', '后天', '含义', '大部分', '如何', '如果', '宇宙', '我们', '所以', '放弃', '方式', '明天', '星系', '晚上', '某样', '残酷', '每个', '看到', '真正', '秘密', '绝对', '美好', '联系', '过去', '还是', '这样']