ML学习笔记-2021-08-23-特征工程-特征提取

1. 字典特征抽取

from sklearn.feature_extraction import DictVectorizer
def sklearn_feature():
    data = [{'city': '北京', 'temperature': 100}, {'city': '北京2', 'temperature': 50},
            {'city': '北京3', 'temperature': 20}]
    # transfer = DictVectorizer(sparse=False)  # 大矩阵
    transfer = DictVectorizer(sparse=True)  # 减少内存, 自动过滤掉为0的值
    data_new = transfer.fit_transform(data)
    print("new data:", data_new)
    print("特征名字:", transfer.get_feature_names())
    return None

初始化一个转换器，参数Sparse为稀疏矩阵参数，若不采用稀疏矩阵时，类别过多，那么矩阵过大。 把类比进行one-hot编码
sparse为False

sparse为True

应用场景：
1）数据集中类别较多，将数据集特征转换成字典类型，然后再用DictVectorizer转换
1）数据集本身就是字典类型

2. 文本特征抽取

对文章进行分类，句子，单词，字母，等，一般把单词作为特征
特征：特征词

2.1 CountVectorizer

文章中的单词作为特征词，并不是出现的单词都做特征词

2.1.1 英文文本

from sklearn.feature_extraction.text import CountVectorizer,

def count_vector():  # 英文
    data = ["life is short, I like the python, I like the life",
            "life is too long, I dislike the python"]
    transfer = CountVectorizer()  # 统计样本出现特征词的次数
    data_new = transfer.fit_transform(data)

    print("特征词:\n", transfer.get_feature_names())
    print("new data:\n", data_new.toarray())
    print("new data(sparse):\n", data_new)
    return None

2.1.2 中文文本

若只将文本进行替换，则会出现下面情况
他不会识别单个词，这时候我要进行手动添加空格。

如下：

def count_vector_Chinese():  # 中文
    data = ["我 爱的 是 你, 你 却 不爱 我",
            "我 爱的 就是 你"]
    transfer = CountVectorizer(stop_words=[])  # 统计样本出现特征词的次数
    data_new = transfer.fit_transform(data)

    print("特征词:\n", transfer.get_feature_names())
    print("new data:\n", data_new.toarray())
    print("new data(sparse):\n", data_new)
    return None

stop_words为停用词，网上有专门的停用词表，就是那些对于分类没有意义的词。

实现自动分词的库-jieba，jieba.cut进行分词

import jieba
def separate_word(text):
    generator = jieba.cut(text)  # 分词生成器
    text_array = list(generator)  # 转换为列表
    final_text = " ".join(text_array) # 将字符串进行连接

    return final_text
    
def count_vector_jieba_Chinese():  # 中文自动分词
    data = ["统计学作为数据分析的入门知识，非常的重要，作为入门，必须要掌握描述性统计以及里面各类图表的应用场景和理解。"
            "而再深入到，如线性回归，贝叶斯，假设检验等，则是为以后成为高级数据分析师做铺垫，在未来做到建模和预测时，"
            "会用到很多这类知识，同时在未来进阶过程中，学习机器学习的一些经典算法时，也需要这些知识来帮助理解和学习。",

            "Excel作为数据分析的基础，是众多数据分析工具的入门工具，而且它的功能非常的强大，具有非常多的实用性，在快速处理一些数据，"
            "快速出图的时候，非常的灵活，也非常的便捷，其中也有很多的函数，包括max,min,average,find,match,vlookup等，"
            "可以非常灵活的查询数值或者进行统计分析，同时Excel的数据透视表功能也非常的强大，可以快速的选取所需元素进行分析。"
            "非常适合用来做快速的数据清洗，入门门槛低，而且实用性非常强"]
    new_data = []
    for element in data:
        sentence = jieba_tool.separate_word(element)
        new_data.append(sentence)

    transfer = CountVectorizer(stop_words=[])  # 统计样本出现特征词的次数
    data_new = transfer.fit_transform(new_data)

    print("特征词:\n", transfer.get_feature_names())
    print("new data:\n", data_new.toarray())
    print("new data(sparse):\n", data_new)
    return None

缺点：只根据出现次数来决定分类结果不合理
关键词：在某一个类别的文章中，出现的次数很多，但是在其他文章中出现的次数很少

2.1.2 TfidVectorizer

主要思想：

def TF_IDF():
    # TF: 某一个词在文本中的频率
    # IDF: 总文件数目除以包含改词语的文件数目, 再将得到的结果取10为底数的对数
    # TF-IDF = TF * IDF (前面两个相乘)
    data = ["统计学作为数据分析的入门知识，非常的重要，作为入门，必须要掌握描述性统计以及里面各类图表的应用场景和理解。"
            "而再深入到，如线性回归，贝叶斯，假设检验等，则是为以后成为高级数据分析师做铺垫，在未来做到建模和预测时，"
            "会用到很多这类知识，同时在未来进阶过程中，学习机器学习的一些经典算法时，也需要这些知识来帮助理解和学习。",

            "Excel作为数据分析的基础，是众多数据分析工具的入门工具，而且它的功能非常的强大，具有非常多的实用性，在快速处理一些数据，"
            "快速出图的时候，非常的灵活，也非常的便捷，其中也有很多的函数，包括max,min,average,find,match,vlookup等，"
            "可以非常灵活的查询数值或者进行统计分析，同时Excel的数据透视表功能也非常的强大，可以快速的选取所需元素进行分析。"
            "非常适合用来做快速的数据清洗，入门门槛低，而且实用性非常强"]
    new_data = []
    for element in data:
        sentence = jieba_tool.separate_word(element)
        new_data.append(sentence)

    transfer = TfidfVectorizer(stop_words=["一些", "众多"])
    data_new = transfer.fit_transform(new_data)
    print("特征词:\n", transfer.get_feature_names())
    print("new data:\n", data_new.toarray())
    print("new data(sparse):\n", data_new)
    return None