机器学习——英文特征提取，中文特征提取

最新推荐文章于 2022-06-06 09:09:36 发布

夏福生

最新推荐文章于 2022-06-06 09:09:36 发布

阅读量1.6k

点赞数

分类专栏：机器学习 Sklearn 人工智能文章标签：机器学习 sklearn 人工智能

本文链接：https://blog.csdn.net/harryxia2014/article/details/122666426

版权

本文展示了如何在Python环境下，利用sklearn库进行英文和中文的特征提取。通过DictVectorizer进行字典特征提取，CountVectorizer用于文本特征提取，并结合jieba进行中文分词。示例包括了从字典列表转换为特征矩阵，以及去除停用词（如“dislike”和“康辉”）的过程。

摘要由CSDN通过智能技术生成

环境：ubuntu20.10,python3.8

代码如下：

#coding:utf-8
from sklearn.feature_extraction import DictVectorizer, stop_words
from sklearn.feature_extraction.text import CountVectorizer
import jieba

def dict_demo():
    #""""
    #字典特征提取
    #:return:
    #""""
    data = [{"city":"北京","temperature":100},
            {"city":"上海","temperature":60},
            {"city":"深圳","temperature":30}]
    # 字典特征提取
    # 1、实例化
    #transfer = DictVectorizer()
    transfer = DictVectorizer(sparse=False)

    # 2、调用fit_transform
    trans_data = transfer.fit_transform(data)

    print("特征名字是：\n",transfer.get_feature_names())
    print(trans_data)

def english_count_text_demo():
    #"&#