深度学习之文本特征值抽取

首先构建三个字符串：
str1="疫情之下，全球化的道路将得到更多支持票还是反对票？人类社将更渴求一个兼容并包、相互支撑、分工合作的共生体，还是各自封闭，在保护主义和单边主义的矫饰中饮鸩止渴？2020，突如其来的疫情对全球政治经济乃至文化都形成了剧烈冲击，从思想到行为，从理论到现实，都在呼唤人们对全球化道路予以更加深度而清醒的思考。"
str2 = "经济一体化和全球治理一直是世界政治经济秩序在国际层面的重要组成部分，在疫情不断扩散，又不断引发人类为了疫苗、治疗方案、物质生产及分配的道高一尺魔高一丈中，人们愈加发现：应对危机，人类社会更加迫切地需要某种程度的共同步调、齐心协力。从欧洲大陆，到中日韩与东盟，从联合国到公共卫生国际合作，疫情也为全球化提供了这样一个显见的答案——没有一个人或一个国家能独善其身，也没有任何任何个体可以真正摆脱他人而生存。"
str3 = "2020，本报专栏《环球论坛》的学者专家，为2020的国际大事件提供了从经济基础到国际政治上层建筑的多样视角，对全球化进行了更加鞭辟入里的分析。谁的全球化视野更开阔、道路更坚定，谁就拥有更光明的经济前景，更积极的抗疫成果。在以下文章中，我们可以看到这些观点"

这里首先导入一个模块：jieba,用它来进行分词：如不了解jieba的同学，可以参考该篇文章：https://www.cnblogs.com/aloiswei/p/11567616.html

---

调用jieba进行分词：

直接打印输出：其返回的是一个generator的迭代器：可以使用for将其遍历或使用list直接将其转换为list对象。这里我们使用list将其转换为list对象。

然后使用join将其转换为字符串，以空格分割如下：

进行文本抽取：

data = cv.fit_transform([c1,c2,c3])

代码：

def cutword():
    #进行分词  返回是一个生成器 可以直接使用list（）进行转换
    con1 = jieba.cut("疫情之下，全球化的道路将得到更多支持票还是反对票？人类社将更渴求一个兼容并包、相互支撑、分工合作的共生体，还是各自封闭，在保护主义和单边主义的矫饰中饮鸩止渴？2020，突如其来的疫情对全球政治经济乃至文化都形成了剧烈冲击，从思想到行为，从理论到现实，都在呼唤人们对全球化道路予以更加深度而清醒的思考。")
    con2 = jieba.cut("经济一体化和全球治理一直是世界政治经济秩序在国际层面的重要组成部分，在疫情不断扩散，又不断引发人类为了疫苗、治疗方案、物质生产及分配的道高一尺魔高一丈中，人们愈加发现：应对危机，人类社会更加迫切地需要某种程度的共同步调、齐心协力。从欧洲大陆，到中日韩与东盟，从联合国到公共卫生国际合作，疫情也为全球化提供了这样一个显见的答案——没有一个人或一个国家能独善其身，也没有任何任何个体可以真正摆脱他人而生存。")
    con3 = jieba.cut("2020，本报专栏《环球论坛》的学者专家，为2020的国际大事件提供了从经济基础到国际政治上层建筑的多样视角，对全球化进行了更加鞭辟入里的分析。谁的全球化视野更开阔、道路更坚定，谁就拥有更光明的经济前景，更积极的抗疫成果。在以下文章中，我们可以看到这些观点")

    print("conall--->",type(con1))
    # 转换成列表
    content1 = list(con1)
    content2 = list(con2)
    content3 = list(con3)
    print("content3--->", content3)
    # 把列表转换为字符串
    c1 = ' '.join(content1)
    c2 = ' '.join(content2)
    c3 = ' '.join(content3)
    print("c3--->", c3)

    return c1, c2, c3

def countvec():
    cv = CountVectorizer()
    c1,c2,c3 = cutword()
    j = cutword()

    print("*"*100)
    print(j,type(j))
    print("*" * 100)
    data = cv.fit_transform([c1,c2,c3])

    print(cv.get_feature_names())
    print(data.toarray())
    return None

if __name__ == "__main__":
    countvec()

输出：