特征选择之词频

最新推荐文章于 2022-10-09 18:24:44 发布
最新推荐文章于 2022-10-09 18:24:44 发布
阅读量1.7k 收藏
点赞数
分类专栏： 特征选择
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dreamzk/article/details/10068201
版权
博客探讨了在文本分析中使用词频作为特征选择的方法。介绍了Vector Space Model的概念，并以sogou实验室的语料数据为例，展示了词频如何反映文档主题。同时指出词频方法的局限，如不相关词汇的出现，并提出通过去除高频停用词来优化特征选择，以提高主题区分度。
摘要由CSDN通过智能技术生成

 ###############国庆基本一个人渡过，无聊研究下特征算则算法，以备后用###############


    不管对文档分类还是聚类，特征化的表述一个文档，让计算机理解这篇文档说的是什么都是最重要的一个任务，那么用什么东西去表达这样一个非结构化的文档最为合适呢？ Gerard Salton 在1969年提出的Vector Space Model-空间向量模型得到了广泛的应用，这是一个用来表示文本文件的代数模型，向量中每一维都是代表一个词的信息。 那么在表达一个文本的时候选择那些词？ 下面介绍一个最简单的筛选方法——词频。

     词频——一个词在一个文档中出现的次数，这是一个很简单但是又非常实用的东西，比如常常能从一个嘴里听到基金，股票，交易，大盘，涨幅，加仓等这些词，那么基本可以断定这个人是一个搞金融的人，或者这个人是一个股票研究爱好者。所以直观的表达一个文本可以通过各个词在文章中出现的频次。

      以sogou实验室提供的语料数据为例，选取了金融，IT产品，体育，娱乐，股票这五类的文档，每种类型的文档数如下：

20026   business.sohu.com

144435  product.it.sohu.com

36964   sports.sohu.com

32132   stock.sohu.com

1208

最低0.47元/天 解锁文章
北斗之首
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
语料中筛选出英文单词并统计词频，正则切割匹配
wanghuafeng
10-31 1760
#coding:utf-8 import re import os import time import codecs PATH = os.path.dirname(__file__) s = u'what a Beautiful woRld'.lower() pattern = re.compile(u'[^a-z]+', re.U)#在非英文出进行切割 for con in pattern
文本分类（2）——取特征词构建词典
_年_
01-17 4493
https://blog.csdn.net/han_xiaoyang/article/details/50629608 真的是看的我神志模糊，方法多，弄不清都是干什么的。。 个人理解TF-IDF和CHI就相当于对词袋模型的一种改进，不是单纯的算出现次数 那么贝叶斯是怎么实现TF-IDF这些么？？毕竟他不是概率啊。。 001 常见词向量表达 https://blog.csdn.net/sina...
Tfidf词频计算
05-28
基于tf idf的文档集关键词提取 已经含有测试文档集 可以替换成任意需要的文档集 可以自己提供字典
文本特征提取_03：基于词频数的文档向量CountVectorizer
【人工智能】王小草的博客
01-20 4073
王小草SparkML笔记笔记整理时间：2017年1月10日 笔记整理者：王小草1. 基于词频数的文档向量在文本特征提取_01和02中分别介绍了TF-IDF文档矩阵和基于神经网络的word2vec词嵌入矩阵。本文我们要介绍的是一个非常基础非常简单的文档向量表征。做过LDA的小伙伴知道对于文档的特征，它只需要每个词在该文档中出现的频数即可。因此简单而言，根据频数（token counts)可以将一个文
文本特征提取和向量化
qq_27009517的博客
05-21 6023
转自：https://fancoo.wordpress.com/2016/03/09/三-文本特征提取和向量化/在(二)中，我已经能获取每个词条在百度搜索下的结果。我将所有的可疑词条的百度搜索结果保存为文件。每一行文本是一个词条的搜索结果。例如，我有728个可以词条，那么我将保存728行文本，现在我们要提取出每一行文本中的特征词。接下来的操作依次是：标记正负样本并下载它们的全部文本对文本进行分词通...
论文研究-结合类词频的文本特征选择方法的研究.pdf
07-22
在分析现有特征选择方法的基础上，引入类词频概念，建立“文档—类—词”立方体。实验表明，这样的立方体模型能更全面、更客观刻画特征的本质，兼顾了特征的类内分散度更平均、类间集中度更集中。结合类词频选择的...
基于分词频的特征选择算法在文本分类中的计算机软件研究.docx
10-01
本文主要探讨了基于分词频的特征选择算法在文本分类中的应用，这是一种优化文本分类效率和准确性的策略。 首先，文本分类技术通常包括几个步骤：文本预处理、降维、特征加权、构建分类器以及分类性能评估。预处理...
基于词频与词位置信息的混合式文本特征选择方法软件工程分析.docx
10-01
基于词频与词位置信息的混合式文本特征选择方法旨在优化传统词袋模型的不足，如忽略语义依赖和高维问题。这种混合方法首先考虑词频，词频反映了词语在文档中的重要性，高频率词汇通常与文档主题紧密相关。通过分析...
文本特征选择的关键算法总结
panjiao119的博客
12-07 731
一、特征词选择与特征词权重关系   开始学文本分类的时候经常要搞晕特征词选择和特征词权重 这两个东西，因为两者都要进行量化，很容易认为特征词选择就是计算权重，因此我认为有必要先搞清楚这两个概念。 两者的区别 ：特征词选择是为了降低文本表示的维度，而特征词权重是为了表示文本表示中每一个特征项的重要程度。 特征词的选择算法 有：文本特征选择的算法有基
语义的特征提取及简单词频展示(WordCloud)
yanpenggong的博客
12-02 2378
对于语句分析，以及词云展示，具体代码如下： # coding=utf-8 import jieba import numpy import pandas as pd from wordcloud import WordCloud import matplotlib.pyplot as plt # 将三个句子用jieba.cut处理 content1 = jieba.lcut("今天很残酷，明天更...
NLP—词频特征向量
令狐公子的博客
05-20 4848
词向量、TF-IDF值词向量都没有考虑单词的上下文关系，而仅仅考虑词的权重，即单词出现的频率。虽然丢失了一部分语义信息，但是在面临聚类、分类等问题时，这种词向量方法表现也不错。下面代码例子中，首先利用docs中出现的单词构建字典，然后把每句话转化为词向量形式。有些单词"I"、"is"属于停用词，不参加词频统计。同时词向量中包含大量0值，所以我们的矩阵通常是十分稀疏的。当词向量特征矩阵十分巨大时可以...
py库： jieba （中文词频统计） 、collections （字频统计）、WordCloud （词云）
weixin_30685047的博客
10-19 269
py库： jieba （中文词频统计） 、collections （字频统计）、WordCloud （词云） 先来个最简单的： # 查找列表中出现次数最多的值 ls = [1, 2, 3, 4, 5, 6, 1, 2, 1, 2, 1, 1] ls = ["呵呵", "呵呵", "呵呵", "哈哈", "哈哈", "拉拉"] y ...
Python——弹幕词频统计及其文本分析（绘制词云）（含源代码）
最新发布
m0_56134806的博客
10-09 7530
利用python数据结构（list, dict, set等）完成简单的文本分析任务。弹幕是现下视频网站，尤其是短视频网站提供的关键功能之一。以B站为例，其有着特殊的弹幕文化，且在视频的不同部分往往会有不同话题的弹幕：比如在视频开头会出 现“来啦”“x小时前”“第一!”;在up主暗示一键三连之后常常会出现“下次一定”或者“你币有 了”;和up主建立默契之后，观众可以判断视频是否有恰饭，往往在广告之前会出现“要素察 觉”“恰饭”“快跑”等等。
总结 | 常用文本特征选择
AI深入浅出
12-29 6291
在机器学习中，特征属性的选择通常关系到训练结果的可靠性，一个好的特征属性通常能起到满意的分类效果。凡是特征选择，总是在将特征的重要程度量化后再进行选择，而如何量化特征的重要性，就成了各种方法间最大的不同。接下来就介绍如何有效地进行文本的特征属性选择。文本分类作为一种有效的信息检索和信息过滤的关键技术，能按预定义的类别将待分类的文本进行归类。文本分类中常用到向量空间模型（VSM），然而高维的向量空间
特征选择----TF*IDF
zhourunan
07-24 1380
TF*IDF TF 称为词频，表示词在一篇文档中出现的频率=词在该文档中出现的次数 / 该文档中单词的总数---TF越大，表示该词对文档越重要 DF称为文档频率，一个词在多少篇文章中出现过 IDF 称为逆文档频率=Ln（总文档数/出现该次的文档数） 反映了一个词在所有文档中出现的频率，如果一个词在很多文档中出现，那么它的IDF值较低；如果一个词在比较少的文档中出现，那么它的IDF值较高。如...
输出词频前十的单词
qq_34755987的博客
12-15 694
  In [3]: #去掉特殊符号 def replacePunctuations(line): for ch in line: if ch in ',./<>?;\:"|[]{}`~!@#$%^&*()_+=-"': line=line.replace(ch," ") return li...
NLP︱句子级、词语级以及句子-词语之间相似性（相关名称：文档特征、词特征、词权重）
热门推荐
素质云笔记
08-10 4万+
关于相似性以及文档特征、词特征有太多种说法。弄得好乱，而且没有一个清晰逻辑与归类，包括一些经典书籍里面也分得概念模糊，所以擅自分一分。 —————————————————————————————————————————————— 一、单词的表示方式 1、词向量       词向量是现行较为多的方式，另外一篇博客已经写了四种词向量的表达
聚类特征选择算法全解析
对于文本数据，特征选择常常涉及到词频（TF）、逆文档频率（IDF）、TF-IDF、卡方统计量等。TF-IDF是文本挖掘领域广泛应用的特征表示方法，它可以量化词汇的重要性。卡方统计量则用于评估特征与类别的独立性。此外，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值