TF-IDF探秘

最新推荐文章于 2023-04-26 21:56:03 发布

maokunnn

最新推荐文章于 2023-04-26 21:56:03 发布

阅读量272

点赞数

分类专栏： DM 文章标签： NLP 文本挖掘

本文链接：https://blog.csdn.net/maokunnn/article/details/84949348

版权

本文探讨了TF-IDF的概念，其中TF代表词频，IDF是逆文档频率。介绍了IDF的计算公式，并讨论了当词未出现时的处理方式。文章还调研了相关工具，如结巴分词用于关键词提取，以及nlpc-wordrank进行Term重要性和主干分析。此外，提到了TfidfVectorizer在实际文本处理中的应用。

摘要由CSDN通过智能技术生成

1.TF:词频，IDF:逆文本概率。存在的文本个数越多，值越小。用户量改成pv？
2.IDF计算：IDF(x)=log(N/N(x)),N为文本总数，N(x)为包含x的文本数未出现的话，N(x)=0 ----》IDF(x)=log(N/(N(x)+1)

工具调研：
1）结巴分词 ok。同时可以进行关键词提取
2）nlpc-wordrank：Term重要性和主干分析。
Term重要性对组成query的term进行打分，并作归一化处理，所有term重要性之和为1。与idf不同的是，单term重要性利用了许多统计信息和query迭代算法，使同一query内部term间相对权值更具有可比性。单term重要性可用于检索系统的基础归并权值计算、query中心词提取、query省略等领域。

同一文本测试：
在这里插入图片描述

{
    "ret": 0, 
    "msg": "", 
    "content": {
        "nlpc_trunks_pb": [
            {
                "weight": 0.0760907, 
                "buffer": "易", 
                "rank": 1, 
                "reduce_type": 7, 
                "reserve": 0, 
                "term_level": 0, 
                "type": 0
            }, 
            {
                "weight": 0.0730944, 
                "buffer": "烊", 
                "rank": 1, 
                "reduce_type": 7, 
                "reserve": 0, 
                "term_level": 0, 
                "type": 0
            }, 
            {
                "weight": 0.128541, 
                "buffer": "千玺", 
                "rank": 2, 
                "reduce_type": 7, 
                "reserve": 0, 
                "term_level": 0, 
                "type": 0
            }, 
            {
                "weight": 0.0192157, 
                "buffer": "的", 
                "rank": 0, 
                "reduce_type": 2, 
                "reserve": 0, 
                "term_level": 0, 
                "type": 0
            }, 
            {
                "weight": 0.105014, 
                "buffer": "粉丝", 
                "rank": 1, 
                "reduce_type": 7, 
                "reserve": 0, 
                "term_level": 0, 
                "type": 0
            }, 
            {
                "weight": 0.0380482, 
                "buffer": "参加", 
                "rank": 1, 
                "reduce_type": 7, 
                "reserve": 0, 
                "term_level": 0, 
                "type": 0
            }, 
            {
                "weight": 0.017015, 
                "buffer": "了", 
                "rank": 0, 
                "reduce_type": 2, 
                "reserve": 0, 
                "term_level": 0, 
                "type": 0
            }, 
            {
                "weight": 0.107997, 
                "buffer": "生日", 
                "rank": 1, 
                "reduce_type": 7, 
                "reserve": 0, 
                "term_level": 0, 
                "type": 0
            }, 
            {
                "weight": 0.019413,