本文介绍了如何使用TF-IDF算法来计算商品标签的权重。TF-IDF值反映了某个标签在单个商品中出现的频率以及在整个商品集合中的稀有程度，从而确定标签的重要性。通过循环计算，系统和用户共同参与标签的添加，以建立更精确的商品与标签关联。文章以商品1、商品2、商品3为例，展示了不同标签的权重计算过程，并指出在实际业务中，仅基于TF-IDF的权重可能不足，需要结合业务场景进行调整。最后提到了数据测试和技术选型的相关内容。
正文
简而言之：一个词语的重要性随着它在该文章出现的次数成正比，随它在整个文档集中出现的次数成反比。
标签信息是从标签库中获取，一方面是由系统完成，一方面由用户补充。
循环计算，所以有的标签可能不会被标记到商品上。
次数的确定，一方面由系统自动判断后增加，另一方面人为确认。
商品1 —> 标签A（5次）、标签B（2次）、标签C（1次）
商品2 —> 标签A（2次）、标签B（1次）
商品3 —> 标签A（1次）、标签C（3次）
用w(P,T)表示一个标签T被用于标记商品P的次数，用TF(P,T)表示这个标记次数在商品P所有标签中所占的比重
词频：TF(P,T)=w(P,T)/Σw(P,Ti)，即（该商品该标签出现的次数）/（该商品全部标签个数总和）
针对商品1的标签A的 TF(1,A)=5/(5+2+1)=0.625
相应的IDF(P,T)表示标签T在全部标签中的稀缺程度，即这个标签的出现几率。如果一个标签T出现几率很小，并且同时被用于标记某商品户，这就使得该商品与该标签T之间的关系更加紧密
逆向文件频率：IDF(P,T)=Σw(Pi,Ti)/Σw(Pi,T)) （全部商品全部标签和ÿ
最低0.47元/天 解锁文章
扫一扫
1585
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
