计算逆文本频率

最新推荐文章于 2024-06-13 22:53:19 发布

weixin_33827590

最新推荐文章于 2024-06-13 22:53:19 发布

阅读量370

点赞数

文章标签： python

原文链接：https://my.oschina.net/shea1992/blog/1604086

版权

2019独角兽企业重金招聘Python工程师标准>>>

/**
  * 计算逆文本频率idf(w)
  *
  * @param c
  */
def idf(c:String, mapGjbz:Seq[String]):Double = {
  var count = 0
  //trainMap.foreach(f => {
  mapGjbz.foreach(f => {
    if (f.contains(c)) {
      count += 1
    }
  })

  if (count == 0) {
    return 0
  }
  else {
    return math.log(mapGjbz.size.toDouble / count)
  }
}

转载于:https://my.oschina.net/shea1992/blog/1604086