学习笔记(3):自然语言处理--词向量视频教学(word embedding)-项目实战之utils模块中读取停用词方法编写

研发管理 专栏收录该内容
4 篇文章 0 订阅

立即学习:https://edu.csdn.net/course/play/9460/199584?utm_source=blogtoedu

# utils.py

import GrobalParament

# 去掉回车换行

def delete_r_n(line):

      return line.replace("\r","").replace("\n","").strip()

# 读取停用词

def get_stop_words(stop_words_dir):

      stop_word = []

      with open(stop_words_dir, "r", encoding = GrobalParament.encoding) as f_reader:

      for line in f_reader:

           line = delete_r_n(line)

           stop_words.append(line)

           stop_words = set(stop_words)

       retrun stop_words

if __name__ == "__main__": 

       stop_words = get_stop_words(GrobalParament.stop_word_dir)

       print(len(stop_words))

       print(stop_words[:20])

  • 0
    点赞
  • 0
    评论
  • 0
    收藏
  • 扫一扫,分享海报

参与评论 您还未登录,请先 登录 后发表或查看评论
©️2022 CSDN 皮肤主题:游动-白 设计师:我叫白小胖 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值