学习笔记(4):自然语言处理--词向量视频教学(word embedding)-项目实战之utils模块中分词方法封装

研发管理 专栏收录该内容
4 篇文章 0 订阅

立即学习:https://edu.csdn.net/course/play/9460/199585?utm_source=blogtoedu

# utils.py

import GrobalParament

# 去掉回车换行

def delete_r_n(line):

      return line.replace("\r","").replace("\n","").strip()

# 读取停用词

def get_stop_words(stop_words_dir):

      stop_word = []

      with open(stop_words_dir, "r", encoding = GrobalParament.encoding) as f_reader:

      for line in f_reader:

           line = delete_r_n(line)

           stop_words.append(line)

           stop_words = set(stop_words)

       retrun stop_words

# 结巴精准分词

def jieba_cut(content, stop_words):

      word_list = []

      if content != "" and content is not None:

      seg_list = jieba.cut(content)

      for word in seg_list:

           if word not in stop_words:

              word_list.append(word)

          return word_list

# 结巴搜索引擎分词

def jieba_cut_for_search(content, stop_words)

      word_list = []

      if content != "" and content is not None:

      seg_list = jieba.cut_for_search(content)

      for word in seg_list:

            if word not in stop_words:

               word_list.append(word)

        return word_list

if __name__ == "__main__": 

       stop_words = get_stop_words(GrobalParament.stop_word_dir)

       content = "我毕业于北京理工大学,现就职于中国科学院计算技术研究所。"

        word_list = jieba_cut(content,stop_words)

       print(word_list)

       word_list = jieba_cut_for_search(content, stop_words)

       print(word_list)

  • 0
    点赞
  • 0
    评论
  • 0
    收藏
  • 扫一扫,分享海报

©️2022 CSDN 皮肤主题:游动-白 设计师:我叫白小胖 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值