学习笔记(5):自然语言处理--词向量视频教学(word embedding)-项目实战之utils模块中文本预处理方法编写

研发管理 专栏收录该内容
4 篇文章 0 订阅

立即学习:https://edu.csdn.net/course/play/9460/199586?utm_source=blogtoedu

# 清除不在词汇表中的词语

def clear_word_from_vocab(word_list,vocab):

     new_word_list = []

     for word in word_list:

          if word in vocab:

             new_word_list.append(word)

          return new_word_list

 

# 文本预处理

def preprocessing_test_pd(text_dir, after_process_text_dir,stop_words):

       stop_words = get_stop_words(stop_words_dir)

        sentences = []

        df = pd.read_csv(text_dir)

        for index, row in df.iterrows():

             print(index)

             title = delete_r_n(row['title'])

             word_list = jieba_cut(title,stop_words)

             df.loc[index, 'title'] = " ".join(word_list)

              sentences.append(word_list)

       df.to_csv(after_process_text_dir,encoding=GrobalParament.encoding)

return sentences

             

  • 0
    点赞
  • 0
    评论
  • 0
    收藏
  • 扫一扫,分享海报

©️2022 CSDN 皮肤主题:游动-白 设计师:我叫白小胖 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值