Sun_Raiser的博客

NLP 处理文本解决emoji、特殊文字和空白符问题爬虫爬取的文本中包含一些不需要的，例如空字符和emoji等。在 写入csv文件时，终端报错如下：UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘\u200b’ in position 7: illegal multibyte sequence空白符问题如何移除文本中不可见的字符，例如 \u200b是一个无法在txt文本显示的字符。手动删除也删不掉。def remove_uppr

使用gensim实现中文主题分类。我的环境是jupyter notebook。更多API查看 [官网](https://radimrehurek.com/gensim/)以下是我的程序及文件。文件目录```shellE:.├─.ipynb_checkpoints├─assets└─out ```> assets 模型训练需要使用的文件> out 模型训练输出的文件> 包括数据可视化和日志文件等等