自然语言处理大纲

写在前面

这是清川在本科大三的寒假（2019.1）于某自然语言处理实验室实习的过程中的一系列实验记录，知识有限，文字粗疏，肉眼可见的有很多错误，希望大家指正！

当时没有任何神经网络的基础，决定和partner一起研究自动文本摘要领域，读到这篇经典论文后，决定复现论文中的TextSum模型。但在当时，网上除了Pavel Surmenok基本没人撰写过相关教程，都是在介绍，没人真正实验过。于是挑起重担，实验并撰写了一系列的文章，并在知乎上有个回答：

有那位大神使用过tensorflow-textsum来做文本摘要么？求指教？ - 清川的回答 - 知乎

当时跑出了模型，但都是<UNK>和重复单词，效果非常差，应网友要求，就将最后的工程放到了GitHub上：工程源码。当时实验室的环境体验上不太友好，有一些不太喜欢的冷战，而且我的方向又被孤立起来，没有和学长学姐充分展开交流，对这个领域的研究风格也不太喜欢，所以之后就不再从事自然语言处理相关研究，大家如果问我问题我可能也无力给出答案。

当前我本人将在上海交大完成博士生涯，重点关注边缘计算和移动计算，主要是深度学习模型在边缘端的部署，欢迎大家前来交流。我的个人网站在更新中，所以转战CSDN写一波文，我的联系方式在老站上有：网站传送门。

目录结构

文本摘要：Text Sum复现实验

• 自动文本摘要经典模型TextSum运行录（一）：开始尝试
• 自动文本摘要经典模型TextSum运行录（二）：数据处理
• 自动文本摘要经典模型TextSum运行录（三）：继续战斗
• 自动文本摘要经典模型TextSum运行录（四）：显卡环境
• 自动文本摘要经典模型TextSum运行录（五）：平均损失不下降

文本摘要：ROUGE评价工具

• ROUGE与PyROUGE的安装：非root权限的尝试与失败
• ROUGE与PyROUGE的安装：虚拟机上从头再来

病句标注：Difflib扩展工具自动标签

• Difflib扩展工具解决病句标注伪数据标记问题

命名实体识别：隐马模型笔记

• 未完待续