谈谈我在自然语言处理进阶上的一些个人拙见

导读

自然语言处理这个方向我感觉已经泛滥了，很多方向的人都开始转向该专业，当然也包括转向计算机视觉的。之前我写过一篇文章

谈谈我在自然语言处理入门的一些个人拙见

对很多人有过帮助，我感到很开心。但是现在已经不同往日了，很多人早已经入门了。当然，如果你已经进阶了，就忽略这个文章吧。嘿嘿。很多人通过微信，公众号等问我：现在已经看完深度学习视频了，我该怎么办？或者我早已经写完分类器了，接下来怎么办？等等。

我就不一一解答了，其实我也很不好意思解答的，因为我自己现在也没啥成就，研究生3个多月了，论文还木有idea。。啊。我自己都头疼。但是，我可以通过自己，和身边师兄师姐，以及导师的经验来给大家说说。

 

放下书，动手实践

我导师是最不推荐看书的，当然我刚开始还是反对的，但是时间长了，觉得说的确实很对，很多资料网上都会有。而且，看书也有个问题，你虽然可以系统的学，但是有些东西你一般不会用到的，这就导致时间长了，你不用，你就忘了。其实你目前的知识已经可以了，你了解了深度学习，早就把CNN，RNN（LSTM等变形）懒熟于心，听都听烦了。其实基础已经可以了。该动手实践了。咳咳，马克思说过，实践是检验真理的唯一途径。是吧。

 

灵活掌握各种常用模型

那么怎么实践呢？我的建议是从学会玩模型开始。当然你有更好的方法，更好。

简单的CNN你已经会了，你应该知道咱们通常用的是单通道的CNN，那么你会写多通道的吗？（多通道其实NLP中用了也是最多2通道，一个是随机化embedding，一个是预训练embedding）然后多层CNN也可以尝试呀。

word级别的你是经常用了，那么char的呢？写写CharCNN（Char经过CNN 然后和Word的embedding cat到一起，得到新的embedding然后再经过CNN）

LSTM你会了，那么和CNN结合怎么用呢？先CNN在LSTM或者先LSTM再CNN都可以，你试试。

之前用的都是线性的，那么非线性的，比如句法树呢？又该怎么用呢？现在常用的有TreeGRU和TreeLSTM，你都可以试试。

再进阶就是seq2seq模型，这个很常用的，别名也可以说是encoder-decoder模型（这里的attention机制你需要具体了解下）。

如果你想挑战下自己，可以看看去年google刚提出的模型Transformer！地址为

http://nlp.seas.harvard.edu/2018/04/03/attention.html

当然，上述只是说了一部分，你有自己的模型学习路线更好啦。

基础的都掌握之后，感觉你就不会定性到最初的CNN，LSTM模型当中了。觉得模型原来可以这么灵活？就会对自己产生了自信感。

然后就可以看论文，看别人的模型怎么实现。最之前的时候，我看别人论文的模型的时候，都是，额，这是怎么搭建的？如果你会了上述的模型，你再看别人论文的时候，心里起码比之前更有底气，更好的情况是论文的模型图你一看心里就已经用代码搭建完毕这个模型！

上面的模型，网上其实很多的，推荐用github搜索，然后选择自己的编程偏好的代码即可。

这个时候我得附上我师兄写的各种模型了，虽然没有包括上述所有的模型，但是可以借鉴！

当然也可以看我自己最近刚搭建的模型框架（我自己都不好意思放出来，还不完整，每天会抽时间完善下）

欢迎大家star和fork

 

搭建自己的代码框架

我之前写代码都不怎么考虑可读性，别人的可用性。既然是进阶阶段，就要学会自己搭建自己的框架。看看导师的github的代码风格，看看你敬佩的师兄的代码风格，或者看看国外大佬的代码风格等。多看看，最终形成自己的代码风格。看看模块怎么搭建？代码怎么注释？哪些函数用起来即简单又方便等。

搭建自己github项目时，记得写readme！（额，我现在还没写，但是马上就会完善的，咳咳）要把readme写的越详细越好，最好能让别人看到你的readme直接就能灵活运用你的代码。

对了，这里说下为什么要搭建自己的模型框架：因为自己的框架搭建好之后，以后无论写写什么模型，都可以直接套过来用，不用再重新实现一些重复的代码。

 

其他建议

CRF你需要了解；要实时关注咱们这个方向的国际大牛的动态；慢慢补充自己的概率论，线数的短板（这个目前我刚开始要补，哎，加油加油）；每天学点英语吧，为以后写论文打基础（我坚持了很长时间后，现在有点松懈，不行不行，继续坚持）

好了，就到这里吧，有什么问题，留言告诉我，或者通过公众号右下角加我，私聊！

---

更多精彩内容，请关注 深度学习自然语言处理 公众号，就是下方啦！跟随小博主，每天进步一丢丢！哈哈！