自然语言处理 -- NLP作业 1 ：训练词向量

目录

pytorch

nnlm

代码

---

pytorch

PyTorch是一个开源的Python机器学习库，基于Torch，用于自然语言处理等应用程序。

2017年1月，由Facebook人工智能研究院（FAIR）基于Torch推出了PyTorch。

它是一个基于Python的可续计算包，提供两个高级功能：

1、具有强大的GPU加速的张量计算（如NumPy）。

2、包含自动求导系统的深度神经网络。

PyTorch的前身是Torch，其底层和Torch框架一样，但是使用Python重新写了很多内容，不仅更加灵活，支持动态图，而且提供了Python接口。

它是由Torch7团队开发，是一个以Python优先的深度学习框架，不仅能够实现强大的GPU加速，同时还支持动态神经网络，这是很多主流深度学习框架比如Tensorflow等都不支持的。

PyTorch既可以看作加入了GPU支持的numpy，同时也可以看成一个拥有自动求导功能的强大的深度神经网络。除了Facebook外，它已经被Twitter、CMU和Salesforce等机构采用。

PyTorch是相当简洁且高效快速的框架；设计追求最少的封装；设计符合人类思维，它让用户尽可能地专注于实现自己的想法；与google的Tensorflow类似，FAIR的支持足以确保PyTorch获得持续的开发更新；PyTorch作者亲自维护的论坛 供用户交流和求教问题；入门简单。

PyTorch的安装十分简单，根据PyTorch官网，对系统选择和安装方式等灵活选择即可。

教程：

PyTorch入门教程

pytorch使用GPU训练模型

nnlm

与传统的估算p(wt∣wt−(n−1),...wt−1)p(w_t|w_{t-(n-1)},...w_{t-1})p(wt​∣wt−(n−1)​,...wt−1​)不同，NNLM模型直接通过一个神经网络结构对n元条件概率进行评估。

神经网络语言模型学习：神经网络语言模型（NNLM）

代码

1、inpu_data（处理输入文本&