【NLP】：1.文本分类

1.【重点看这个，有数据有代码，可实现】：手把手教你在Python中实现文本分类（附代码、数据集）

我的notebook实现在这里：https://blog.csdn.net/weixin_37251044/article/details/86101802
代码我放在我的github：https://github.com/JackKuo666/csdn/blob/master/text_classfier/text_classfier.ipynb

2.知乎的一个介绍，但是没有数据

---

介绍一个比较好的国外博客：https://www.analyticsvidhya.com/blog/2018/04/a-comprehensive-guide-to-understand-and-implement-text-classification-in-python/
上边第一个例子就是这个博客翻译过来的：由例子+数据+代码很详细的介绍了文本分类，当然还有别的nlp模块。

---

其他：一些NLP数据：

1.搜狗数据：

2.一些nlp数据：

3. 英文词向量：使用fastText预训练的词向量:

http://fasttext.cc/docs/en/english-vectors.html

上面的页面收集了几个使用fastText训练过的词向量。

通过不同来源学习的预训练的词向量有以下几个：

wiki-news-300d-1M.vec.zip: 在维基百科2017、UMBC webbase语料库和statmt.org新闻数据集中(16B tokens)训练的100万个词向量。>

wiki-news-300d-1M-subword.vec.zip: 在维基百科2017、UMBC webbase语料库和statmt.org新闻数据集(16B tokens)中包含子单词信息训练的100万个词向量。

crawl-300d-2M.vec.zip: 在Common Crawl训练的200万个词向量 (600B tokens)。

Format

文件的第一行包含词汇表中的单词数量和向量的大小。每一行都包含一个单词及其向量，如默认的fastText格式。每个值都是分开的。单词是按词频降序排列的。这些文本模型可以使用以下代码在Python中加载:

import io

def load_vectors(fname):
    fin = io.open(fname, 'r', encoding='utf-8', newline='\n', errors='ignore')
    n, d = map(int, fin.readline().split())
    data = {}
    for line in fin:
        tokens = line.rstrip().split(' ')
        data[tokens[0]] = map(float, tokens[1:])
    return data