arcgis 循环模型批量处理_机器学习笔记02：文本预处理；语言模型；循环神经网络基础...

文本预处理

1.1 读文本、文本预处理、特征提取和建模的基本过程

收集数据

总所周知，数据挖掘模型中非常重要的部分是训练模型，训练集与测试集便是整个数据挖掘过程中花费时间最多的过程。数据集通过有如下的一些途径获得：

经典数据集：Python NLTK 便提供了非常多经典的数据集。很多数据集都是手工标注而成，所以使用的时候不得不感叹工程的浩大。例如NLP中使用的Penn TreeBank，有兴趣的同学可以看看他们的论文《Building a Large Annotated Corpus of English: The Penn TreeBank》，那简直就是一部辛酸史啊！

从网页上抓取：直接动手写一个爬虫爬取特定的网页不难，通过正则表达式就能够将有效的内容提取出来；当然，发扬拿来主义精神的话，我们可以使用Python中一些优秀的库，比如scrapy，beautifulsoup 等等。

从日志、已有文件中分析：如果是海量数据的话可以使用hadoop这样的系统。结合传统SQL中的一些特殊功能，例如Partition，有时会有不错的效果，不过最多压缩空间、缩减特征再用SQL处理。

其他网络数据集：Stanford Large Network Dataset Collectionm，100+ Interesting Data Sets for Statistics

预处理

如果是网页内容ÿ