大规模计算的策略

大数据处理策略

有时候数据不能一次性加载到内存中(因为内存不足), 一般的方法就不能用了.
这个时候的策略可以是增量学习(在线学习):小批量的数据逐渐学习, 每次只有一小部分数据是在内存中的

scikit-learn中不同任务的增量估计器列表:

分类:
sklearn.naive_bayes.MultinomialNB
sklearn.naive_bayes.BernoulliNB
sklearn.linear_model.Perceptron
sklearn.linear_model.SGDClassifier
sklearn.linear_model.PassiveAggressiveClassifier

回归:
sklearn.linear_model.SGDRegressor
sklearn.linear_model.PassiveAggressiveRegressor

聚类:
sklearn.cluster.MiniBatchKMeans

分解/特征提取:
sklearn.decomposition.MiniBatchDictionaryLearning
sklearn.decomposition.IncrementalPCA
sklearn.cluster.MiniBatchKMeans

示例

在线文本分类器