python fit训练数据_scikitlearn：运行Logistic回归“fit”，给出55000个训练样本和5000个特征的数据集的内存错误...

我使用的数据集最初有4列，其中2列是数值列，2列是分类列。我使用one hot编码，对两个分类列使用pandasget_dummies函数。其中一列的基数很低，没有给出任何问题，但另一列有接近5000个不同的值。为此，我在get_dummies函数中使用了sparse=True。该函数运行良好，然后我使用以下命令将数据拆分为培训和测试数据：X_train, X_test, y_train, y_test = train_test_split(df[fields],df['category_id'])

这里df是pandas数据帧，fields是字段名的列表，其中包括两个数字字段名和我从一个热编码中获得的新字段名。在

然后我使用以下代码来训练模型：

^{pr2}$

但是，我得到了这个错误：Traceback (most recent call last):

File "", line 1, in

File "/usr/local/lib/python2.7/dist-packages/sklearn/linear_model/logistic.py", line 1142, in fit

order="C")

File "/usr/local/lib/python2.7/dist-packages/sklearn/utils/validation.py", line 510, in check_X_y

ensure_min_features, warn_on_dtype, estimator)

File "/usr/local/lib/python2.7/dist-packages/sklearn/utils/validation.py", line 373, in check_array

array = np.array(array, dtype=dtype, order=order, copy=copy)

MemoryError

如何克服这一点？对于相对较大的数据集，运行logistic回归的推荐方法是什么？在