机器学习数据处理
hejp_123
Nothing is impossible
展开
-
python 高并发操作处理
import timefrom multiprocessing import Pooldef run(fn): time.sleep(1) return fn*fnif __name__ == "__main__": testFL = [1, 2, 3, 4, 5, 6] print('顺序:') # 顺序执行(也就是串行执行,单进程) s = time.time() for fn in testFL: print(run(fn).原创 2021-01-09 16:10:40 · 318 阅读 · 1 评论 -
内存不足如何批量导入数据并处理数据
100G的数据 8G内存,如何批量导入数据使用迭代器批量导入# -*- coding: utf-8 -*-'''@Time : 2020/7/6 4:10 下午@Author : hejipei@File : iterhelper.py'''import numpy as npdef get_data(batch_size): line_count =0 data =[] with open('/Users/hejipei/PycharmProj原创 2020-07-06 16:40:04 · 461 阅读 · 0 评论 -
特征工程
未完待续原创 2018-12-20 16:17:15 · 156 阅读 · 0 评论 -
数据预处理
1.数据离散化import pandashour_cut =[-1,8,16,23]hour_name = ['1','2','3'] Train_oper['time_hour_cut'] = pd.cut(Train_oper['time_hour'],hour_cut,labels = hour_name)Train_oper['time_hour_cut'].value_c...原创 2018-12-20 16:46:28 · 152 阅读 · 0 评论