python股票数据预处理_Python股票处理之六_数据预处理A

1. 说明

在数据统计和预测的过程中，工程师基本都使用现成的算法，工程师的主要工作是根据具体业务逻辑预处理数据和选择算法。

首先要对数据预处理（数据清洗），包括数据的归一化，去除重复数据，修改错误数据，填充无效数据，抽象数据表示，筛选特征值，分配权重等等，以得到更准确的数据和更有效的结果。

继续上次关于股票直方图的话题，来看看简单的股票数据预处理。左图是昨天股票涨跌的直方图，从中看出，涨跌幅分布在-10到50的区间内。

涨幅超过10%是因为计入了新股的首日涨幅，跌涨超过-10%，可能由于分红配送等原因引起。下面程序中将对此区域进行特殊处理。

对于当日停牌的数据，它的开盘价收盘价最高价最低价都是同一个值，如果加入统计，会在0附近形成一个无意义的峰值，在预处理中也把它去掉。

如果用左图结果做一个从(-10,10)共计20个区间的分类器，那么结果多半会落入(-1,1)的区间内，这并不是我们想要的。我们更希望看到的是将3000多支股票平均分布在这20个区域，每个区域股票数量相同，但是各区域大小不同。根据区域得到更合理的分类结果。（假设我们之后将要通过现有股票的各个特征，预测涨跌最有可能分布在哪个区域，这是一个对结果的分类问题，暂不考虑回归）

2. 程序

1) 代码

# -*- coding:utf-8 -*-

import tushare as ts

import numpy as np

import matplotlib.pyplot as plt

e = ts.get_today_all()

size = 20 #把