Python股票处理之六_数据预处理A

1.        说明

在数据统计和预测的过程中，工程师基本都使用现成的算法，工程师的主要工作是根据具体业务逻辑预处理数据和选择算法。
首先要对数据预处理（数据清洗），包括数据的归一化，去除重复数据，修改错误数据，填充无效数据，抽象数据表示，筛选特征值，分配权重等等，以得到更准确的数据和更有效的结果。
继续上次关于股票直方图的话题，来看看简单的股票数据预处理。
左图是昨天股票涨跌的直方图，从中看出，涨跌幅分布在-10到50的区间内。
涨幅超过10%是因为计入了新股的首日涨幅，跌涨超过-10%，可能由于分红配送等原因引起。下面程序中将对此区域进行特殊处理。
对于当日停牌的数据，它的开盘价收盘价最高价最低价都是同一个值，如果加入统计，会在0附近形成一个无意义的峰值，在预处理中也把它去掉。
如果用左图结果做一个从(-10,10)共计20个区间的分类器，那么结果多半会落入(-1,1)的区间内，这并不是我们想要的。我们更希望看到的是将3000多支股票平均分布在这20个区域，每个区域股票数量相同，但是各区域大小不同。根据区域得到更合理的分类结果。（假设我们之后将要通过现有股票的各个特征，预测涨跌最有可能分布在哪个区域，这是一个对结果的分类问题，暂不考虑回归）

2.        程序

1)       代码

# -*- coding:utf-8 -*-  

import tushare as ts
import numpy as np  
import matplotlib.pyplot as plt  

e = ts.get_today_all()
size = 20	#把区间分成20份
array = []

ll = e[u'high']	# 最高价
hh = e[u'low'] # 最低价
cc = e[u'changepercent']	# 涨跌幅
for i in range(0, len(e)):
	if ll[i] != hh[i]:	# 最高价与最低价相同说明停牌
		if cc[i] > 10:	# 涨幅大于10%的股票归为10%
			array.append(10)
		elif cc[i] < -10:	# 跌幅大于-10%的股票归为-10%
			array.append(-10)
		else:
			array.append(cc[i])

print "Total:",len(array)
array=np.sort(array)	# 排序

bin_arr = []
bin_arr.append(-10)	# 加入区间的左侧值
count = 0	# 区域计数
for i in range(0, len(array)):
	count+=1	 
	if count > len(array) / size:
		print array[i]
		count = 0
		bin_arr.append(array[i])
bin_arr.append(10)	# 加入区间右侧值

hist, bins = np.histogram(array, bins=bin_arr)	# 按bin_arr给定的区域计算直方图
width = np.diff(bins)
center = (bins[:-1] + bins[1:]) / 2
plt.bar(center, hist, align='center', width=width)
plt.show()  

2)       运行结果

Total: 3010
-1.271     -0.667     -0.289     -0.098     0.061      0.219      0.348      0.482      0.599      0.719      0.873      1.021      1.16       1.312      1.505      1.786      2.133      2.713      3.74

3)       分析

从结果可以看出，总共筛选出了3010支股票，将其分成20个区间，其中每个区间的股票数基本相等（最后一个不足1/20），此处只使用了一天的数据，当天微涨；实际处理时，需要使用更多数据来划分区域，20个区域可能也有点多。此处只是抛砖引玉，程序写得并不严谨，大家领会精神即可。
以上计算用到了直方图均衡化的原理，在频域上划分，替代按值域划分，让我们聚焦于数据更集中的区域。

3.        参考

1)       直方图均衡化的数学原理
http://blog.csdn.net/superjunenaruto/article/details/52431941