PythonStock（14）：使用pandas 批量处理股票数据，批量计算股票指标

前言

使用Python开发一个股票项目。
项目地址：
https://github.com/pythonstock/stock
相关资料：
http://blog.csdn.net/freewebsys/article/details/78294566
主要使用开发语言是python。
使用的lib库是pandas，tushare，TensorFlow，tornado等。

本文的原文连接是: http://blog.csdn.net/freewebsys/article/details/78608158
未经博主允许不得转载。
博主地址是：http://blog.csdn.net/freewebsys

1，关于股票数据指标

---

上次研究了股票的数据指标。
主要指标有 CR指标 KDJ指标 SMA指标 MACD指标 BOLL指标 RSI指标 WR指标
CCI指标 TR、ATR指标 DMA指标 DMI，+DI，-DI，DX，ADX，ADXR指标
TRIX，MATRIX指标 VR，MAVR指标 等。
http://blog.csdn.net/freewebsys/article/details/78578548

下面要将这个数据，放到后台跑数据。

2，首先查询要跑的股票数据

---

查询 一共有多少count

sql_count = """
    SELECT count(1) FROM stock_data.ts_today_all WHERE `date` = %s and `trade` > 0 and `open` > 0 and trade <= 20 
                and `code` not like %s and `code` not like %s and `name` not like %s
    """
    count = common.select_count(sql_count, params=[datetime_int, '002%', '300%', '%st%'])
    print("count :", count)

然后按照每次 100 个执行程序：

batch_size = 100
    end = int(math.ceil(float(count) / batch_size) * batch_size)
    print(end)
    for i in range(0, end, batch_size):
        print("loop :", i)
        # 查询今日满足股票数据。剔除数据：创业板股票数据，中小板股票数据，所有st股票
        # #`code` not like '002%' and `code` not like '300%'  and `name` not like '%st%'
        sql_1 = """ 
                    SELECT `date`, `code`, `name`, `changepercent`, `trade`, `open`, `high`, `low`, 
                        `settlement`, `volume`, `turnoverratio`, `amount`, `per`, `pb`, `mktcap`, `nmc` 
                    FROM stock_data.ts_today_all WHERE `date` = %s and `trade` > 0 and `open` > 0 and trade <= 20 
                        and `code` not like %s and `code` not like %s and `name` not like %s limit %s , %s
                    """
        print(sql_1)
        data = pd.read_sql(sql=sql_1, con=common.engine(), params=[datetime_int, '002%', '300%', '%st%', i, batch_size])
        data = data.drop_duplicates(subset="code", keep="last")
        print("########data[trade]########:", len(data))
        stat_index_all(data, i)

剔除到一些数据。

然后使用数组用 statstock lib库进行数据统计：
stock_column = ['adx', 'adxr', 'boll', 'boll_lb', 'boll_ub', 'cci', 'cci_20', 'close_-1_r',
                    'close_-2_r', 'code', 'cr', 'cr-ma1', 'cr-ma2', 'cr-ma3', 'date', 'dma', 'dx',
                    'kdjd', 'kdjj', 'kdjk', 'macd', 'macdh', 'macds', 'mdi', 'pdi',
                    'rsi_12', 'rsi_6', 'trix', 'trix_9_sma', 'vr', 'vr_6_sma', 'wr_10', 'wr_6']
    # code     cr cr-ma1 cr-ma2 cr-ma3      date

    data_new = concat_guess_data(stock_column, data)

这个数据是 要排序的，所以要特殊排列。

stock_data_list = []
    print("########################## 计算结果 ##########################")
    for col in stock_column:
        if col == 'date':
            stock_data_list.append(date)
        elif col == 'code':
            stock_data_list.append(code)
        else:
            # 将数据的最后一个返回。
            tmp_val = stockStat[col].tail(1).values[0]
            if np.isinf(tmp_val):  # 解决值中存在INF问题。
                tmp_val = 0
            if np.isnan(tmp_val):  # 解决值中存在NaN问题。
                tmp_val = 0
            # print("col name : ", col, tmp_val)
            stock_data_list.append(tmp_val)

    # print(stock_data_list)
    return list(stock_data_list)

最后将计算后的结果保存到数据库。
详细代码参考：
https://github.com/pythonstock/stock/blob/master/jobs/guess_indicators_daily_job.py

3，使用pickle 做缓存，减少网络访问

---

在处理数据的时候，第一次链接网络，然后保存到本地pickle 文件。
做缓存，防止过分访问api 接口被封掉。

# 设置基础目录，每次加载使用。
bash_stock_tmp = "/tmp/stock/hist_data_cache/"
if not os.path.exists(bash_stock_tmp):
    os.makedirs(bash_stock_tmp)  # 创建多个文件夹结构。
    print("######################### init tmp dir #########################")

# 增加读取股票缓存方法。加快处理速度。
def get_hist_data_cache(code, date_start, date_end):
    cache_file = bash_stock_tmp + "%s^%s.gzip.pickle" % (date_end, code)
    # 如果缓存存在就直接返回缓存数据。压缩方式。
    if os.path.isfile(cache_file):
        print("######### read from cache #########", cache_file)
        return pd.read_pickle(cache_file, compression="gzip")
    else:
        stock = ts.get_hist_data(code, start=date_start, end=date_end)
        stock = stock.sort_index(0)  # 将数据按照日期排序下。
        stock.to_pickle(cache_file, compression="gzip")
        return stock

4，发现入库问题

---

在进行计算的时候发现 inf 字段错误。找了半天，发现是 一个指标 cci 在计算的时候出现了。
inf 和 nan 类型问题。是一个数字类型，但是入库的时候当做一个字段了。

tmp_val = stockStat[col].tail(1).values[0]
            if np.isinf(tmp_val):  # 解决值中存在INF问题。
                tmp_val = 0
            if np.isnan(tmp_val):  # 解决值中存在NaN问题。
                tmp_val = 0
            # print("col name : ", col, tmp_val)
            stock_data_list.append(tmp_val)

使用程序 np.isinf 和 np.isnan 将数据过滤掉。

5，指标计算出之后，进行第二次筛选

---

SELECT `date`, `code`, `name`, `changepercent`, `trade`, `open`, `high`, `low`, 
                            `settlement`, `volume`, `turnoverratio`, `amount`, `per`, `pb`, `mktcap`,
                             `nmc` ,`kdjj`,`rsi_6`,`cci`
                        FROM stock_data.guess_indicators_daily WHERE `date` = %s 
                        and kdjj > 100 and rsi_6 > 80  and cci > 100

可以筛选出几个股票。

掌握了问题的分析方法，就是不知道能不能碰对。

6，总结

---

在使用pandas 计算的时候，开始的思路是一个指标一个指标进行计算。
这样发现在循环 1200 多次之后，股票数据计算出现大量循环。效率低了。
后来修改成数组一次性计算。减少了N次循环。效率上来了。
pandas 进行数组计算，效率杠杠的，很难想象使用 java c++ 要开发多长时间。
而且关键是运行的效率也不慢，要是真的慢，换个8核cpu就好了。
人生苦短，快学python。

本文的原文连接是: http://blog.csdn.net/freewebsys/article/details/78608158
未经博主允许不得转载。
博主地址是：http://blog.csdn.net/freewebsys