Python——量化分析介绍

贴一下目录：

├── README
├── MyQuant_v1 #量化分析程序目录
├── init.py
├── data #数据处理目录
│ ├── init.py
│ ├── basic_crawler.py# 爬取股票基础信息存入MongoDB数据库.
│ └── data_crawler.py #爬取指数、股票数据
├──util # 公用程序
│ ├── init.py
│ ├── stock_util.py#获取股票交易日期，所有股票代码
│ └── database.py #链接数据库
├── backtest #回测
│ ├── init.py
│ └── backtest #计划写一下回测走势图
├── factor #因子
│ ├── init.py
│ └──_ factor_.py #不准备开发
├── strategy #策略
│ ├── init.py
│ └── strategy #计划简单写个，主要用于回测
├── trading #交易
│ ├── init.py
│ └── trading #不准备开发
└── log #日志目录
├── init.py
├── backtest.log #不准备开发
└── transactions.log#不准备开发
今天依旧没有什么硬干货，延伸一下前面讲过的2个代码的实操。

1

完整的爬取数据

data_crawler.py虽然早就写出来了，但总要完整的爬取一遍才敢投入应用中，果然，随便一爬就有问题，速度贼慢，龟速……

于是需要一个改进方法：使用db.daily.createIndex({code:1,date:1})建立数据集索引，还有前复权、后复权的数据集都建立索引，爬取数据的速度就会快非常多，至于为何，暂时还没得空去研究

先用起来再说

2

basic_crawler.py重写

《Python——量化分析常用命令介绍（五）》中贴的basic_crawler.py代码一跑起来发现很多问题，最关键的一点是数据类型不一致不断抛出异常的问题，至于为啥，先一掠而过……翻新完的代码如下：

在这里插入代码片#!/usr/bin/env python3.6
# -*- coding: utf-8 -*-
# @Time    : 2019-07-31 21:12
# @Author  : Ed Frey
# @File    : basic_crawler.py.py
# @Software: PyCharm
from pymongo import UpdateOne, DESCENDING
from util.database import DB_CONN
from util.stock_util import get_trading_dates
import tushare as ts
from datetime import datetime, timedelta
import numpy

"""
to get basic data from tushare and save it to MongoDB.
"""
class BasicCrawler:
    def __init__(self):
        self.basic = DB_CONN['basic']
        self.daily = DB_CONN['daily']

    def crawl_basic(self, begin_date=None, end_date=None):
        '''
        to get the basic infomation of stocks on "date"
        :param begin_date:
        :param end_date:
        :return:
        '''
        if begin_date is None:
            current_date = datetime.now().strftime('%Y-%m-%d')

            begin_date = self.daily.find_one(
                {'code': '000001', 'index': True, 'date': {'$lt': current_date}},
                sort=[('date', DESCENDING)],
                projection={'date': True})['date']

        dates = get_trading_dates(begin_date=begin_date, end_date=end_date)

        for date in dates:
            try:
                df_basic = ts.get_stock_basics(date)
                update_requests = []
                for index in df_basic.index:
                    doc = dict(df_basic.loc[index])
                    doc['code'] = index
                    doc['date'] = date

                    outstanding = doc['outstanding']
                    if outstanding == 0:
                        continue
                    # 解决流通股本和总股本单位不一致的情况,有些单位是股，目前a股股本规模的最大的工商银行，是3564亿股，最小的德方纳米4274万股
                    if outstanding > 4000:
                        outstanding *= 1e4
                    else:
                        outstanding *= 1e8
                    doc['outstanding'] = outstanding

                    totals = doc['totals']
                    if totals > 4000:
                        totals *= 1e4
                    else:
                        totals *= 1e8
                    doc['totals'] = totals

                    for key in doc:
                        field_type = type(doc[key])
                        if type(doc[key]) == numpy.float64:
                            doc[key] = float(doc[key])
                        elif field_type == numpy.int64:
                            doc[key] = int(doc[key])

                    # format"20180101'turned to format"2018-01-01'
                    timeToMarket = doc['timeToMarket']
                    doc['timeToMarket'] = datetime.strptime(
                        str(timeToMarket), '%Y%m%d').strftime('%Y-%m-%d')

                    update_requests.append(
                        UpdateOne(
                            {'code': doc['code'], 'date': doc['date']},
                            {'$set': doc},
                            upsert=True
                        ))

                if len(update_requests) > 0:
                    update_result = self.basic.bulk_write(update_requests, ordered=False)
                    print('更新基本数据, 日期：%s, 插入：%4d，更新：%4d' %
                          (date, update_result.upserted_count, update_result.modified_count),
                          flush=True)
            except:
                print('获取基本信息出错，日期 %s' % date, flush=True)

if __name__ == '__main__':
    bc = BasicCrawler()
    bc.crawl_basic('2018-01-01', '2019-07-28')

然后再试着跑一下，大功告成 运行结果就不贴了

同样，也要使用建立索引命令，加速代码运行速度。后面可能雷同问题，都可以用这招解决，记住了。

爬取这几个数据集（时间段1年半），大小已经到0.57G了，总耗时粗略估计在1.5-2小时左右。如果要下载更多年份的数据，估计3G收不住，我这边资源有限就一切从简了。

数据的准确性尤其特别重要，如果基础数据错误了，那后面的一切都有可能白费，所以……不能只依靠第三方数据，必须要自己动手整理自己的数据，不断发现问题然后修正到无瑕，最后才可以拿来用。

如果还有问题未能得到解决，搜索887934385交流群，进入后下载资源工具安装包等。最后，感谢观看！