map语法获取index_小散量化炒股记只花几秒钟！多任务爬虫获取A股每日实时行情数据...-CSDN博客

前言

相信大家都听说了量化交易这个东西了吧！量化交易是一种新兴的系统化金融投资方法。

那么，什么才是普通股民所适合的量化交易打开方式呢？

本文就用一个接地气的股票数据获取场景——多任务爬虫获取A股每日实时行情数据来和大家分享一下，普通股民如何去使用量化交易！

多进程和多线程

我们在获取股票行情数据的时候，一般都用for...in循环的方式，但是面对几千只股票过去几年甚至十几年的行情数据时，下载过程势必会出现耗时过长的问题。

我在书中介绍了多进程和多线程的提速方案。当涉及复杂的计算、繁多的 I/O 操作时，可以考虑使用多任务并行方式充分利用CPU多核性能来提高程序的执行效率。

在Python中由于GIL机制的的存在，多进行和多线程在计算密集型和I/O密集型的任务场景中执行效率会有所不同，多线程更适合 I/O 密集型应用，多进程对于 CPU 密集型的应用表现更好。

书中我们是以调用API接口方式获取股票数据的，以此为例分别介绍了for循环方式、多线程方式和多进程方式。

遍历获取股票池中前500只股票的1年的数据，测试的结果是：

for循环：55秒
8个线程：7.5秒
8个进程：7.8秒

适合爬虫的多任务

对于爬虫来说，它适合多线程还是多进程呢？

爬虫是基于网络请求模块urllib实现的。urllib3扮演了 HTTP 客户端的角色，即向网络服务器发送一个 HTTP 请求，然后等待网络服务器的响应，这类任务属于 I/O 密集型的任务。不同于计算密集型任务那样会在整个时间片内始终消耗 CPU 的资源，I/O 密集型的任务大部分时间都在等待 I/O 操作的完成。

接下来我们就以爬虫方式获取东方财富网股票每日实时行情数据作为场景，扩展介绍下多线程的提速方案。

关于爬虫的实现过程可参考知识星球以下主题：

我们看到网页上显示总共有206页，那么我们可以将该任务分配给多个线程来完成，而不只是让一个线程去逐一读取。

在 Python3 中内置了线程池模块 ThreadPoolExecutor，通过 ThreadPoolExecutor模块来实现多线程的处理。

对于爬虫任务来说，每一页仅仅是URL地址不同。因此按模块的使用要求，将爬虫任务crawer_daily()函数拆分为执行函数map_fun( )和可迭代参数 itr_arg 两部分。

关键代码如下所示：

with ThreadPoolExecutor(max_workers=8) as executor:    # map_fun 传入的要执行的map函数    # itr_argn 可迭代的参数    # result  返回的结果是一个生成器    results = executor.map(crawer_daily, itr_arg)

每一页只有20只股票的数据，因此我们需要把数据合并成一份DataFrame，最后保存为本地的csv文件。

关键代码如下所示：

for ret in results:    df_daily_stock = df_daily_stock.append(ret, ignore_index=True)df_daily_stock.to_csv("crawer_daily_stock/{}.csv".format(df_daily_stock["时间"].values[0]), columns=df_daily_stock.columns, index=True, encoding='GBK')

打开csv文件如下所示：