10分钟爬取A股所有上市公司超千万条股票数据

最新推荐文章于 2024-08-02 09:56:06 发布

王亨

最新推荐文章于 2024-08-02 09:56:06 发布

阅读量5.4k

点赞数 1

分类专栏： python 金融爬虫

本文链接：https://blog.csdn.net/wzgl__wh/article/details/114488334

版权

本文讲述了如何使用tushare接口爬取A股所有上市公司超千万条股票数据，通过优化线程策略，从单线程耗时一小时减少到12分钟，最终将数据保存为csv文件。

摘要由CSDN通过智能技术生成

最近，在tushare官方文档中，看到这个一个方法pro.stock_basic()，作用是可以爬取A股所有上市股票基本信息。然后我就试了一下，默认条件下可以爬取到A股上市的的所有股票基本数据，共4179条数据（截止20210306），数据主要包括股票代码、公司名称、公司地点、上市板块以及上市日期。

ts_code	symbol	name	area	industry	market	list_date
0	000001.SZ	000001	平安银行	深圳	银行	主板	19910403
1	000002.SZ	000002	万科A	深圳	全国地产	主板	19910129
2	000004.SZ	000004	国华网安	深圳	互联网	主板	19910114
3	000005.SZ	000005	世纪星源	深圳	环境保护	主板	19901210
4	000006.SZ	000006	深振业A	深圳	区域地产	主板	19920427
...	...	...	...	...	...	...	...
4174	688777.SH	688777	中控技术	浙江	软件服务	科创板	20201124
4175	688788.SH	688788	科思科技	深圳	通信设备	科创板	20201022
4176	688819.SH	688819	天能股份	浙江	电气设备	科创板	20210118
4177	688981.SH	688981	中芯国际-U	上海	半导体	科创板	20200716
4178	689009.SH	689009	九号公司-UWD	北京	专用机械	CDR	20201029
4179 rows × 7 columns

拿到这些数据之后，发现并没有什么实际用途。突然有了一个大胆的想法——要不把A股所有上市公司的股票都爬下来？