10分钟爬取A股所有上市公司超千万条股票数据

本文讲述了如何使用tushare接口爬取A股所有上市公司超千万条股票数据,通过优化线程策略,从单线程耗时一小时减少到12分钟,最终将数据保存为csv文件。
摘要由CSDN通过智能技术生成

最近,在tushare官方文档中,看到这个一个方法pro.stock_basic(),作用是可以爬取A股所有上市股票基本信息。然后我就试了一下,默认条件下可以爬取到A股上市的的所有股票基本数据,共4179条数据(截止20210306),数据主要包括股票代码、公司名称、公司地点、上市板块以及上市日期。

 

ts_code	symbol	name	area	industry	market	list_date
0	000001.SZ	000001	平安银行	深圳	银行	主板	19910403
1	000002.SZ	000002	万科A	深圳	全国地产	主板	19910129
2	000004.SZ	000004	国华网安	深圳	互联网	主板	19910114
3	000005.SZ	000005	世纪星源	深圳	环境保护	主板	19901210
4	000006.SZ	000006	深振业A	深圳	区域地产	主板	19920427
...	...	...	...	...	...	...	...
4174	688777.SH	688777	中控技术	浙江	软件服务	科创板	20201124
4175	688788.SH	688788	科思科技	深圳	通信设备	科创板	20201022
4176	688819.SH	688819	天能股份	浙江	电气设备	科创板	20210118
4177	688981.SH	688981	中芯国际-U	上海	半导体	科创板	20200716
4178	689009.SH	689009	九号公司-UWD	北京	专用机械	CDR	20201029
4179 rows × 7 columns

拿到这些数据之后,发现并没有什么实际用途。突然有了一个大胆的想法——要不把A股所有上市公司的股票都爬下来?

  • 1
    点赞
  • 21
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值