爬取雪球网股票信息（一）

最新推荐文章于 2025-03-11 23:06:00 发布

ElliotMN

最新推荐文章于 2025-03-11 23:06:00 发布

阅读量3.1k

点赞数 1

本文链接：https://blog.csdn.net/qq_41375702/article/details/88948299

版权

本文介绍了如何使用Python爬虫获取雪球网上的股票名称。通过三个模块实现：DEFINITION定义爬取URL和HEADERS，Saved_MongDB将数据存储到MongoDB，Crawl_share_names负责网页解析和URL构造。爬虫首先进行局部请求和反爬处理，然后构造多页URL并批量解析，最后将股票名称保存到数据库。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这篇是爬取股票名称，我用了三个模块来实现。Crwal_Share_Names、Saved_MongDB、DEFINITION.

首先是最简单的一个模块：DEFINITION，定义，这个模块里面定义了要爬取的url序列和HEADERS，

其url是如图网站中的：

这个url的会返回一个层层嵌套的字典，字典中有我们需要的信息：

HEADERS为：Cookies和User-Agent

下面是DEFINTION的源码，如果其中URL_LIST里面的url失效，则重新加入即可。


#order_by,type，_
list_order_by=['percent',]
URL_LIST=[
    #{page}
    #沪A涨幅榜
    "https://xueqiu.com/service/v5/stock/screener/quote/list?page={page}&size=30&order=desc&order_by=percent&exchange=CN&market=CN&type=sha&_=1554089990960",
    #沪A成交量排行榜
    "https://xueqiu.com/service/v5/stock/screener/quote/list?page={page}&size=30&order=desc&order_by=volume&exchange=CN&market=CN&type=sha&_=155409025214",
    #沪A成交额排行榜
    "https://xueqiu.com/service/v5/stock/screener/quote/list?page={page}&size=30&order=desc&order_by=amount&exchange=CN&market