这篇是爬取股票名称,我用了三个模块来实现。Crwal_Share_Names、Saved_MongDB、DEFINITION.
首先是最简单的一个模块:DEFINITION,定义,这个模块里面定义了要爬取的url序列和HEADERS,
其url是如图网站中的:
这个url的会返回一个层层嵌套的字典,字典中有我们需要的信息:
HEADERS为:Cookies和User-Agent
下面是DEFINTION的源码,如果其中URL_LIST里面的url失效,则重新加入即可。
#order_by,type,_
list_order_by=['percent',]
URL_LIST=[
#{page}
#沪A涨幅榜
"https://xueqiu.com/service/v5/stock/screener/quote/list?page={page}&size=30&order=desc&order_by=percent&exchange=CN&market=CN&type=sha&_=1554089990960",
#沪A成交量排行榜
"https://xueqiu.com/service/v5/stock/screener/quote/list?page={page}&size=30&order=desc&order_by=volume&exchange=CN&market=CN&type=sha&_=155409025214",
#沪A成交额排行榜
"https://xueqiu.com/service/v5/stock/screener/quote/list?page={page}&size=30&order=desc&order_by=amount&exchange=CN&market