firefox浏览器查看请求头、响应头_python伪造多个浏览器请求头，对同花顺的股票数据进行爬取...-CSDN博客

本文链接：https://blog.csdn.net/weixin_36182226/article/details/113627872

本文介绍了如何通过Python模拟Firefox浏览器发送请求头来爬取同花顺网站上的股票代码数据。代码示例展示了具体实现过程，并提供了运行结果，包括一系列股票代码。

摘要由CSDN通过智能技术生成

代码如下：

#本段代码作用：找出2019年10月15日同花顺网站当天资金流入流出较大的个股代码#下面是导入相应的模块import requestsfrom bs4 import BeautifulSoupimport random#1、对网站进行get请求，并构造多个浏览器请求头url="http://data.10jqka.com.cn/funds/ggzjl/" #设置同花顺资金流向网站为urlagent1="Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:69.0) Gecko/20100101 Firefox/69.0" #设置agent1请求头agent2="Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36" #设置agent2请求头agent3="Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36" #设置agent2请求头list1=[agent1,agent2,agent3] #设置agent1,agent2,agent3为列表list1里的元素agent=random.choice(list1) #随机获取list里的元素并赋值给agentheaders={"User-Agent":agent} #设置请求头，参数为agentresponse=requests.get(url,headers=headers) #对网站进行get请求，并伪装成浏览器进行请求response.encoding="GBK" #设置网页编码html=response.text #将网页的源代码赋值给html#2、解析网站soup=BeautifulSoup(html,'lxml')content=soup.findAll('a') #遍历网页的a标签内容并赋值给contentfor stock in content: #遍历a标签内的内容 if stock.get("class")==["stockCode"]: #假如a标签内的class属性的值为["stockCode"] print(stock.text) #打印出a标签里的内容

运行结果如下：

603786

600568

000659

600393

300167

300319

300169

002351

000987

601886

002625