嵩天《Python网络爬虫与信息提取》实例4:股票数据定向爬虫

该博客介绍了如何使用Python爬虫从东方财富网获取股票列表,并借助列表构造链接从富途牛牛网抓取个股信息。通过解析网页源码和网络请求,博主详细解释了爬虫代码的设计和执行过程,最终将数据保存到CSV文件中。
摘要由CSDN通过智能技术生成

这一部分将结合嵩天老师在网络爬虫专题课程讲解的requests库和re库的知识进行股票数据定向爬虫代码编写,同时运用json库和csv库对爬取的股票信息数据进行处理与保存。

说明:爬虫练习仅为学习,不做商用,如有侵权,烦请联系删除!

目标网站:

东方财富网  http://quote.eastmoney.com/center/gridlist.html#sz_a_board (获取股票列表)

富途牛牛网 https://www.futunn.com/quote/cn(获取个股信息)

爬取目标:通过东方财富网获取股票列表,借此构造链接从富途牛牛网获取个股信息并保存到本地列表中。

相关库名:requests/re/json/csv

目录

1.网页解析

2.代码设计

3.执行结果

1.网页解析

首先选取东方财富网  http://quote.eastmoney.com/center/gridlist.html#sz_a_board 作为获取股票列表的网站,随机选取其中的深圳A股列表作为接下来爬取的目标,可以看到,页面会显示股票代码、名称等信息:

鼠标右键查看页面源代码,ctrl+f调出搜索框,将其中第一只股票的代码“300182”复制到搜索框,搜索结果为0,即源代码文本中并没有相关信息,说明可能是以json数据的格式保存的,而嵩天老师的网课中东方财富网的列表信息是保存在源代码中的,所以接下来获取股票列表的代码就需要进行相应的修改。

继续查找数据存储位置,鼠标右键点击检查→网络,刷新页面后得到相关的请求URL信息,浏览后发现get?cb=jOuery这条存储着股票信息,事实上,不仅是股票代码和名称,其他信息诸如最新价、涨跌幅、成交量也一一保存在此,所以其实可以直接从东方财富网爬取个股信息。但是嵩天老师的做法是从一个网站获取列表,再构建URL从另一个网站爬取个股信息,这里还是仿照嵩天老师的做法,正好借此练习跨网站爬虫。

“预览”切换到

评论 11
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值