小白scrapy爬虫遇见问题,求大佬指导一下。

一位新手在尝试使用Scrapy从2345天气预报网站爬取历史天气数据时遇到问题。尽管通过添加refer解决了部分错误,但仍无法成功抓取数据。目前遇到的新问题是错误提示增多。开发者寻求指导,同时也希望了解如何确定网页中所需信息的HTML标签位置,特别是在实际网页结构与教学示例不同的情况下。
摘要由CSDN通过智能技术生成

一开始我是想要从2345天气预报网上爬取某城市的历史天气数据,然后在搭建好scrapy爬虫框架后启动爬虫没有任何的数据,之后看CSDN论坛大家的博客加入refer后没有了没有refer none的错误了,但还是没有爬下来数据,错误提示反而更多了。如图在这里插入图片描述 在这里插入图片描述
在这里插入图片描述下面是我的代码截图
在这里插入图片描述在这里插入图片描述请各位大佬指导指导小白,另外还想请教大家如何知道自己想要的信息在网页中具体的标签位置(我知道chorme浏览器的xpath可以知道,但自己爬取的网页和找到的教学使用的网页结构不同,弄不太明白。)谢谢各位了。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值