一开始我是想要从2345天气预报网上爬取某城市的历史天气数据,然后在搭建好scrapy爬虫框架后启动爬虫没有任何的数据,之后看CSDN论坛大家的博客加入refer后没有了没有refer none的错误了,但还是没有爬下来数据,错误提示反而更多了。如图
下面是我的代码截图
请各位大佬指导指导小白,另外还想请教大家如何知道自己想要的信息在网页中具体的标签位置(我知道chorme浏览器的xpath可以知道,但自己爬取的网页和找到的教学使用的网页结构不同,弄不太明白。)谢谢各位了。
小白scrapy爬虫遇见问题,求大佬指导一下。
最新推荐文章于 2024-08-09 22:54:05 发布
一位新手在尝试使用Scrapy从2345天气预报网站爬取历史天气数据时遇到问题。尽管通过添加refer解决了部分错误,但仍无法成功抓取数据。目前遇到的新问题是错误提示增多。开发者寻求指导,同时也希望了解如何确定网页中所需信息的HTML标签位置,特别是在实际网页结构与教学示例不同的情况下。
摘要由CSDN通过智能技术生成