使用python爬取数据实测记录

最新推荐文章于 2024-07-12 17:01:23 发布

hxmon

最新推荐文章于 2024-07-12 17:01:23 发布

阅读量1.6k

点赞数

分类专栏： python 文章标签： python scrapy json

本文链接：https://blog.csdn.net/sunmyo/article/details/80495953

版权

本文记录了使用Python Scrapy爬虫遇到的301/302重定向问题及解决方案，以及如何抓取JavaScript动态加载的数据。在遇到301报错时，发现是USER_AGENT_LIST中加入的手机代理导致URL变化，修改后问题解决。对于动态数据，通过浏览器审查元素找到新的链接，并利用正则表达式匹配目标URL，成功获取到数据。

摘要由CSDN通过智能技术生成

看了几天的小甲鱼视频学python基础，居然说要用scrapy才能做成目前想爬的...

换了个详细的scrapy视频教程看点击打开链接

1、爬取网页url数据返回301、302报错

class ModianSpider(scrapy.Spider):
    name = 'modian'
    allowed_domains = ['modian.com']
    start_urls = ['https://zhongchou.modian.com/search?key=%E9%BB%84%E5%A9%B7%E5%A9%B7']

    def parse(self, response):
        hrefs = response.xpath('//div[@class="myproject clearfix"]/ul/li/a/@href').extract()
        for href in hrefs:
            yield scrapy.Request(href, meta={'href': href}, callback=self.parse_pro_page)

    def parse_pro_page(self, response):
        item = ModianItem()

        item['id'] = response.xpath('//div/@data-pro_id').extract()
        item['title'] = response.xpath('//h3[@class="ti