scrapy爬取网站返回json数据处理

叶落无痕123

已于 2022-09-20 11:36:36 修改

阅读量880

点赞数 1

分类专栏： python 文章标签： json scrapy python

于 2022-09-19 18:08:48 首次发布

原文链接：https://blog.csdn.net/a10090492/article/details/80701348

版权

python 专栏收录该内容

23 篇文章

订阅专栏

本文介绍了一个使用Scrapy框架抓取内涵社区JSON数据的爬虫实例。该爬虫能够解析并打印出每一条段子的具体内容，并预留了下一页数据加载的实现方式。此外，还提到了为了提高爬虫的隐蔽性和成功率，可以在middlewares文件中设置随机请求头。

摘要由CSDN通过智能技术生成

# -*- coding: utf-8 -*-
import scrapy
import json
 
class NeihanSpider(scrapy.Spider):
    name = 'neihan'
    allowed_domains = ['neihanshequ.com']
    start_urls = ['http://neihanshequ.com/bar/1/?is_json=1&app_name=neihanshequ_web&max_time=1521163598']
 
    def parse(self, response):
 
        # 返回的是json数据
        # 转换为python中的字典
        rs =  json.loads(response.text)
        if rs.get('message') == 'success':
            # 取出数据
            data = rs.get('data')
            # 取出下一页的时间戳
            max_time = data.get('max_time')
            # 段子数据
            detail_data = data.get('data')
            # for循环遍历数据,取出每一条段子
            for dz in detail_data:
                text = dz.get('group').get('text')
                print(text)
 
            # 找到下一页,根据时间戳拼接完整的加载更多url
            # if max_time:
            #     next_url = 'http://neihanshequ.com/bar/1/?is_json=1&app_name=neihanshequ_web&max_time='+str(max_time)
            #     # 发起请求
            #     yield scrapy.Request(
            #         url=next_url
            #     )

需要在middlewares文件中设置的一下随机请求头