python- （scrapy上）爬取csdn所有博客内容

最新推荐文章于 2024-09-12 07:36:23 发布

淋巴不想动

最新推荐文章于 2024-09-12 07:36:23 发布

阅读量1.4k

点赞数 2

分类专栏： python 爬虫

本文链接：https://blog.csdn.net/weixin_43067754/article/details/87892217

版权

本文介绍如何使用Scrapy框架爬取CSDN博客内容，包括编写csdn.py、定义item.py、解析页面csdn.py的parse方法，以及通过pipeline.py将数据保存为CSV文件。在解析过程中，重点关注了博客标题、URL和内容的提取，并实现了简单的翻页功能，爬取了9页的博客内容。

摘要由CSDN通过智能技术生成

创建csdn博客scrapy

在这里插入图片描述为了避免冲突，独立将生成的csdnSpider文件夹打开

在这里插入图片描述

1编写csdn.py

# -*- coding: utf-8 -*-
import scrapy
class CsdnSpider(scrapy.Spider):
    name = 'csdn'
    allowed_domains = ['csdn.net']
    start_urls = ['https://blog.csdn.net/weixin_40543283',
                  # https: // blog.csdn.net / weixin_40543283
                ]

    def parse(self, response):
        pass

2.item.py


import scrapy


class csdnItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    title = scrapy.Field()
    url = scrapy.Field()
    content = scrapy.Field()