爬虫框架scrapy--2入门使用

最新推荐文章于 2024-11-15 14:43:32 发布

梦森(:

最新推荐文章于 2024-11-15 14:43:32 发布

阅读量85

点赞数

分类专栏：爬虫文章标签：爬虫 python

本文链接：https://blog.csdn.net/mengsenzhimeng/article/details/120431682

版权

爬虫专栏收录该内容

7 篇文章 0 订阅

订阅专栏

本文介绍了一个使用Scrapy框架实现的糗事百科爬虫项目。该爬虫能够抓取糗事百科网站上的段子内容及链接，并将其保存到本地文件中。文中详细展示了爬虫的实现过程，包括爬虫类的定义、数据解析方法以及如何提取所需数据等。

摘要由CSDN通过智能技术生成

在项目下spider文件夹中找到创建的爬虫实例，

import scrapy

class ItcastSpider(scrapy.Spider):
    name = "itcast"
    allowed_domains = ["qiushibaike.com"]#域名限制
    start_urls = ("https://www.qiushibaike.com/text",)#需要爬取的第一个网页
    def parse(self, response):#在这个函数中可以对爬取的网页做初步处理
        e = response
'''  
--------------向pipelines通道传递数据--------------
   获取的数据需要是字典的形式itmes={}
   使用yeild 字典 的形式 将数据传送给pipelines通道进行处理，示例： yeild itmes


'''
'''  
--------------还可以爬取下一页--------------
     
        #下一页地址的爬取：yield scrapy.Request(next_url,callbace=self.parse)
        #还可以携带其他参数：method='GET',headers,body,cookies,meta,dont_filter=False(是否去重）
        #其中meta是字典，可以在不同的处理函数中传递数据
        #callbace回调函数，指明用来处理的函数，在当前文件中参照parse函数进行自定义


'''
'''
--------------数据提取--------------

使用xpath进行网页分析，用.extract()或者extract.first()方法提取最终数据


'''

        contents = [div.xpath('string(.)').strip() for div in e.xpath('//div[@class="content"]')]
        urls = ['https://www.qiushibaike.com{}'.format(url) for url in e.xpath('//ul[@class="pagination"]/li/a/@href')]
        with open('duanzi.txt', 'a', encoding='utf-8') as f:
            for data in urls:
                f.write(data + '\n')