初识scrap框架

最新推荐文章于 2024-11-21 10:54:00 发布

fsafgfhujff

最新推荐文章于 2024-11-21 10:54:00 发布

阅读量762

点赞数

文章标签： python

本文链接：https://blog.csdn.net/y1366210615/article/details/123916368

版权

本文介绍了开源爬虫框架Scrapy的使用方法，包括创建项目、编写爬虫代码和启动爬虫。通过实例展示了如何设置项目目录、生成爬虫、定义爬取URL以及解析网页数据。Scrapy提供了一种快速、简单且可扩展的方式来抓取网站所需数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.爬虫的框架：

scrap ：

An open source and collaborative framework for extracting the data you need from websites.
In a fast, simple, yet extensible way.
1.开源的爬虫框架
2.快速、简单、高效的方式

2.基本使用

1.创建一个项目
scrapy startproject test_scrapy

	1.项目目录：
		1.scrapy.cfg  【项目的配置文件】
		2.settings.py  【项目的配置文件】
		3. spiders/  【防止 爬虫代码的目录】
2.编写爬虫代码
	1.创建一个 爬虫代码
	scrapy genspider [options] <name> <domain>

	scrapy genspider python01 www.xxx.com

 '''
name:
    1.不能重复
    2.爬虫文件的名字
'''
name = 'python01'
'''
   scrapy 允许爬取的 url 
'''
allowed_domains = ['www.baidu.com']
'''
    scrapy 去爬取的 url 列表
'''
start_urls = ['http://www.baidu.com/','https://www.sougou.com']

3.启动爬虫项目
	1.启动命令
	scrapy runspider [options] <spider_file>

	scrapy runspider ./test_scrapy/spiders/python01.py

3.代码展示

import scrapy
# -*- coding:utf-8 -*-

class Python01Spider(scrapy.Spider):
    '''
    name:
        1.不能重复
        2.爬虫文件的名字
    '''
    name = 'python01'

    #allowed_domains = ['www.baidu.com']
    '''
        scrapy 去爬取的 url 列表
    '''
    start_urls = ['https://www.shicimingju.com/book/sanguoyanyi.html']

    def parse(self, response):


        #1.scrapy 数据解析 =》
        '''
            1.标签定位：
                返回 selector(xpath,data[xpath表达式 结果])
            2.数据解析
                返回 selector(xpath,data[xpath表达式 结果])
        '''
        li_list = response.xpath('//div[@class="book-mulu"]/ul/li')

        res= []
        for index,li in enumerate(li_list):
            a_text_get = li.xpath('./a/text()').get()

            a_text_get.encode('uf-8').decode('unicode_escape')

            dic={
                'id':index,
                'title':a_text_get
            }
            res.append(dic)

        return res