Scrapy官方文档笔记

本文记录了使用Scrapy创建项目的步骤,从cmd命令行启动项目到用PyCharm打开。在spiders目录下创建Python文件,并讲解了如何格式化输出和运行爬虫。还介绍了起始URL的设置,包括文件操作模式和页面处理方法。
摘要由CSDN通过智能技术生成

1.创建Scrapy项目

首先用cmd命令行去操作,输入

scrapy startproject 项目名

#这里输入的项目名,就是在你输入的目录它会建立一个新的文件夹,这个文件夹里面还是同样名字的一个文件夹,项目新建的时候其实里面只有一个,后来的.idea是被pycharm打开之后pycharm生成的。

那这一步其实也就是决定了文件夹名字,以及在命令栏中决定根目录。

 

2.然后用pycharm打开这个项目,从根目录打开,在spiders里面新建一个python文件,从这里开始。

 

3.

import scrapy
class mingyan(scrapy.Spider):  # 需要继承scrapy.Spider类,类名随意后面不用
    name = "Scrapy_test"  # 定义蜘蛛名,这个重要,根据这个启动的,在这里面写清楚用来爬什么的

    def start_requests(self):  # 由此方法通过下面链接爬取页面
        # 定义爬取的链接
        urls = [
            'http://lab.scrapyd.cn/page/1/',
            'http://lab.scrapyd.cn/page/2/',
        ]

        for url in urls:
            yield scrapy.Request(url=url, callback=self.parse)  # 爬取到的页面如何处理?提交给parse方法处理

    def parse(self, response):

        '''
    
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值