在Pycharm中创建Scrapy项目

本文介绍了如何在PyCharm中创建和使用Scrapy项目。首先,文章简述了Scrapy的基本构成和安装步骤,强调了在安装过程中可能需要的依赖。接着,详细说明了如何在PyCharm的终端中创建Scrapy项目,并列出项目的主要目录结构,包括spiders、item.py、pipelines.py、settings.py和scrapy.cfg等文件的作用。最后,指导读者在spiders目录下创建爬虫文件,并给出了代码模板。
摘要由CSDN通过智能技术生成

1.认识Scrapy

简而言之,Scrapy就是一个爬虫模板、一个框架。具有功能强大、速度快(自带异步),代码复杂的特点。因此,可以直接套用。

1.1 scrapy 的构成

在这里插入图片描述

1.2 Scrapy的安装

pip install Scrapy== 1.8.0

当然在Pycharm环境下,可以通过导包实现,顺序为:Twisted + lxml +Scrapy .

注:
在装包的时候,可能会要求电脑中提前装好Visual C++ ~~

2.Scrapy的使用

2.1 创建Scrapy项目

打开命令行在命令行内打开想要创建项目的文件夹,使用scrapy startproject name 创建项目。
  1. 在Pycharm中打开 View --> Tool Windows --> Terminal

    在Terminal 中输入 Scrapy 查看其是否安装成功 (若成功会显示scrapy信息)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值