爬虫实战三、PyCharm搭建Scrapy开发调试环境

#一、环境准备

#二、PyCharm配置Scrapy

###2-1、创建Python项目

注意,由于无法使用PyCharm直接创建Scrapy项目,因此需要先创建普通的Python项目。

创建普通Python项目mySpider。

图片.png

选择项目位置。

TIM截图20190215160105.png

###2-2、配置Project Interpreter

点击File-> Settings->Project: mySpider->Project Interpreter。

TIM截图20190215161633.png

注意此截图已经配置好完毕,如果没有Project Interpreter,点击下图红框处添加。

TIM截图20190215163513.png

添加Project Interpreter。

TIM截图20190215163542.png

注意:如果有多个Python版本,为防止冲突可以选择第一个虚拟环境,此处我只有一个环境,选择配置系统解释器。

TIM截图20190215164629.png

根据自身实际情况进行选择。

TIM截图20190215164832.png

###2-3、添加Scrapy的相关包

解释器安装完毕,点击右下方的+号,查询包

TIM截图20190215164951.png

安装包,依次安装:

lxml -> zope.interface -> pyopenssl -> twisted -> scrapy

一般情况下Anaconda已经安装了很多类库,我们只需安装scrapy即可。显示蓝色代表已经安装成功。

TIM截图20190215165030.png

  • 5
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
PyCharm中创建Scrapy爬虫可以按照以下步骤进行操作: 1. 首先,打开PyCharm,并进入你的项目文件夹。 2. 在项目文件夹中,打开终端或命令提示符。 3. 在终端或命令提示符中,使用以下命令创建Scrapy爬虫文件: ``` scrapy genspider <name> <domain> ``` 其中,`<name>`是你想要给爬虫命名的名称,`<domain>`是你想要爬取的网站的域名。例如: ``` scrapy genspider myspider example.com ``` 这将在项目的`spiders`文件夹下生成一个名为`myspider.py`的爬虫文件。 4. 现在你可以在PyCharm中找到刚刚生成的爬虫文件,可以根据需要对其进行编辑和配置。 5. 如果你想直接运行爬虫,可以在终端或命令提示符中使用以下命令: ``` scrapy crawl <spider_file> ``` 其中,`<spider_file>`是你要运行的爬虫文件的名称(不需要包括`.py`扩展名)。例如: ``` scrapy crawl myspider ``` 这将启动名为`myspider.py`的爬虫。 通过以上步骤,你可以在PyCharm中创建和运行Scrapy爬虫。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [pycharm如何快速创建scrapy项目](https://blog.csdn.net/CowBoySoBusy/article/details/83536992)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [pycharm实现scrapy爬虫的生成和入门](https://blog.csdn.net/qq_41337100/article/details/106456551)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值