虚拟环境搭建与scrapy爬虫项目创建

本文介绍了如何使用virtualenv搭建Python虚拟环境,管理不同项目的依赖,并详细阐述了scrapy爬虫项目的创建步骤,包括安装必要的库、创建和运行爬虫,以及在命令行中进行调试的方法。
摘要由CSDN通过智能技术生成
虚拟环境搭建(virtualenv):

pip 安装 virtualenvwrapper-win 统一管理虚拟环境,放在环境变量WORKON_HOME路径下(Evns文件夹下)然后可以在cmd中执行下列命令:

  • workon 显示当前所有虚拟环境;
  • workon + 名称 进入相应虚拟环境;
  • mkvirtualenv + 名称 创建虚拟环境。
安装库:
  • (镜像快速下载)镜像:pip install -i https://pypi.douban.com/simple 库名
  • (找不到时可用)进入 https://www.lfd.uci.edu/~gohlke/pythonlibs/ 下载对应版本 whl 文件,cmd 进入所在目录,用 workon 进入虚拟环境,再pip install whl文件名

弯路经验:
有时候 pip 安装 scrapy 库会报错,可以试试先安装twisted,然后安装 scrapy

创建项目:

scrapy startproject + 项目名

创建爬虫:</
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值