python
文章平均质量分 66
MaJson
这个作者很懒,什么都没留下…
展开
-
爬虫框架Scrapy入门与实践-环境搭建及图解(1)
安装指南 支持的 Python 版本 Scrapy 需要 Python 3.6+,CPython 实现(默认)或 PyPy 7.2.0+ 实现(参见:ref:python:implementations)。 安装 Scrapy 如果您使用的是Anaconda或Miniconda,则可以从conda- forge频道安装该软件包,该频道具有适用于 Linux、Windows 和 macOS 的最新软件包。 要使用 安装 Scrapy conda,请运行: conda install -c conda-forg原创 2021-09-03 11:17:56 · 318 阅读 · 0 评论 -
SCRAPY命令
SCRAPY命令 创建一个新的项目 scrapy startproject +一个项目的名称 注释:我们可以进入创建的项目执行相关的命令 cd +demo1 2.生成爬虫 scrapy genspider +文件名+网址 3.运行(crawl) scrapy crawl +爬虫名称 4.check检查错误 scrapy check 5.list返回项目所有spider名称 scrapy list 6.fetch 帮助我们下载网页,将网页源代码返回(前面是一些日志,后面是源代码) 也可以加一些原创 2021-09-02 14:54:34 · 109 阅读 · 0 评论