为了 方便 爬取更多我们想爬取的网页,我们引入了一个python框架——Scrapy。 1.我们先来安装它——在终端python解释器安装路径下,输入指令: pip install scrapy 当安装成功后,我们来使用它,继续在本环境下,我们创建scrapy项目,输入指令: scrapy startproject 项目名称; 2. 执行完命令后,我们打开pycharm后,会看到如下的新建项目 简单认识后,我们继续来认识scrapy框架操作原理: 这些都是隐式操作,对我们正常操作并没有太大影响,所以接下来我们继续操作scrapy框架: 在执行完上面新建项目指令后,我们接着输入新的一条指令: cd 目录名字/目录名字/spiders; 然后我们再输入一条指令:scrapy genspider ‘爬虫名字’ 网页的域名; 这时,我们才真正完整的创建了一个scrapy项目;那怎么运行呢? scrapy crawl 爬虫名称; 如果我们想输出测试一下的话,我们可以在新建项目下找到 名为 (自己上面输入指令时的)‘爬虫名字’的文件,然后在里面的def方法里面写入print(‘测试成功’),然后再次运行指令:scrapy crawl 爬虫名称即可,即可看到在终端环境下,输出一堆信息和四个汉字——测试成功。