Python爬虫
Python新手上路
这个作者很懒,什么都没留下…
展开
-
Scrapy爬虫项目——阿里文学&当当网
1. Cmd命令行创建项目创建项目命令:scrapy startproject [项目名]Items定义要爬取的东西;spiders文件夹下可以放多个爬虫文件;pipelines爬虫后处理的文件,例如爬取的信息要写入数据库;settings项目设置2. Scrapy常用模板Scrapy-般通过指令管理爬虫项目,常用的指令有:(1) startproject创建爬...原创 2020-04-07 09:41:50 · 290 阅读 · 0 评论 -
Python——Windows下安装gevent库
在学习Python爬虫过程中,由于用多协程异步的爬取方法实现数据爬取需要用到gevent库,在导入gevent库的过程中出现如下错误。一开始我只是用pip install gevent指令安装gevent库,但是出现如下图的异常之后我通过百度查找了各种安装gevent的方法,许多博客和论坛提到在网站https://www.lfd.uci.edu/~gohlke/pythonlibs...原创 2019-10-27 17:00:37 · 3545 阅读 · 2 评论