- 博客(2)
- 收藏
- 关注
原创 虚拟环境搭建与scrapy爬虫项目创建
虚拟环境搭建(virtualenv):pip 安装 virtualenvwrapper-win 统一管理虚拟环境,放在环境变量WORKON_HOME路径下(Evns文件夹下)然后可以在cmd中执行下列命令:workon 显示当前所有虚拟环境;workon + 名称 进入相应虚拟环境;mkvirtualenv + 名称 创建虚拟环境。安装库:(镜像快速下载)镜像:pip insta...
2020-02-21 13:00:23
637
原创 scrapy爬虫框架中各文件功能简单介绍
爬虫文件(spiders / jobbole.py):spiders/jobbole.pyclass JobboleSpider(scrapy.Spider): 爬虫类parse() 函数解析出列表页 urls,每条 url 依次通过 Request 交给 parse_detail()(作为参数response)(如果还需要列表页每栏封面图,需要在 Request 的 meta ...
2020-02-21 12:37:17
1064
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人