![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python scrapy
dandanfengyun
这个作者很懒,什么都没留下…
展开
-
scrapy-splash的使用学习
scrapy-splash是为了解决 scrapy不能够解析JavaScript加载的网页这一问题而存在的。splash作为js渲染服务,是基于Twisted和QT开发的轻量浏览器引擎。scrapy-splash模块主要使用了Splash。也就是说,splash作为一个中间代理将结果返回。splash官方文档https://splash.readthedocs.io/en/stable/...原创 2020-02-08 16:42:11 · 814 阅读 · 0 评论 -
python安装scrapy框架
python 安装scrapy 爬虫框架正常情况下直接 pip install scrapy即可安装成功window下可能报错Command “d:\python\python.exe -u -c “import setuptools, tokenize;file=‘C:\Users\ADMINI~1\AppData\Local\Temp\pip-install-hgx6anap\Twis...原创 2018-10-29 16:55:19 · 155 阅读 · 0 评论 -
scrapy 单独执行 spider
爬虫 scrapy 单独执行 spider模块创建 .py 文件 名称随意 可用 minispider.py内容class Minispider(scrapy.Spider):name = 'minaspider'def start_requests(self): print('1, start request') urls = ['http://www.qidian...原创 2018-10-29 21:31:46 · 987 阅读 · 0 评论 -
创建scrapy 项目框架
创建项目scrapy startproject project_name创建spidercd project_namescrapy genspider 模块名 网址scrapy genspider hangzhou www.xxxx.com目录结构├── hangzhounews – 项目根目录│ ├── init.py│ ├── pycache...原创 2018-10-29 21:49:57 · 150 阅读 · 0 评论