![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scrapy
文章平均质量分 54
暗夜之雪love
PHP
展开
-
scrapy 爬虫入门(1)
安装pip install scrapy #就是这么简单建立项目scrapy startproject words 会创建一个words的项目目录结构words scrapy.cfg #项目的配置文件 words #项目代码 __init__.py items.py #项目的item文件 pipelines.py #项目的pi原创 2017-04-24 18:42:43 · 258 阅读 · 0 评论 -
scrapy 的 item pipeline
输入scrapy会显示帮助及可用命令1.创建项目scrapy startproject myproject2.新建一个爬虫scrapy genspider mydomain mydomain.com#查看可用的母版 scrapy genspider -l #result basic crawl csvfeed xmlfeed使用制定母版创建爬虫 scrapy genspider -t cra原创 2017-04-25 10:25:04 · 394 阅读 · 0 评论 -
scrapy的selectors
选择器Scrapy selector是以 文字(text) 或 TextResponse 构造的 Selector 实例。 其根据输入的类型自动选择最优的分析方法(XML vs HTML):from scrapy.selector import Selector from scrapy.http import HtmlResponse#文字选择器构造 body = '<html><body><spa原创 2017-04-25 14:32:29 · 342 阅读 · 0 评论 -
scrapy的spider
普通的spiderspider的属性介绍 属性名 是否必须 功能 name 是 定义如何定位爬虫并初始化话spider ,必须唯一 allowed_domains 否 包含了spider允许爬取的域名(domain)列表(list) start_requests() 否 该方法必须返回一个可迭代对象(iterable)。该对象包含了spider用于爬取的原创 2017-04-25 14:23:22 · 411 阅读 · 0 评论 -
scrapy 的命令使用
输入scrapy会显示帮助命令$ scrapyScrapy 1.3.3 - project: chineseUsage: scrapy <command> [options] [args]Available commands: bench Run quick benchmark test check Check spider contracts com原创 2017-05-04 18:05:03 · 759 阅读 · 0 评论