scrapy
qq_41515494
这个作者很懒,什么都没留下…
展开
-
scrapy--总览
一:项目操作 创建项目:对应目录下:scrapy startproject 项目名称 创建爬虫:scrapy genspider 爬虫名称 对应域名---理应在对应目录下创建 运行爬虫:scrapy crawl 爬虫名 以下是一个典型的scrapy项目的目录结构。 其中: 1:items.py 设置数据存储模板,用于结构化数据。即列出我们需要爬取的字段,为爬虫获取页面信息提供...原创 2018-08-01 14:24:16 · 197 阅读 · 0 评论 -
scrapy------ ItemLoader(抓取工具包)
from scrapy.contrib.loader import ItemLoader---------工具类(ItemLoader)----用于规范化爬取数据 以下是一个典型的ItemLoader的用法 I = ItemLoader(item=ItemLoader,response=response) I.add_xpath(字段名,xpath表达式) I.add_css(字段名,cs...原创 2018-08-01 17:37:02 · 501 阅读 · 0 评论