- 博客(4)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 6.基本概念解释3-scrapy中的重要对象
Request初始化参数 class scrapy.http.Request( url[ callback, method=’GET’, headers, body, cookies, meta, encoding=’utf-8’, priority=0, don’t_filter=False,
2016-05-29 14:22:09
551
原创 5.基本概念介绍-scrapy的重要组件
Spider基本介绍: 概念：是一个类，它定义了怎样爬取网站，包括怎样跟踪链接、怎样提取数据；循环执行流程： 1. 通过初始的url产生request 2. 解析response 3. 使用selector 4. 存储到Item基类(scrapy.Spider)介绍： 属性： name：spider的名称，要求唯一；allowed_domains
2016-05-29 13:48:49
1138
原创 4. 基本概念介绍1-scrapy命令行工具(常用)
1、scrapy –help 查看帮助信息 2、scrapy –version 查看scrapy版本 3、scrapy –version -v 查看scrapy中各个依赖主键的版本 4、scrapy startproject projectName 创建工程 5、scrapy genspider spiderName websiteName 创建spider并添加一些网站名称信息
2016-05-29 02:17:44
481
转载 欢迎使用CSDN-markdown编辑器
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2016-05-29 01:51:45
252
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人