边学边记
BetterL
-CSDN新手,IT小白
-还搞不清博客怎么写
-文章纯属个人总结理清思路用,可能会有错。
展开
-
欢迎使用CSDN-markdown编辑器
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦: Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown文件 丰富的快捷键 快捷键 加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl原创 2017-01-24 12:46:09 · 140 阅读 · 0 评论 -
urllib
urllib模块的应用: python2里分为urllib,urllib2等模块,在3中合成了一个,另外还有urlib3等其他模块。其实他是个一个包,包括了request,error,parse,robotparser四个模块。最常用的就是request模块。 在应用是需要先导入urllib.request模块。 import urllib.request 常用的函数: urllib.re原创 2017-01-24 13:12:07 · 215 阅读 · 0 评论 -
Scrapy
scrapy是什么? scrapy是python开发的一个web抓取框架,用于抓取web站点并从中提取结构化的数据。由于它是一个框架,所以应用者可以根据需求自由修改。除此之外,它提供了多种类型爬虫的基类。可以应用在数据挖掘,信息处理和自动化测试等多方面。俗称’西瓜皮’,’小刮刮’。 scrapy框架scrapy Engine:爬虫引擎,是工作的核心,负责数据流在系统所有组件中的流动 schedul原创 2017-03-03 09:31:50 · 272 阅读 · 0 评论 -
scrapy-2
接1 编写爬虫spider,是用户编写用于从网站上爬取数据的类。里面需要包含: 用于下载的初始url(start_urls) 爬虫名字(name) 如何跟进网页中用户的链接(parse方法) 分析页面中的内容 提取生成item的方法 import scrapy from scrapy.http import Request from qiubai2.items import Qiubai2Item原创 2017-03-03 14:09:36 · 180 阅读 · 0 评论 -
scrapy-1
1. scrapy是什么? scrapy是python开发的一个web抓取框架,用于抓取web站点并从中提取结构化的数据。由于它是一个框架,所以应用者可以根据需求自由修改。除此之外,它提供了多种类型爬虫的基类。可以应用在数据挖掘,信息处理和自动化测试等多方面。俗称'西瓜皮','小刮刮'。 2. scrapy框架 - scrapy Engine:爬虫引擎,是工作的核心,负责数据流在原创 2017-03-03 10:35:40 · 250 阅读 · 0 评论