爬虫
文章平均质量分 67
gs_every
这个作者很懒,什么都没留下…
展开
-
Scrapy框架小例入门
scrapy1.4.0.创建一个项目scrapy startproject tutorial #项目名#其中包含tutorial/ scrapy.cfg # 部署配置文件 tutorial/ # project's Python module, you'll import your code from here __ini原创 2017-08-16 21:34:24 · 406 阅读 · 0 评论 -
requests库
pip install requests 安装requests库 import requestsr = rests.get(url)返回两个对象,response 对象和request对象 response包含爬虫返回的内容r.status_code# HTTP请求返回状态,200表示连接成功,404表示失败r.text #HTTP相应内容的字符串形式,即url对应的页面内容r.encoding原创 2017-07-17 18:25:56 · 629 阅读 · 0 评论 -
RE库
#正则表达式#操作符. #表示任何单个字符[] # 字符集,对单个字符给出取值范围, [abc] 表示a, b,c [a-z] 表示a到z单个字符[^ ] #非字符集,对单个字符给出排除范围 [^abc]表示非a或b或c的单个字符* #前一个字符0次或无限次扩展 abc* 表示ab, abc, abc, 等*? #应用于前接字符,以非贪婪模式,表示前接字符的0个或无限个匹配*? #前一个原创 2017-08-17 12:08:41 · 363 阅读 · 0 评论 -
scrapy基本使用
Global commands:startprojectgenspidersettingsrunspidershellfetchviewProject-only-commands:crawlchecklisteditparsebench###stratprojectscrapy startproject <project_name> [project_dir]#例:scrapy startpro原创 2017-08-19 14:49:57 · 377 阅读 · 0 评论 -
python3.+安装scrapy框架
之前学到scrapy库时,在python2中命令行直接用pip 就可以安装scrapy$pip intall scrapy但后来一直被编码问题烦扰,觉得索性不如转到python3中,安装scrapy时,一直遇到麻烦,后来看到一篇文章讲python3不能用pip 的方法直接安装twisted,lxml ,就换.whl的方法Python Extension Packages for Windows -原创 2017-09-25 16:19:02 · 465 阅读 · 0 评论