爬虫
猴子饲养员
爱Python,爱生活~
展开
-
Python爬虫 --requests库实践
import requestsget请求<!--get请求--> response = requests.get(url, params, kwargs)<!--只请求url--> response = requests.get(url)<!--带参数请求--> params = {"key":"value"} response = requests.get(url, params = params原创 2017-10-29 13:55:13 · 436 阅读 · 0 评论 -
Python爬虫工具 Selenium webdriver -自动化测试工具
Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,Selenium 可以直接运行在浏览器上,它支持所有主流的浏览器(包括PhantomJS这些无界面的浏览器),可以接收指令,让浏览器自动加载页面,获取需要的数据,甚至页面截屏。from selenuum import webdriver<!--创建url--> url = "http://www.baidu.com"<!-原创 2017-11-01 20:16:13 · 476 阅读 · 0 评论 -
Python爬虫 scrapy框架 原理,scrapy开发流程
Scrapy Engine 引擎 处理整个系统,是各个模块之间的联系人,各个模块的数据均需要引擎来发送和收回 Scheduler 调度器 a.接收请求,压入队列 b.引擎再次请求时返回请求 Downloader 下载器 接收请求request,返回响应response Spider 爬虫 a.发起起始的请求 start_url b.定义如何爬取下一个网站 call_back Item原创 2017-11-03 18:12:06 · 577 阅读 · 0 评论