![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
云丶图
人生苦短,我用python
展开
-
爬虫requests模块
requests 模块 1.基于GET请求 import requests response=requests.get('http://www.baidu.com/') print(response.text) 1.1.带参数的GET请求–>params #在请求头内将自己伪装成浏览器,否则百度不会正常返回页面内容 import requests response=requests.get...原创 2019-01-15 08:36:39 · 747 阅读 · 0 评论 -
爬虫之selenium模块
selenium模块 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器,完全模拟浏览器的操作,比如跳转、输入、点击、下拉等,来拿到网页渲染之后的结果,可支持多种浏览器 from selenium import webdriver browser=webdriver.Chrome...原创 2019-01-22 19:47:13 · 219 阅读 · 0 评论 -
Scrapy框架
Scrapy框架 Scrapy一个开源和协作的框架,其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的,使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛,可用于如数据挖掘、监测和自动化测试等领域,也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。 Scrapy...原创 2019-02-21 22:44:44 · 195 阅读 · 0 评论