Python爬虫学习
Yannie_CUFE
这个作者很懒,什么都没留下…
展开
-
Python爬虫学习之selenium+ChromeDriver实现爬虫
selenium+ChromeDriver实现爬虫参考:https://blog.csdn.net/u010986776/article/details/79266448selenium所做的事情,恰恰是驱动真正的浏览器去执行请求和操作无头浏览器:PhantomJS —— 成为历史ChromeDriverSelenium和ChromeDriver的安装与配置Selenium库的...转载 2020-03-22 16:36:27 · 1189 阅读 · 1 评论 -
Python爬虫学习之API与模拟ajax请求
API的使用——通过API向服务器请求数据优点:简单直接,高效率地批量爬取;解决动态网页的爬取。缺点:通过API的缺点是有些网站会限制API调用的次数和频率,用户需要付费来升级成高级用户来获取更灵活的API调用。HTTP协议在HTTP协议下,客户端和服务端通过交换各自的消息进行交互。由像浏览器这样的客户端发出的消息叫做请求(requests),被服务端回应的消息叫做响应(respons...原创 2019-11-18 21:37:00 · 1405 阅读 · 0 评论 -
Python爬虫学习之下载源文件与数据存储
下载源文件与数据存储下载源文件 urlretrieve多用于非结构化的数据(图片等),以下载http://www.pythonscraping.com 上的logo.jpg为例:'''urlretrieve'''from urllib.request import urlretrievefrom urllib.request import urlopenfrom bs4 import ...原创 2019-11-18 21:42:31 · 326 阅读 · 0 评论