Python爬虫
文章平均质量分 67
he1ll
一身转战三千里,一剑曾当百万师
展开
-
Python爬虫学习笔记(2022 - 04:get请求的发送与quote的使用
1、get请求的参数 在向服务器请求数据的时候,我们经常采用的请求类型有get或者post请求两种,两者最大的区别的就是请求参数的位置,get请求的请求参数通常直接拼接在url地址上,而post请求的请求参数通常放在请求体中,本章我们只简要介绍一下get请求的相关内容。 get请求参数的格式:url?a=1&b=2&c=three后面红色的部分就是请求参数,那请求参数具体有什么用呢?比如我们在登录的时候,服务器怎么知道我是这个号,而不是...原创 2022-01-16 22:10:29 · 583 阅读 · 0 评论 -
Python爬虫学习笔记(2022)-03:https反爬与请求对象的定制
1、直接使用url爬取某度首页 在01:urllib的基本使用中我们利用urllib.request.urlopen()方法爬取了某度的首页,当时强调了输入的url必须是http:www.baidu.com/,而不能是https:www.baidu.coms/,这次我们将url替换为https:www.baidu.coms/看看urllib.request.urlopen()还好不好使!import urllib.requesturl = 'https://www.baidu....原创 2022-01-15 22:04:13 · 917 阅读 · 0 评论 -
Python爬虫学习笔记(2022)-02:视频与图片的爬取
一、API介绍上一次介绍了如何使用urllib.request.urlopen()获取网页源码,那如何爬取网页上的视频与图片呢?就是本次要说的另一个接口:urllib.request.urlretrieve(url,filename),这个函数有两个主要的参数: ①url:要爬取的图片、视频或者网站资源的地址; ②filename:爬取资源的保存位置。 废话不多说,来爬取试试看!二、图片爬取(以百度图片为例) 1...原创 2022-01-14 20:36:58 · 1277 阅读 · 0 评论 -
Python爬虫学习笔记(2022)-01:urllib的基本使用
1、爬虫的基本原理 熟悉前端的朋友肯定知道,在JS代码中可以使用AJAX、axios提供的API向服务器提供的数据接口请求各种数据,包括HTML网页、图片数据、json数据等,既然这样,JS能做的,Python肯定能做,因此,爬虫的原理就是模拟浏览器向服务器接口发送请求并对接收到的数据进行解析、存储和分析。2、urllib库的使用在Python中如何向服务器发送请求呢?肯定不需要我们自己动手去底层实现,我们可以借助于Python的原生库:urllib。 ...原创 2022-01-11 12:20:30 · 449 阅读 · 0 评论