01 python 爬虫基础 (url request)

已于 2023-02-07 16:05:35 修改
阅读量696 收藏 1
点赞数
分类专栏： 爬虫程序 文章标签： 爬虫 python
于 2023-02-02 20:19:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/March_A/article/details/128856719
版权

第一章：基础

爬虫的分类:

  • 通用网络爬虫: 百度，Google等搜索引擎，从一些初识的URL扩展到整个网站，主要为门户站点搜索引擎和大型网站服务采集数据
  • 聚焦网络爬虫: 又称主题网络爬虫，选择性地爬行根据需求的主题相关页面的网络爬虫
  • 增量式网络爬虫: 对已下载网页采取增量式更新知识和只爬行新产生或者已经发生变化的网页爬虫
  • 深层网络爬虫: 大部分内容不能通过静态的URL获取、隐藏在搜索表单后的、只有用户提交一些关键词才能获得的网络页面

1、HTTP与HTTPS

  • HTTP  全称是HyperText Transfer Protocal ，中文意思是超文本传输协议，是一种发布和接收HTML（HyperText Markuup Language）页面的方法。服务器端口号为80端口
  • HTTPS （全称：Hyper Text Transfer Protocol over SecureSocket Layer） ，是HTTP协议的加密版本，在HTTP下加入了SSL层，服务器端口号是443
  • F12 调出浏览器的控制器

2、URL与URI

  • URL(网址)是Uriform Resource Locator的简写，统一资源定位符。一个URL由以下几部分组成：
    • 1)协议的类型
    • 2)主机名称/域名
    • 3)端口号
    • 4)查找路径  
    • 5)查询参数
    • 6)锚点，前端用来做面定位的。现在一些前后端分离项目，也用锚点来做导航
      • 前端定位
      • 锚点导航   动的是#之后的内容  ,根据锚点去请求数据 https://music.163.com/#/friend
  • URI:统一资源标识符 Uniform Resource Identifier ,是一个用于标识某一互联网资源名称的字符串

3、常见的请求方式

  • get请求：一般情况下，只从服务器获取数据下来，并不会对服务器资源产生任何影响的时候会使用get请求。
  • post请求：向服务器发送数据(登录）、上传文件等，会对服务器资源产生影响的时候会使用Post请求。

区别：

  • Get是不安全的，因为在传输过程，数据被放在请求的URL中；Post的所有操作对用户来说都是不可见的。
  • Get传送的数据量较小，这主要是因为受URL长度限制,不能大于2kb；Post传送的数据量较大，一般被默认为不受限制。
  • Get限制Form表单的数据集的值必须为ASCII字符；而Post支持整个ISO10646字符集。
  • Get执行效率却比Post方法好。Get是form提交的默认方法。

4、常见的请求头参数

http协议中，向服务器发送一个请求，数据分为三部分:

  • 第一个是把数据放在url中
  • 第二个是把数据放在body中(post请求时）
  • 第三个就是把数据放在head中

常见的请求头参数:

  • user-agent:浏览器名称
  • referer:表明当前这个请求是从哪个url过来的
  • cookie:  http协议是无状态的。也就是同一个人发送了两次请求。服务器没有能力知道这两个请求是否来自同一个人。

5、 常见的响应状态码

  • 200:  请求正常，服务器正常的返回数据
  • 301：永久重定向。比如访问http://www.360buy.com的时候会重定向到www.jd.com 
  • 404：请求的url在服务器上找不到，换句话说就是请求的url错误.
  • 418：发送请求遇到服务器端反爬虫，服务器拒绝响应数据
  • 500：服务器内部错误，可能是服务器出现了bug

6、HTTP请求的交互过程

  • (1) 客户端浏览器向网站所在的服务器发送一个请求
  • (2) 网站服务器接收到这个请求后进行解析、处理，然后返回响应对应的数据给浏览器
  • (3) 浏览器中包含网页的源代码等内容（存在浏览器的缓存中），浏览器再对其进行解析，最终将结果呈现给用户

7、Chrome分析网站

F12 打开开发者界面，F5刷新

  • Elements ：可以帮助我们分析网页结构，获取我们想要的数据
  • Console控制台 ：打印输出网站的一些信息，比如说网站的招聘信息
  • Sources相当于一个文件夹一样，加载这个网页所需要的所有的源文件，除了Elements的源代码之外，还有一些CSS文件、JS文件等。
  • Network ：查看整个网页发送的所有网络请求。一般我们想要去查看某个请求的信息，都可以到这里面去看

8、Session与Cookie

  • Session
    • Session代表服务器与浏览器的一次会话过程。
    • Session是一种服务器端的机制，Session对象用来存储特定用户会话所需的信息。
    • Session由服务器端生成，保存在服务器的内存、缓存、硬盘或数据库中
  • Cookie
    • Cookie是由服务端生成后发送给客户端（通常是浏览），Cookie总是保存在客户端
    • Cookie的基本原理
      • (1)创建Cookie
      • (2)设置存储Cookie
      • (3)发送Cookie
      • (4)读取Cookie

9、JSON

JavaScript ObjectNotation，JS对象标记）是一种轻量级的数据交互格式，采用完全独立于编程语言的文本格式来存储和表示数据。

  • 简洁和清晰的层次结构使得JSON成为理想的数据交换语言，易于阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率。
  • JSON的数据格式：
    • （1）对象表示为键值对
    • （2）数据由逗号分隔
    • （3）花括号保存对象
    • （4）方括号保存数组
  • 在数据结构上，JSON与Python里的字典非常相似

10、Ajax

Ajax在浏览器与Web服务器之间使用异步数据传输。这样就可以使网页从服务器请求少量的信息，而不是整个页面。

  • Ajax技术独立于浏览器和平台。  
  • Ajax一般返回的是JSON，直接对Ajax地址进行Post或get，就返回JSON数据了

第二章：实操

1、urllib简介

  • urllib是Python自带的标准库中用于网络请求的库，无需安装，直接引用即可
  • 通常用于爬虫开发、API（应用程序编程接口）数据获取和测试
  • urllib库的4大模块:
    • urllib.request :用于打开和读取URL
    • urllib.error:包含提出的例外(异常)urllib.request
    • urllib.parse:用于解析URL
    • urllib.robotparser:用于解析robots.txt文件
import urllib.parse
kw = {'wd':'马士兵'}
# 编写
result = urllib.parse.urlencode(kw)
print(result)

# 解码
res = urllib.parse.unquote(result)
print(res)

2、发送请求

  • urllib.request库
    • 模拟浏览器发起一个HTTP请求，并获取请求响应结果
  • urllib.request.urlopen的语法格式
    • urlopen(url, data=None, [timeout,]*, cafile=None, capath=None, cadefault=False, context=None)
  • 参数说明:
    • url：url参数是str类型的地址，也就是要访问的URL, 例如:https://www.baidu.com
    • data：默认值为None, urllib判断参数data是否为None从而区分请求方式。或参数data为None，则代表请求方式为Get，反之请求方式为Post，发送Post请求。参数data以字典形式存储数据，并将参数data由字典类型转换成字节类型才能完成Post请求
  • urlopen函数返回的结果是一个: http.client.HTTP Response 对象
  • 发送请求-Request请求:
    •  如果在请求中需要加入headers (请求头)、指定请求方式等信息，那么就可以利用更加大的Request来构建一个请求。  # 添加浏览器信息
    • urllib.request.Request(url, data=None, headers={}, method=None)
import urllib.request

url = 'http://www.baidu.com'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36'}
# 构建请求对象
req = urllib.request.Request(url,headers=headers)

# 获取opener对象
opener = urllib.request.build_opener()

resp = opener.open(req)
print(resp.read().decode())

3、IP代理

  • 为什么需要使用IP代理
    • 假如一个网站它会检测某一段时间某个IP的访问次数，如果访问次数过多，它会禁止你的访问。所以你可以设置一些代理服务器来帮助你做工作，每隔一段时间换一个代理。
  • IP代理的分类:
    • 透明代理：目标网站知道你使用了代理并且知道你的源IP地址，这种代理显然不符合我们这里使用代理的初衷
    • 匿名代理：匿名程序比较低，也就是网站知道你使用了代理，但是并不知道你的源IP地址
    • 高匿代理：这是最保险的方式，目录网站既不知道你使用了代理更不知道你的源IP
  • IP代理的方式:
# 免费代理IP ：https://www.xicidaili.com/nn/
# 大象代理 ：收费: http://www.daxiangdaili.com/
# 快代理：收费: https://www.kuaidaili.com/

4、使用Cookie

  • 为什么需要使用Cookie
    • 解决http的无状态性
  • 使用步骤
    • 实例化 MozillaCookieJar (保存cookie)
    • 创建 handler对象（cookie的处理器）
    • 创建opener对象
    • 打开网页(发送请求获取响应)
    • 保存cookie文件

5、错误解析

异常处理主要用到两大类:

  • urllib.error.URLError :用于捕获由urllib.request产生的异常，使用reason属性返回错误原因
  • urllib.error.HTTPError :用于处理HTTP与HTTPS请求的错误，它有三个属性：
    • code:请求返回的状态码
    • reason:返回错误的原因
    • headers:请求返回的响应头信息
# url = 'http://www.google.com'
url = 'http://www.google.cn'       # 正确的网址
try:
    resp = urllib.request.urlopen(url)
    print(resp)

except urllib.error.URLError as e:
    print(e.reason)

6、requests库

  • 最常用的方法为get()和post()分别用于发送Get请求和Post请求
  • 语法结构:
    • requests.get(url, params=None)
  • 参数说明：
    • url:需要爬取的网站的网址
    • params:请求参数
处女座_三月
关注
专栏目录
[Python]网络爬虫（一）：抓取网页的含义和URL基本构成
runfeel
05-13 721
一、网络爬虫的定义 网络爬虫，即Web Spider，是一个很形象的名字。 把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。 网络蜘蛛是通过网页的链接地址来寻找网页的。 从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址， 然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。 如果把整个互联网当成一...
python爬虫实现POST request payload形式的请求
12-20
总之，理解`request payload`与`form data`的区别，并能用Python的`requests`库正确构造和发送POST请求，是Python爬虫开发中不可或缺的技能。在实际应用中，我们应根据目标网站的具体需求来选择合适的数据格式和方法...
[Python]网络爬虫（二）：利用urllib2通过指定的URL抓取网页内容
thewebcode
05-13 847
所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。 类似于使用程序模拟IE浏览器的功能，把URL作为HTTP请求的内容发送到服务器端， 然后读取服务器端的响应资源。 在Python中，我们使用urllib2这个组件来抓取网页。 urllib2是Python的一个获取URLs(Uniform Resource Locators)的组件。 它以urlopen函数...
URLRequest
未央
07-20 779
request:URLRequest —URLRequest 对象，指定要导航到哪个 URL。  window:String (default =null) — 浏览器窗口或 HTML 帧，其中显示 request 参数指示的文档。可以输入某个特定窗口的名称，或使用以下值之一：
python requests【1】处理url模块
爱死亡机器人
10-10 2523
1. 简介 requests是python的一个HTTP客户端库，跟urllib，urllib2类似，那为什么要用requests而不用urllib2呢？官方文档中是这样说明的： 2. 安装 pip install requests 3. 方法 import requests HTTP请求：GET、POST、PUT、DELETE、HEAD、OPTIONS requests.get("http://xxxx.com/") requests.post("http://xxxx.com/post", data
python的requests库和urllib包对比
weixin_34279184的博客
07-04 219
python中有多种库可以用来处理http请求，比如python的原生库：urllib包、requests类库。urllib和urllib2是相互独立的模块，python3.0以上把urllib和urllib2合并成一个库了，requests库使用了urllib3。requests库的口号是“HTTP For Humans”，为人类使用HTTP而生，用起来不知道要比pytho...
基于python 爬虫爬到含空格的url的处理方法
01-20
在某网站主页提取url进行迭代，爬虫请求主页时没有问题，返回正常，但是在访问在主页提取到的url时出现了400状态码(400 Bad Request)。 结论 先贴出结论来，如果url里有空格的话，要把空格替换成 ，也就是url编码，...
python爬虫开发之Request模块从安装到详细使用方法与实例全解
12-20
Python爬虫开发中，Request模块是一个非常重要的工具，它提供了简单易用的API来处理HTTP请求。Request模块的安装可以通过...无论是初学者还是经验丰富的开发者，掌握Request模块的使用都是Python爬虫开发中的必备技能。
python爬虫基础课件.pdf
06-20
根据提供的文件信息，这份python爬虫基础课件主要涵盖了网络爬虫的概念、原理、基本流程以及实现数据抓取和处理的关键技术点。 首先，网络爬虫是自动获取网页内容的程序，常用于搜索引擎、数据采集等场景。网络爬虫...
python中request_Python urllib request模块发送请求实现过程解析
weixin_39603778的博客
12-10 336
1.Request()的参数import urllib.requestrequest=urllib.request.Request('https://python.org')response=urllib.request.urlopen(request)print(response.read().decode('utf-8'))通过构造这个数据结构，一方面可以我们可以将请求独立成一个对象，另一方面...
request获取url以及其参数
06-18
request获取url以及其参数
爬虫，urllib.request.url,lib
qin_shang_的博客
01-26 246
【1701H1】【穆晨】【180126】第108天总结 URL：    统一资源定位符是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的URL，它包含的信息指出文件的位置以及浏览器应该怎么处理它。它最初是由蒂姆·伯纳斯·李发明用来作为万维网的地址。现在它已经被万维网联盟编制为互联网标准RFC1738了。 一般格式： pr
Python中关于urllib库和request库详细教程
最新发布
code_xu的博客
04-23 4244
urllib库的核心功能是：向服务器发送请求，得到服务器响应，获取网页的内容。在某些网络情况不好或者服务器端异常的情况会出现请求慢的情况，或者请求异常，这时给timeout参数设置一个请求超时时间，而不是让程序一直在等待结果；钩子函数连接服务器成功以及每个数据块下载完成时各调用一次，包含3个参数，依次为已经下载的数据块，数据块的大小，总文件的大小，可用于显示下载进度。Ø requset：HTTP请求模块，可以用来模拟发送请求，只需要传入URL及额外参数，就可以模拟浏览器访问网页的过程。
python request url 转义_Python爬虫这么久了，它们三兄弟终于搞清楚了（干货）
weixin_39846361的博客
11-21 1791
点击上面“蓝字”关注我们！urllib，urllib2和 urllib3的区别01/11周五晴 在可供使用的网络库中，urllib和urllib2可能是投入产出比最高的两个，是Python中操作url的官方标准库。它们让你能够通过网络访问文件，就像这些文件位于你的计算机中一样。只需一个简单的函数调用，就几乎可将统一资源定位符(URL)可指向的任何动作作为程序的输入。结合re...
python爬虫——urlrequest-urlparse-构建请求对象（1）
weixin_44321116的博客
12-04 309
1.read()：以二进制的格式读取文相应的内容 2.geturl()：根据相应的内容，获取到请求的url 3.getheaders()：获取头部信息，列表里面有元组 一般转成字典 4.getcode()：获取状态码 5.readlines()：按行读取，返回一个列表，都是字节类型 6.下载图片的两种方式 方式一： import urllib.request image_url = '...
Python爬虫学习：使用urllib（request）
南淮北安的博客
04-09 678
1. 前言 在Python2中，有urllib和urllib2两个库来实现请求的发送。而在python3中，已经不存在urllib2这个库了，统一为urllib。 urllib是Python内置的HTTP请求库，也就是说不需要额外安装即可使用，它一共包含四个模块： request：它是最基本的HTTP请求模块，可以用来模拟发送请求。就像在浏览器输入网址，然后回车一样，只需要给库方法传入URL以及额...
Python 网络请求模块 urllib 、requests详解
weixin_62853513的博客
09-14 540
大家早好、午好、晚好吖 ❤ ~欢迎光临本文章Python 给人的印象是抓取网页非常方便，提供这种生产力的，主要依靠的就是 urllib、requests这两个模块。urllib.request 提供了一个 urlopen 函数，来实现获取页面。支持不同的协议、基本验证、cookie、代理等特性。urllib 有两个版本 urllib 以及 urllib2。
URLRequest 的一个实例
java开发指南博客 【转载】
07-17 71
URLRequest 的一个实例 [html]view plaincopy //Createtherequest. //所构建的NSURLRequest具有一个依赖于缓存响应的特定策略，cachePolicy取得策略，timeoutInterval取得超时值 NSURLRequest*theRequest=[NSURLRequest...
Python爬虫基础：深入理解Request与Response
在Python爬虫开发中，Request和Response是两个核心概念，它们构成了网络请求交互的基础。Request对象代表了客户端向服务器发送的HTTP请求，而Response对象则是服务器对Request的响应。 Request部分的源码展示了`...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值