requests高级

最新推荐文章于 2024-06-08 00:14:24 发布
最新推荐文章于 2024-06-08 00:14:24 发布
阅读量1k 收藏 9
点赞数 18
文章标签： 爬虫
原文链接：https://blog.csdn.net/littlefun591/article/details/135288779
版权

防盗链

  • 现在很多网站启用了防盗链反爬，防止服务器上的资源被人恶意盗取。什么是防盗链呢？

    • 从HTTP协议说起，在HTTP协议中，有一个表头字段：referer，采用URL的格式来表示从哪一个链接跳转到当前网页的。通俗理解就是：客户端的请求具体从哪里来，服务器可以通过referer进行溯源。一旦检测来源不是网页所规定的，立即进行阻止或者返回指定的页面。

  • 案例：抓取微博图片，url：http://blog.sina.com.cn/lm/pic/，将页面中某一组系列详情页的图片进行抓取保存，比如三里屯时尚女郎：http://blog.sina.com.cn/s/blog_01ebcb8a0102zi2o.html?tj=1

    • 注意：

      • 1.在解析图片地址的时候，定位src的属性值，返回的内容和开发工具Element中看到的不一样，通过network查看网页源码发现需要解析real_src的值。

      • 2.直接请求real_src请求到的图片不显示，加上Refere请求头即可

        • 哪里找Refere：抓包工具定位到某一张图片数据包，在其requests headers中获取
      • import requests
from lxml import etree
headers = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36',
    "Referer": "http://blog.sina.com.cn/",

}
url = 'http://blog.sina.com.cn/s/blog_01ebcb8a0102zi2o.html?tj=1'
page_text = requests.get(url,headers=headers).text
tree = etree.HTML(page_text)
img_src = tree.xpath('//*[@id="sina_keyword_ad_area2"]/div/a/img/@real_src')
for src in img_src:
    data = requests.get(src,headers=headers).content
    with open('./123.jpg','wb') as fp:
        fp.write(data)
    # break

视频数据爬取

  • url：https://www.51miz.com/shipin/

    • 爬取当前url页面中营销日期下的几个视频数据。

  • 找寻每个视频的播放地址：

    • 在video标签下面有一个source标签，其内部的src属性值正好就是视频的播放地址 (补充上https:即可) 。
    import requests
from lxml import etree
headers = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36',
    'Referer':'https://www.51miz.com/'
}
url = 'https://www.51miz.com/shipin/'
response = requests.get(url=url,headers=headers)
page_text = response.text

#数据解析
tree = etree.HTML(page_text)
div_list = tree.xpath('/html/body/div[2]/div[2]/div[1]/div[2]/div[2]/div')
for div in div_list:
    src_list = div.xpath('./a/div/div/div/video/source/@src')
    #要给视频地址进行补全
    for src in src_list:
        video_data = requests.get(url=src,headers=headers).content
        video_title = src.split('/')[-1]
        with open(video_title,'wb') as fp:
            fp.write(video_data)
        print(video_title,'爬取保存成功！')

    break

Cookie（重点）

  • 什么是cookie？

    • cookie的本质就是一组数据（键值对的形式存在）
    • 是由服务器创建，返回给客户端，最终会保存在客户端浏览器中。
    • 如果客户端保存了cookie，则下次再次访问该服务器，就会携带cookie进行网络访问。
      • 典型的案例：网站的免密登录

  • 爬取雪球网中的咨询数据

    • url：https://xueqiu.com/，需求就是爬取热帖内容

    • 经过分析发现帖子的内容是通过ajax动态加载出来的，因此通过抓包工具，定位到ajax请求的数据包，从数据包中提取：

      • url：https://xueqiu.com/statuses/hot/listV2.json?since_id=-1&max_id=311519&size=15
      • 请求方式：get
      • 请求参数：拼接在了url后面
    • import requests
import os
headers = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.80 Safari/537.36',
}
url = 'https://xueqiu.com/statuses/hot/listV2.json'
param = {
    "since_id": "-1",
    "max_id": "311519",
    "size": "15",
}
response = requests.get(url=url,headers=headers,params=param)
data = response.json()
print(data)
#发现没有拿到我们想要的数据

    • 分析why？

      • 切记：只要爬虫拿不到你想要的数据，唯一的原因是爬虫程序模拟浏览器的力度不够！一般来讲，模拟的力度重点放置在请求头中！
      • 上述案例，只需要在请求头headers中添加cookie即可！

    • 爬虫中cookie的处理方式（两种方式）：

      • 手动处理：将抓包工具中的cookie赋值到headers中即可

        • 缺点：
          • 编写麻烦
          • cookie通常都会存在有效时长
          • cookie中可能会存在实时变化的局部数据

      • 自动处理 (重点)

        • 爬虫的session会话对象：

          • 在爬虫里，session对象是一个非常常用的对象，这个对象代表一次用户会话（从客户端浏览器连接服务器开始，到客户端浏览器与服务器断开）。session对象能让我们在跨请求时候保持某些参数，比如在同一个 Session 实例发出的所有请求之间保持 cookie 。

        • 基于session对象实现自动处理cookie。

          • 1.创建一个空白的session对象。
          • 2.需要使用session对象发起请求，请求的目的是为了捕获cookie
            • 注意：如果session对象在发请求的过程中，服务器端产生了cookie，则cookie会自动存储在session对象中。
          • 3.使用携带cookie的session对象，对目的网址发起请求，就可以实现携带cookie的请求发送，从而获取想要的数据。

        • 注意：session对象至少需要发起两次请求

          • 第一次请求的目的是为了捕获存储cookie到session对象
          • 后次的请求，就是携带cookie发起的请求了
        • import requests

headers = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36',
}
param = {
    #如果遇到了动态变化的请求参数？必须经过测试才知道需不需要处理
    "since_id": "-1",
    "max_id": "553059", #动态变化的请求参数
    "size": "25"
}

url = 'https://xueqiu.com/statuses/hot/listV3.json?page=1&last_id='

#session对象会实时保存跟踪服务器端给客户端创建的cookie
    #创建一个session对象
session = requests.Session() #空白的session对象

first_url = 'https://xueqiu.com/'
#使用session对象进行请求发送：如果该次请求时，服务器端给客户端创建cookie的话，则该cookie就会被保存seesion对象中
session.get(url=first_url,headers=headers)
#使用保存了cookie的session对象进行后续请求发送
ret = session.get(url=url,headers=headers).json()
print(ret)

模拟登录

  • http://download.java1234.com/直接访问个人中心和登录后访问其个人中心
import requests
headers = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36',
}
session = requests.Session()
data = {
    "userName": "bb328410948",
    "password": "bb328410948"
}
session.post('http://download.java1234.com/user/login',data=data,headers=headers)

page_text = session.get('http://download.java1234.com/toUserCenterPage',headers=headers).text

with open('1.html','w') as fp:
    fp.write(page_text)

代理（重要）

  • 什么是代理
    • 代理服务器
  • 代理服务器的作用
    • 就是用来转发请求和响应

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

  • 在爬虫中为何需要使用代理？

    • 有些时候，需要对网站服务器发起高频的请求，网站的服务器会检测到这样的异常现象，则会讲请求对应机器的ip地址加入黑名单，则该ip再次发起的请求，网站服务器就不在受理，则我们就无法再次爬取该网站的数据。
    • 使用代理后，网站服务器接收到的请求，最终是由代理服务器发起，网站服务器通过请求获取的ip就是代理服务器的ip，并不是我们客户端本身的ip。

  • 代理的匿名度

    • 透明：网站的服务器知道你使用了代理，也知道你的真实ip
    • 匿名：网站服务器知道你使用了代理，但是无法获知你真实的ip
    • 高匿：网站服务器不知道你使用了代理，也不知道你的真实ip（推荐）

  • 代理的类型（重要）

    • http：该类型的代理服务器只可以转发http协议的请求
    • https：可以转发https协议的请求

  • 如何获取代理?

    • 芝麻代理：https://jahttp.zhimaruanjian.com/（推荐，有新人福利）

  • 如何使用代理？

    • 测试：访问如下网址，返回自己本机ip

    • import requests
from lxml import etree
headers = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.80 Safari/537.36',
}
url = 'http://www.cip.cc/'

page_text = requests.get(url,headers=headers).text
tree = etree.HTML(page_text)
text = tree.xpath('/html/body/div/div/div[3]/pre/text()')[0]
print(text.split('\n')[0])

    • 使用代理发起请求，查看是否可以返回代理服务器的ip

    • import requests
from lxml import etree
headers = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.80 Safari/537.36',
}
url = 'http://www.cip.cc/'

page_text = requests.get(url,headers=headers,proxies={'http':'121.234.12.62:4246'}).text
tree = etree.HTML(page_text)
text = tree.xpath('/html/body/div/div/div[3]/pre/text()')[0]
print(text.split('\n')[0])
小张要当程序员
关注
Python爬虫(3):Requests的高级用法
hzp666的博客
03-21 1512
Python爬虫(3):Requests的高级用法上一篇文章我们整理了Requests库的基本用法，相信大家已经经过爬取一些简单网页的练习，已经很熟练了。这一篇文章我们来 看一下Requests库的高级操作。高级操作1.文件上传import requests files = {'file' : open('logo.gif','rb')}resp = requests.post('http://h...
Python爬虫之requests的高级用法
python_9988的博客
11-15 1336
高级用法 在上节中，我们了解了requests的基本用法，如基本的GET、POST请求以及Response对象。在本节中，我们再来了解以下requests的一些高级用法，如文件上传、Cookies设置、代理设置等。 文件上传 我们知道requests可以模拟提交一些数据。假如有的网站需要上传文件，我们也可以用它来实现，这非常简单，示例如下： 在前一节中我们保存了一个文件favicon.ico，这次用它来模拟文件上传的过程。需要注意的是，favicon.ico需要和当前脚本在同一目录下，如果有其他文件，当然
python爬虫学习笔记-requests高级
weixin_36058228的博客
01-22 1897
简历模板下载拓展 import requests from lxml import etree import os headers = { 'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.80 Safari/537.36', } #创建一个新的文件夹 dirName = 'jianli' if not o
Python网络请求高级篇：Requests库的深度运用
程序员小麦的博客
03-06 927
在Python网络请求中级篇中，我们了解了如何通过Requests库发送带参数的请求，处理Cookies，使用Session对象，以及设置请求头。在本文中，我们将进一步深入学习Requests库的高级功能，包括处理重定向，设置超时，处理大文件以及错误和异常处理。
Python写网络爬虫：requests 模块的高级用法
qq_42902997的博客
07-30 404
文章目录1. 文件上传2. 获取和设置Cookies3. SSL 证书验证4. 代理设置5. 超时设置6. 身份验证 1. 文件上传 import requests filename = '1.txt' files = {'file':open(filename)} x = requests.post('http://httpbin.org/post',files=files) print(x.text) 通过测试服务器 httpbin.org 返回的结果来看，post 能够上传的文件和格式都写得很清
python爬虫入门教程(二)：requests库的高级用法
最新发布
qq_64192931的博客
06-08 1608
通过自定义HTTP适配器，你可以更改底层的行为，如连接池管理、重试策略等。这个我几乎没怎么用过，暂时先做了解吧，后面在爬虫实战中见到的话再细说。代码如下：（代码中的操作也可以用正常的循环语句加try...except...语句实现）我认为只看这些代码或者说是参数使用的例子是没有太大用处的，具体要会在实战中应用这些参数还是得多练习，见过之后就会熟悉具体的应用场景，后面我会发文章来带领大家进一步学习这门技术，感兴趣的可以来看一下。
爬虫：Requests高级用法
二十四桥明月夜
12-05 1562
了解了 requests 基本用法 ，如基本的 GET， POST 请求以及 Response 对象 本节巾，我们再来了解下 requests 些高级用法，如文件上传、 Cookies 设置 代理设置等 1、文件上传 requests 可以模拟提交一些数据， 假如有的网站需要上传文件，我们也可以用它来实现， 这非常简单 import requests files = { "files": open("favicon.ico","rb") } response = requests.pos
Python3网络爬虫中的requests高级用法详解
09-19
本篇将深入探讨Requests的一些高级用法，包括文件上传、代理设置和Cookies操作。 1. **文件上传** 在某些场景下，我们需要向服务器上传文件，Requests库为此提供了简便的方法。以下是一个简单的文件上传示例： ``...
python爬虫requests高级-会话维持
Green_F的博客
12-21 874
List item Requests高级 这篇文档中将介绍 Requests 的一些高级特性。为了模拟浏览器的功能,只有之前的知识是不够的,在学习了高级的知识后,我们可以更好的模拟浏览器的功能。完成更多的网页的采集工作。 状态保持 HTTP协议是无状态的协议。无状态是指协议对于事务处理没有记忆功能。缺少状态意味着,假如后面的处理需要前面的信息,则前面的信息必须重传,这样可能导致每次连接传送的数据量增大。 另一方面,在服务器不需要前面信息时,应答就较快。直观地说,就是每个请求都是独立的,与前面的请求..
爬虫requests高级用法二
实践求真知
01-12 582
一 证书 1 点睛 requests还提供了证书验证的功能。当发送HTTP请求的时候，它会检查SSL证书，我们可以使用verify参数控制是否检查此证书。其实如果不加verify参数的话，默认是True，会自动验证。 很早之前，12306的证书没有被官方CA机构信任。访问该网站，会出现如下截图： 我们通过代码看看，现在是否还存在这个问题。 2 代码1 import request...
Python Requests 库高级用法
qq_36594703的博客
06-15 415
本文为大家讲述了几个 Requests 的高级特性，通过掌握这些特性，我们就基本上掌握了 Requests 的常用功能，也可以运用 Requests 去解决实际问题了。我们的 Requests 介绍也就告一段落了，剩下的靠大家去实践出真知了。
python爬虫学习笔记-requests基础
weixin_36058228的博客
01-21 1081
什么是爬虫就是编写程序，模拟浏览器上网，让其去互联网中抓取数据的过程模拟：浏览器本身就是一个纯天然的爬虫工具，爬虫相关的模块都是基于浏览器为基础开发出来的。注意：日后只要是你的爬虫程序没有爬取到你想要的数据，只有一个原因：就是你的爬虫程序模拟的力度不够！抓取：抓取网页数据分两种情况：将一个页面所有的数据抓取到将页面中局部的数据抓取到爬虫在应用场景的分类通用爬虫：将一个页面中所有的数据获取。大部分的搜索引擎中应用比较多。聚焦爬虫。
关于网页referer以及破解referer反爬虫的办法
热门推荐
python_neophyte的博客
09-09 3万+
有referer referer是什么： 图片防盗链的技术应该还有其他的，目前了解到的是浏览器的referer，其实这是错误的拼写，正确是应该是referrer。 不过现在可以看到Chrome的开发者工具里，还是显示的是前者，拼写不重要，重要的是理解它的含义。 简单来讲，referer的作用就是记录你在访问一个目标网站时，在访问前你的原网站的地址， 比如用Chrome从知乎的某个板块到另...
Python requests模块高级用法
weixin_33904756的博客
09-19 1729
2019独角兽企业重金招聘Python工程师标准>>> ...
Python_Requests模块
qq_38175040的博客
03-21 775
在命令行输入 pip install requests 即可安装模块成功。 发送请求 导入模块，然后尝试获取某个网页： import requests r = requests.get(‘https://api.github.com/events’) 现在，我们有一个名为 r 的 Response 对象。我们可以从这个对象中获取所有我们想要的信息。 传递URL参数 Requests 允许使用 params 关键字参数，以一个字符串字典来提供这些参数。 >>> payload = {'k
Python :Requests的高级用法
python学习者的博客
08-24 645
会话维持 在 requests 中，直接使用 get() 或 post() 方法确实可以做到模拟网页的请求，但是这实际上是两个不同的会话，相当于用了两个浏览器打开不同的页面，而这两个页面是不共享 cookies 的。会话维持相当于打在原来的浏览器上新开了一个页面，这样就不用每次去设置 cookies 了——这就是Session对象。 s = requests.Session() s.get('http://httpbin.org/cookies/set/sessioncookie/123456789') r
Python：requests高级用法（官网笔记）
qq_39935684的博客
05-03 1123
1.Session()方法 2.请求头/响应头 import requests r = requests.get('https://www.baidu.com') print(r.request.headers) # 请求头 print(r.headers) # 响应头 3.Prepared Requests 4.SSL证书验证 5.客户端证书 6.CA证书 7. ...
Requests的高级特性
ramblerviper的博客
11-28 269
上一篇我们介绍了 Requests 库的基本用法，学会之后大家就可以应付一般的请求了。这一篇我们接着介绍 Requests 的高级用法，以便应付一些棘手的问题。 会话维持 在 requests 中，直接使用 get() 或 post() 方法确实可以做到模拟网页的请求，但是这实际上是两个不同的会话，相当于用了两个浏览器打开不同的页面，而这两个页面是不共享 cookies 的。会话维持相当于打在原...
python之requests的高级用法
爱吃饼干的小白鼠的博客
11-22 881
上一篇我们说了requests的简单用法，知道了如何发送请求，今天我们更深层次的来学习requests。我们看看高级一点的操作，比如讲文件上传，cookies设置，代理设置之类的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值