python爬虫学习笔记-requests高级

最新推荐文章于 2024-07-07 22:25:52 发布
最新推荐文章于 2024-07-07 22:25:52 发布
阅读量1.8k 收藏
点赞数
分类专栏： python # python爬虫 文章标签： 爬虫 学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_36058228/article/details/128746732
版权

  • 简历模板下载拓展

  • import requests
from lxml import etree
import os
headers = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.80 Safari/537.36',

}
#创建一个新的文件夹
dirName = 'jianli'
if not os.path.exists(dirName):
    os.mkdir(dirName)

#通用的url模板
url = 'https://sc.chinaz.com/jianli/free_%d.html'
for page in range(1,11):
    if page == 1:
        new_url = 'https://sc.chinaz.com/jianli/free.html'
    else:
        new_url = format(url%page)
    response = requests.get(url=new_url,headers=headers)
    response.encoding = 'utf-8'
    page_text = response.text
    #数据解析：详情页url和简历名称
    tree = etree.HTML(page_text)
    div_list = tree.xpath('//*[@id="container"]/div')
    #局部解析
    for div in div_list:
        detail_url = 'https:'+div.xpath('./a/@href')[0]
        title = div.xpath('./p/a/text()')[0]+'.rar'
        # print(title,detail_url)
        #对详情页的url发起请求，解析出简历的下载地址
        detail_page_text = requests.get(url=detail_url,headers=headers).text
        #数据解析：解析下载地址
        detail_tree = etree.HTML(detail_page_text)
        li_list = detail_tree.xpath('//*[@id="down"]/div[2]/ul/li')
        down_list = [] #存储不同的12个下载地址
        for li in li_list:
            download_link = li.xpath('./a/@href')[0]
            down_list.append(download_link)
        #随机选择一个下载地址进行简历模板的下载
        import random
        #从列表中随机选出一个下载地址
        link = random.choice(down_list)
        #对下载地址进行请求发送，下载简历模板的压缩包
        data = requests.get(url=link,headers=headers).content
        filePath = dirName+'/'+title
        with open(filePath,'wb') as fp:
            fp.write(data)
        print(title,'下载保存成功！')

Cookie

  • 什么是cookie？

    • cookie的本质就是一组数据（键值对的形式存在）
    • 是由服务器创建，返回给客户端，最终会保存在客户端浏览器中。
    • 如果客户端保存了cookie，则下次再次访问该服务器，就会携带cookie进行网络访问。
      • 典型的案例：网站的免密登录

  • 爬取雪球网中的咨询数据

    • url：https://xueqiu.com/，需求就是爬取热帖内容

    • 经过分析发现帖子的内容是通过ajax动态加载出来的，因此通过抓包工具，定位到ajax请求的数据包，从数据包中提取：

      • url：https://xueqiu.com/statuses/hot/listV2.json?since_id=-1&max_id=311519&size=15
      • 请求方式：get
      • 请求参数：拼接在了url后面
    • import requests
import os
headers = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.80 Safari/537.36',
}
url = 'https://xueqiu.com/statuses/hot/listV2.json'
param = {
    "since_id": "-1",
    "max_id": "311519",
    "size": "15",
}
response = requests.get(url=url,headers=headers,params=param)
data = response.json()
print(data)
#发现没有拿到我们想要的数据

    • 分析why？

      • 切记：只要爬虫拿不到你想要的数据，唯一的原因是爬虫程序模拟浏览器的力度不够！一般来讲，模拟的力度重点放置在请求头中！
      • 上述案例，只需要在请求头headers中添加cookie即可！

    • 爬虫中cookie的处理方式（两种方式）：

      • 手动处理：将抓包工具中的cookie赋值到headers中即可

        • 缺点：
          • 编写麻烦
          • cookie通常都会存在有效时长
          • cookie中可能会存在实时变化的局部数据

      • 自动处理

        • 基于session对象实现自动处理cookie。

          • 1.创建一个空白的session对象。
          • 2.需要使用session对象发起请求，请求的目的是为了捕获cookie
            • 注意：如果session对象在发请求的过程中，服务器端产生了cookie，则cookie会自动存储在session对象中。
          • 3.使用携带cookie的session对象，对目的网址发起请求，就可以实现携带cookie的请求发送，从而获取想要的数据。

        • 注意：session对象至少需要发起两次请求

          • 第一次请求的目的是为了捕获存储cookie到session对象
          • 后次的请求，就是携带cookie发起的请求了
        • import requests
#1.创建一个空白的session对象
session = requests.Session()

headers = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.80 Safari/537.36',
}
main_url = 'https://xueqiu.com/'
#2.使用session发起的请求，目的是为了捕获到cookie，且将其存储到session对象中
session.get(url=main_url,headers=headers)

url = 'https://xueqiu.com/statuses/hot/listV2.json'
param = {
    "since_id": "-1",
    "max_id": "311519",
    "size": "15",
}
#3.就是使用携带了cookie的session对象发起的请求（就是携带者cookie发起的请求）
response = session.get(url=url,headers=headers,params=param)
data = response.json()
print(data)

代理

  • 什么是代理

    • 代理服务器

  • 代理服务器的作用

    • 就是用来转发请求和响应

  • 在爬虫中为何需要使用代理？

    • 有些时候，需要对网站服务器发起高频的请求，网站的服务器会检测到这样的异常现象，则会讲请求对应机器的ip地址加入黑名单，则该ip再次发起的请求，网站服务器就不在受理，则我们就无法再次爬取该网站的数据。
    • 使用代理后，网站服务器接收到的请求，最终是由代理服务器发起，网站服务器通过请求获取的ip就是代理服务器的ip，并不是我们客户端本身的ip。

  • 代理的匿名度

    • 透明：网站的服务器知道你使用了代理，也知道你的真实ip
    • 匿名：网站服务器知道你使用了代理，但是无法获知你真实的ip
    • 高匿：网站服务器不知道你使用了代理，也不知道你的真实ip（推荐）

  • 代理的类型（重要）

    • http：该类型的代理服务器只可以转发http协议的请求
    • https：可以转发https协议的请求

  • 如何获取代理?

    • 代理精灵：http://http.zhiliandaili.cn/
    • 芝麻代理：https://jahttp.zhimaruanjian.com/（推荐，有新人福利）

  • 如何使用代理？

    • 测试：访问如下网址，返回自己本机ip

    • import requests
from lxml import etree
headers = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.80 Safari/537.36',
}
url = 'https://www.sogou.com/web?query=ip'
page_text = requests.get(url=url,headers=headers).text
tree = etree.HTML(page_text)
data = tree.xpath('//*[@id="ipsearchresult"]/strong/text()')[0]
print(data)

    • 使用代理发起请求，查看是否可以返回代理服务器的ip

    • import requests
from lxml import etree
headers = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.80 Safari/537.36',
}
url = 'https://www.sogou.com/web?query=ip'
#使用代理服务器发起请求
#proxies={'代理类型':'ip:port'}
page_text = requests.get(url=url,headers=headers,proxies={'https':'42.57.150.150:4278'}).text
tree = etree.HTML(page_text)
data = tree.xpath('//*[@id="ipsearchresult"]/strong/text()')[0]
print(data)

    • 深度测试：

      • 对快代理进行n次请求，直到本机无法访问快代理为止（证明本机ip被快代理封掉了）

      • 构建一个代理池（封装了很多代理ip和端口的容器），用于数据的批量爬取

      • from bs4 import BeautifulSoup
from lxml import etree
import requests
import time
import random
headers = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36'
}
#构建一个代理池
proxy_url = 'http://webapi.http.zhimacangku.com/getip?num=15&type=2&pro=&city=0&yys=0&port=1&pack=213751&ts=0&ys=0&cs=0&lb=6&sb=-&pb=4&mr=1&regions='
json_data = requests.get(url=proxy_url,headers=headers).json()
json_list = json_data['data']
proxy_list = [] #代理池,每次请求，可以随机从代理池中选择一个代理来用
for dic in json_list:
    ip = dic['ip']
    port = dic['port']
    n_dic = {
        'https':ip+':'+str(port) # {'https':'111.1.1.1:1234'}
    }
    proxy_list.append(n_dic)

#爬取多页
#1.创建一个通用的url(可以变换成任意页码的url)
url = 'https://www.kuaidaili.com/free/inha/%d/'
#2.通过循环以此生成不同页码的url
for page in range(1,4):
    print('----------正在爬取第%d页的数据！-----------'%page)
    #format用来格式化字符串的（不可以修改url这个字符串本身）
    new_url = format(url%page)
    #循环发送每一页的请求
    #注意：get方法是一个阻塞方法！
    page_text = requests.get(url=new_url,headers=headers,proxies=random.choice(proxy_list)).text
    time.sleep(1)
    soup = BeautifulSoup(page_text,'lxml')
    trs = soup.select('tbody > tr')
    for tr in trs:
        t1 = tr.findAll('td')[0]
        t2 = tr.findAll('td')[1]
        ip = t1.string
        port = t2.string
        print(ip,port)

验证码

  • 图鉴平台：http://www.ttshitu.com/ （推荐）

  • 超级鹰：https://www.chaojiying.com/about.html

  • 使用图鉴识别古诗文网登录中的验证码

    • 古诗文网：https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx

    • 使用流程：

      • 注册登录图鉴平台

      • 登录后，点击开发文档，提取识别的源代码

      • 模块(tujian.py)的封装：

      • import base64
import json
import requests
# 一、图片文字类型(默认 3 数英混合)：
# 1 : 纯数字
# 1001：纯数字2
# 2 : 纯英文
# 1002：纯英文2
# 3 : 数英混合
# 1003：数英混合2
#  4 : 闪动GIF
# 7 : 无感学习(独家)
# 11 : 计算题
# 1005:  快速计算题
# 16 : 汉字
# 32 : 通用文字识别(证件、单据)
# 66:  问答题
# 49 :recaptcha图片识别
# 二、图片旋转角度类型：
# 29 :  旋转类型
#
# 三、图片坐标点选类型：
# 19 :  1个坐标
# 20 :  3个坐标
# 21 :  3 ~ 5个坐标
# 22 :  5 ~ 8个坐标
# 27 :  1 ~ 4个坐标
# 48 : 轨迹类型
#
# 四、缺口识别
# 18 : 缺口识别（需要2张图 一张目标图一张缺口图）
# 33 : 单缺口识别（返回X轴坐标 只需要1张图）
# 五、拼图识别
# 53：拼图识别
#函数实现忽略
def base64_api(uname, pwd, img, typeid):
    with open(img, 'rb') as f:
        base64_data = base64.b64encode(f.read())
        b64 = base64_data.decode()
    data = {"username": uname, "password": pwd, "typeid": typeid, "image": b64}
    result = json.loads(requests.post("http://api.ttshitu.com/predict", json=data).text)
    if result['success']:
        return result["data"]["result"]
    else:
        return result["message"]
    return ""


def getImgCodeText(imgPath,imgType):#直接返回验证码内容
    #imgPath：验证码图片地址
    #imgType：验证码图片类型
    result = base64_api(uname='bb328410948', pwd='bb328410948', img=imgPath, typeid=imgType)
    return result

      • 验证码图片识别操作

      • from lxml import etree
import requests
import tujian
headers = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36'
}
#将验证码图片请求后保存到本地
login_url = 'https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx'
page_text = requests.get(url=login_url,headers=headers).text
tree = etree.HTML(page_text)
img_src = 'https://so.gushiwen.cn'+tree.xpath('//*[@id="imgCode"]/@src')[0]
code_data = requests.get(url=img_src,headers=headers).content
with open('./code.jpg','wb') as fp:
    fp.write(code_data)

#识别验证码图片内容
result = tujian.getImgCodeText('./code.jpg',3)
print(result)

模拟登录

  • 古诗文网

  • 在抓包工具里定位点击登录按钮后对应的数据包：

    • 只要数据包的请求参数中包含用户名，密码和验证码则该数据包就是我们要定位的

    • 首次模拟登录操作：

    • from lxml import etree
import requests
import tujian
headers = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36'
}
#将验证码图片请求后保存到本地
login_url = 'https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx'
page_text = requests.get(url=login_url,headers=headers).text
tree = etree.HTML(page_text)
img_src = 'https://so.gushiwen.cn'+tree.xpath('//*[@id="imgCode"]/@src')[0]
code_data = requests.get(url=img_src,headers=headers).content
with open('./code.jpg','wb') as fp:
    fp.write(code_data)

#识别验证码图片内容
result = tujian.getImgCodeText('./code.jpg',3)
print(result)
#模拟登录
url = 'https://so.gushiwen.cn/user/login.aspx?from=http%3a%2f%2fso.gushiwen.cn%2fuser%2fcollect.aspx'
data = {
    "__VIEWSTATE": "opfVI7oolwkr7MLRVzsNSMASqLRUuO1dg5ZP5EIRa4FyM+mOYKEs6KWEKQKaba2ulLoZQIaLFiKK4mr5K3ci1v8ua28wtcRtabKWjOtJtU/i2etH+zSduegTMcg=",
    "__VIEWSTATEGENERATOR": "C93BE1AE",
    "from": "http://so.gushiwen.cn/user/collect.aspx",
    "email": "15027900535",
    "pwd": "bobo@15027900535",
    "code":result ,
    "denglu": "登录"
}
#获取了登录成功后的页面源码数据
login_page_text = requests.post(url=url,headers=headers,data=data).text
with open('wushiwen.html','w') as fp:
    fp.write(login_page_text)

    • 查看gushiwen.html发现，没有登录成功，原因：

      • 验证码不对（否定）

      • 没有携带cookie

      • 出现了动态变化的请求参数

        • 如何获取动态变化的请求参数
          • 基于抓包工具进行全局搜索，发现该参数值被隐藏在了登录页面的页面源码中
      • from lxml import etree
import requests
import tujian
headers = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36'
}
#创建session对象
session = requests.Session()

#将验证码图片请求后保存到本地
login_url = 'https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx'
page_text = session.get(url=login_url,headers=headers).text
tree = etree.HTML(page_text)
img_src = 'https://so.gushiwen.cn'+tree.xpath('//*[@id="imgCode"]/@src')[0]
code_data = session.get(url=img_src,headers=headers).content
with open('./code.jpg','wb') as fp:
    fp.write(code_data)

#解析出动态变化的请求参数
__VIEWSTATE = tree.xpath('//*[@id="__VIEWSTATE"]/@value')[0]

#识别验证码图片内容
result = tujian.getImgCodeText('./code.jpg',3)
print(result)
#模拟登录
url = 'https://so.gushiwen.cn/user/login.aspx?from=http%3a%2f%2fso.gushiwen.cn%2fuser%2fcollect.aspx'
data = {
    "__VIEWSTATE": __VIEWSTATE,
    "__VIEWSTATEGENERATOR": "C93BE1AE",
    "from": "http://so.gushiwen.cn/user/collect.aspx",
    "email": "15027900535",
    "pwd": "bobo@15027900535",
    "code":result ,
    "denglu": "登录"
}
#获取了登录成功后的页面源码数据
login_page_text = session.post(url=url,headers=headers,data=data).text
with open('wushiwen.html','w') as fp:
    fp.write(login_page_text)

防盗链

  • 现在很多网站启用了防盗链反爬，防止服务器上的资源被人恶意盗取。什么是防盗链呢？

    • 以图片为例，访问图片要从他的网站访问才可以，否则直接访问图片地址得不到图片

  • 练习：抓取微博图片，url：http://blog.sina.com.cn/lm/pic/，将页面中某一组系列详情页的图片进行抓取保存，比如三里屯时尚女郎：http://blog.sina.com.cn/s/blog_01ebcb8a0102zi2o.html?tj=1

    • 注意：

      • 1.在解析图片地址的时候，定位src的属性值，返回的内容和开发工具Element中看到的不一样，通过network查看网页源码发现需要解析real_src的值。

      • 2.直接请求real_src请求到的图片不显示，加上Refere请求头即可

        • 哪里找Refere：抓包工具定位到某一张图片数据包，在其requests headers中获取
      • import requests
from lxml import etree
headers = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36',
    "Referer": "http://blog.sina.com.cn/",

}
url = 'http://blog.sina.com.cn/s/blog_01ebcb8a0102zi2o.html?tj=1'
page_text = requests.get(url,headers=headers).text
tree = etree.HTML(page_text)
img_src = tree.xpath('//*[@id="sina_keyword_ad_area2"]/div/a/img/@real_src')
for src in img_src:
    data = requests.get(src,headers=headers).content
    with open('./123.jpg','wb') as fp:
        fp.write(data)
    # break

图片懒加载(作业)

  • url：https://sc.chinaz.com/tupian/meinvtupian.html
  • 爬取上述链接中所有的图片数据
  • 图片懒加载：
    • 主要是应用在展示图片的网页中的一种技术，该技术是指当网页刷新后，先加载局部的几张图片数据即可，随着用户滑动滚轮，当图片被显示在浏览器的可视化区域范围的话，在动态将其图片请求加载出来即可。（图片数据是动态加载出来）。
    • 如何实现图片懒加载/动态加载？
      • 使用img标签的伪属性（指的是自定义的一种属性）。在网页中，为了防止图片马上加载出来，则在img标签中可以使用一种伪属性来存储图片的链接，而不是使用真正的src属性值来存储图片链接。（图片链接一旦给了src属性，则图片会被立即加载出来）。只有当图片被滑动到浏览器可视化区域范围的时候，在通过js将img的伪属性修改为真正的src属性，则图片就会被加载出来。
  • 如何爬取图片懒加载的图片数据？
    • 只需要在解析图片的时候，定位伪属性（src2）的属性值即可。
资料小助手
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Python爬虫之requests的高级用法
python_9988的博客
11-15 1251
高级用法 在上节中，我们了解了requests的基本用法，如基本的GET、POST请求以及Response对象。在本节中，我们再来了解以下requests的一些高级用法，如文件上传、Cookies设置、代理设置等。 文件上传 我们知道requests可以模拟提交一些数据。假如有的网站需要上传文件，我们也可以用它来实现，这非常简单，示例如下： 在前一节中我们保存了一个文件favicon.ico，这次用它来模拟文件上传的过程。需要注意的是，favicon.ico需要和当前脚本在同一目录下，如果有其他文件，当然
Python写网络爬虫：requests 模块的高级用法
qq_42902997的博客
07-30 385
文章目录1. 文件上传2. 获取和设置Cookies3. SSL 证书验证4. 代理设置5. 超时设置6. 身份验证 1. 文件上传 import requests filename = '1.txt' files = {'file':open(filename)} x = requests.post('http://httpbin.org/post',files=files) print(x.text) 通过测试服务器 httpbin.org 返回的结果来看，post 能够上传的文件和格式都写得很清
Python Requests 库高级用法
qq_36594703的博客
06-15 396
本文为大家讲述了几个 Requests 的高级特性，通过掌握这些特性，我们就基本上掌握了 Requests 的常用功能，也可以运用 Requests 去解决实际问题了。我们的 Requests 介绍也就告一段落了，剩下的靠大家去实践出真知了。
python爬虫学习笔记-requests基础
weixin_36058228的博客
01-21 1007
什么是爬虫就是编写程序，模拟浏览器上网，让其去互联网中抓取数据的过程模拟：浏览器本身就是一个纯天然的爬虫工具，爬虫相关的模块都是基于浏览器为基础开发出来的。注意：日后只要是你的爬虫程序没有爬取到你想要的数据，只有一个原因：就是你的爬虫程序模拟的力度不够！抓取：抓取网页数据分两种情况：将一个页面所有的数据抓取到将页面中局部的数据抓取到爬虫在应用场景的分类通用爬虫：将一个页面中所有的数据获取。大部分的搜索引擎中应用比较多。聚焦爬虫。
Python requests模块高级用法
weixin_33904756的博客
09-19 1677
2019独角兽企业重金招聘Python工程师标准>>> ...
python 爬虫学习笔记
03-09
本文将详细介绍 Python 爬虫学习笔记的知识点，涵盖爬虫基础、网络和前端基础、Requests 模块、请求头、GET 和 POST 请求、代理、Cookie 模拟登录、Quote 和 Unquote、登录和获取 Cookie、Post 和 Session、重试机制...
python爬虫案例tention-model-for-n开发笔记
06-19
在本项目中，"python爬虫案例tention-model-for-n开发笔记" 主要涉及的是使用Python编程语言进行网络数据抓取（爬虫）以及利用深度学习模型，特别是卷积神经网络（CNN）与双向长短期记忆网络（Bi-LSTM）结合注意力...
python爬虫学习笔记.zip
12-30
Python爬虫学习笔记 在IT领域，Python爬虫是一种常用的技术，用于自动化地从互联网上抓取大量数据。Python语言因其简洁的语法和丰富的库支持，成为开发爬虫的首选工具。本篇将深入探讨Python爬虫的相关知识点，帮助...
python爬虫学习笔记 2.9 （使用bs4得案例）
12-21
python爬虫学习笔记 1.5 （Requests深入） python爬虫学习笔记 1.6 （HTTP/HTTPS抓包工具-Fiddler） python爬虫学习笔记 1.7 （urllib模块的基本使用） python爬虫学习笔记 1.8 （urllib:get请求和post请求
python爬虫学习笔记（二）——解析内容
01-20
requests库则需格外安装，但是个人感觉requests使用更简洁方便 标签解析 Beautiful Soup库的安装（Beautiful Soup库是解析、遍历、维护“标签树”的功能库）： 按WIN键+R键打开运行，输入cmd后回车进入命令提示符 ...
Python_Requests模块
qq_38175040的博客
03-21 721
在命令行输入 pip install requests 即可安装模块成功。 发送请求 导入模块，然后尝试获取某个网页： import requests r = requests.get(‘https://api.github.com/events’) 现在，我们有一个名为 r 的 Response 对象。我们可以从这个对象中获取所有我们想要的信息。 传递URL参数 Requests 允许使用 params 关键字参数，以一个字符串字典来提供这些参数。 >>> payload = {'k
Python :Requests的高级用法
python学习者的博客
08-24 619
会话维持 在 requests 中，直接使用 get() 或 post() 方法确实可以做到模拟网页的请求，但是这实际上是两个不同的会话，相当于用了两个浏览器打开不同的页面，而这两个页面是不共享 cookies 的。会话维持相当于打在原来的浏览器上新开了一个页面，这样就不用每次去设置 cookies 了——这就是Session对象。 s = requests.Session() s.get('http://httpbin.org/cookies/set/sessioncookie/123456789') r
Python：requests高级用法（官网笔记）
qq_39935684的博客
05-03 1066
1.Session()方法 2.请求头/响应头 import requests r = requests.get('https://www.baidu.com') print(r.request.headers) # 请求头 print(r.headers) # 响应头 3.Prepared Requests 4.SSL证书验证 5.客户端证书 6.CA证书 7. ...
Requests的高级特性
ramblerviper的博客
11-28 253
上一篇我们介绍了 Requests 库的基本用法，学会之后大家就可以应付一般的请求了。这一篇我们接着介绍 Requests 的高级用法，以便应付一些棘手的问题。 会话维持 在 requests 中，直接使用 get() 或 post() 方法确实可以做到模拟网页的请求，但是这实际上是两个不同的会话，相当于用了两个浏览器打开不同的页面，而这两个页面是不共享 cookies 的。会话维持相当于打在原...
python之requests的高级用法
爱吃饼干的小白鼠的博客
11-22 849
上一篇我们说了requests的简单用法，知道了如何发送请求，今天我们更深层次的来学习requests。我们看看高级一点的操作，比如讲文件上传，cookies设置，代理设置之类的。
Python爬虫(3):Requests的高级用法
hzp666的博客
03-21 1493
Python爬虫(3):Requests的高级用法上一篇文章我们整理了Requests库的基本用法，相信大家已经经过爬取一些简单网页的练习，已经很熟练了。这一篇文章我们来 看一下Requests库的高级操作。高级操作1.文件上传import requests files = {'file' : open('logo.gif','rb')}resp = requests.post('http://h...
Java基础:爬虫
weixin_65752158的博客
07-04 954
Pattern:表示正则表达式Matcher:文本匹配器，作用按照正则表达式的规则去读取字符串，从头开始读取。在大串中去找符合匹配规则的子串。通过Pattern p = Pattern.compile("正则表达式");获得 通过Matcher m = p.matcher(str);获得 (m要在str中找符合p规则的小串)其中, m为Matcher对象, p为正则表达式规则, str为要验证的字符串. boolean b = m.find(); 表示拿着文本匹配器从头开始读取，寻找是否有
python爬虫入门（二）之Requests库
2302_79795489的博客
07-05 202
1、requests库让我们可以通过python代码去构建和发送HTTP请求2、第三方库，要先安装python终端，输入pip install requestssuccessfully installed：安装成功requirement already satisfied: 说明已经安装过，无需再安装若没有pip（python包管理工具）则可以先去http://pip.pypa.io/en/stable/installation/学习下载安装3、
Python网络爬虫：Scrapy框架的全面解析
最新发布
jkoij23的博客
07-07 1657
Scrapy是一个功能强大且灵活的开源网络爬虫框架，它提供了一种高效的方式来爬取网站并提取所需的数据。本文将深入探讨Scrapy框架的核心概念、使用方法以及高级技巧，帮助你更好地理解和应用Scrapy进行网络爬虫的开发。
python爬虫之b站视频下载(python学习笔记)
06-06
好的，下面是用中文回复的python爬虫之b站视频下载(python学习笔记)： Python爬虫是一种自动化获取网页数据的技术，可以用来下载B站视频。具体步骤如下： 1. 安装必要的Python库，如requests、bs4、lxml等。 2. ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

资料小助手

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值