python爬虫入门学习：Request库中的get()方法小结

最新推荐文章于 2021-03-11 20:39:49 发布
最新推荐文章于 2021-03-11 20:39:49 发布
阅读量1k 收藏 2
点赞数
分类专栏： python爬虫入门 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Jimobbb/article/details/106794082
版权

Request库中的get()方法小结
Python网络爬虫与信息提取-北理工 嵩天(大学mooc)
本课B站版

requests库中，最核心的内容便是get()，其结构为：
r=requests.get(url)
其作用，一是构造一个向服务器请求资源的Request对象，二是返回一个包含服务器资源的Response对象。

验证操作

import requests

r = requests.get("http://www.baidu.com")
print(r.status_code)
print(type(r))
print(r.headers)

#200
#<class 'requests.models.Response'>
#{'Cache-Control': 'private, no-cache, no-store, proxy-revalidate, no-transform', 'Connection': 'keep-alive', 'Content-Encoding': 'gzip', 'Content-Type': 'text/html', 'Date': 'Tue, 16 Jun 2020 11:41:30 GMT', 'Last-Modified': 'Mon, 23 Jan 2017 13:28:12 GMT', 'Pragma': 'no-cache', 'Server': 'bfe/1.0.8.18', 'Set-Cookie': 'BDORZ=27315; max-age=86400; domain=.baidu.com; path=/', 'Transfer-Encoding': 'chunked'}

可以看到，正常情况下status_code的返回为200，r会返回Response对象

在操作之后，有几个常用的函数
r.status_code 200为成功，404为失败
r.encoding 网页编码方式
r.apparent_encoding 响应内容备选方式
r.content HTTP响应内容的二进制方式

在上一节中，我们发现r.encoding格式下的r.text中，我们获得的好像是一团乱码，如：

'<!DOCTYPE html><!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css><title>ç™¾åº¦ä¸€ä¸‹ï¼Œä½ å°±çŸ¥é“</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action=//www.baidu.com/s class=fm> <input type=hidden name=bdorz_come value=1> <input type=hidden name=ie value=utf-8> <input type=hidden name=f value=8> <input type=hidden name=rsv_bp value=1> <input type=hidden name=rsv_idx value=1> <input type=hidden name=tn value=baidu><span class="bg s_ipt_wr"><input id=kw name=wd class=s_ipt value maxlength=255 autocomplete=off autofocus></span><span class="bg s_btn_wr"><input type=submit id=su value=百度一下 class="bg s_btn"></span> </form> </div> </div> <div id=u1> <a href=http://news.baidu.com name=tj_trnews class=mnav>æ–°é—»</a> <a href=http://www.hao123.com name=tj_trhao123 class=mnav>hao123</a> <a href=http://map.baidu.com name=tj_trmap class=mnav>地图</a> <a href=http://v.baidu.com name=tj_trvideo class=mnav>视频</a> <a href=http://tieba.baidu.com name=tj_trtieba class=mnav>贴吧</a> <noscript> <a href=http://www.baidu.com/bdorz/login.gif?login&amp;tpl=mn&amp;u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1 name=tj_login class=lb>登录</a> </noscript> <script>document.write('<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u='+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ '" name="tj_login" class="lb">登录</a>');</script> <a href=//www.baidu.com/more/ name=tj_briicon class=bri style="display: block;">更多产品</a> </div> </div> </div> <div id=ftCon> <div id=ftConw> <p id=lh> <a href=http://home.baidu.com>å
³äºŽç™¾åº¦</a> <a href=http://ir.baidu.com>About Baidu</a> </p> <p id=cp>&copy;2017&nbsp;Baidu&nbsp;<a href=http://www.baidu.com/duty/>使用百度前å¿
读</a>&nbsp; <a href=http://jianyi.baidu.com/ class=cp-feedback>意见反馈</a>&nbsp;京ICP证030173号&nbsp; <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>'

我们看不出中文来，以r.apparent_encoding形式，我们知道另一种编码方式——utf-8

将编码格式转化为utf-8格式，我们可以看出中文来

'<!DOCTYPE html>\r\n<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css><title>百度一下，你就知道</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action=//www.baidu.com/s class=fm> <input type=hidden name=bdorz_come value=1> <input type=hidden name=ie value=utf-8> <input type=hidden name=f value=8> <input type=hidden name=rsv_bp value=1> <input type=hidden name=rsv_idx value=1> <input type=hidden name=tn value=baidu><span class="bg s_ipt_wr"><input id=kw name=wd class=s_ipt value maxlength=255 autocomplete=off autofocus></span><span class="bg s_btn_wr"><input type=submit id=su value=百度一下 class="bg s_btn"></span> </form> </div> </div> <div id=u1> <a href=http://news.baidu.com name=tj_trnews class=mnav>新闻</a> <a href=http://www.hao123.com name=tj_trhao123 class=mnav>hao123</a> <a href=http://map.baidu.com name=tj_trmap class=mnav>地图</a> <a href=http://v.baidu.com name=tj_trvideo class=mnav>视频</a> <a href=http://tieba.baidu.com name=tj_trtieba class=mnav>贴吧</a> <noscript> <a href=http://www.baidu.com/bdorz/login.gif?login&amp;tpl=mn&amp;u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1 name=tj_login class=lb>登录</a> </noscript> <script>document.write(\'<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u=\'+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ \'" name="tj_login" class="lb">登录</a>\');</script> <a href=//www.baidu.com/more/ name=tj_briicon class=bri style="display: block;">更多产品</a> </div> </div> </div> <div id=ftCon> <div id=ftConw> <p id=lh> <a href=http://home.baidu.com>关于百度</a> <a href=http://ir.baidu.com>About Baidu</a> </p> <p id=cp>&copy;2017&nbsp;Baidu&nbsp;<a href=http://www.baidu.com/duty/>使用百度前必读</a>&nbsp; <a href=http://jianyi.baidu.com/ class=cp-feedback>意见反馈</a>&nbsp;京ICP证030173号&nbsp; <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>\r\n'

其中原因，便是原始的encoding形式可能不支持中文字符，所以就要有一个备用的编码方式，相以结合

Jimobbb
关注
专栏目录
Python爬虫入门实战1：获取CSDN个人博客文章目录及阅读量数据
老猿Python
02-07 1479
☞ ░ 老猿Python博文目录：https://blog.csdn.net/LaoYuanPython/article/details/98245036 ░ 一、引言 有阵子博客的访问量出现了比较大的增长，从常规的1000-3000之间波动的范围一下子翻了将近一倍，粉丝增长从日均10-40人也增长了差不多一倍，下面是csdn提供的博文访问量数据图和粉丝增长数据图： 突然增长的情况让人始料不及，老猿非常想弄清楚这些访问量和粉丝是什么文章带来的。但看了下不是最新发布博文，而以前的博文又不记得阅读量是否增
Python爬虫入门实战2：获取CSDN个人博客文章基础信息
老猿Python
03-03 1438
本文介绍了CSDN博文的文章标题、内容、博主名、阅读数量、收藏数量、点赞数量、评论数量、文章长度、是否原创、发表日期、是否付费专栏等基本信息的信息构成，并提供了爬取博文内容并分析这些信息的代码示例，有助于理解利用BeatifulSoap4分析爬取数据的HTML报文内容。
Python网络爬虫与信息提取（一）requests库的安装与基本方法之get()方法
Abgler的博客
04-19 690
前言    最近正在学习Python网络爬虫的相关知识，所以想边学边与大家分享，鉴于本人Python水平有限，此前除了用pygame按照教程做过一些游戏之外对Python并无太深的理解，所以此文章的主要目的在于抛砖引玉，若文章中有什么错误与瑕疵，望大家可以指出，使我们共同进步。正文  目前Python爬虫领域最流行的库是requests库，关于该库的更多信息可以在官方网站http://www.py...
python基础爬虫-----Request库的get方法
weixin_42133768的博客
08-10 1780
1.内容介绍： r = requests.get(url)信息介绍： get（）方法的格式： Requests的两个重要对象： 2.看案例代码： import requests r = requests.get("htt...
python request.get()_python Request库的get()方法
weixin_32821263的博客
01-14 730
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。1. Request库的get()方法：最通常的方法是通过r=request.get(url)构造一个向服务器请求资源的url对象。这个对象是Request库内部生成的。这时候的r返回的是一个包含服务器资源的Response对象。包含从服务器返回的所有的相关资源。url是什么？url是通过htt...
Python Request Get方法
wwxy1995的博客
05-16 1003
Python request库模拟客户端链接，通过Restful API获取Google Play数据 注意Get方法参数的传递 import requests import json import os #url_base = "http://127.0.0.1:3000/api/apps/?collection=topselling_free&country=%s&num=500&category=" categories = ['weather','tools','
Python+requests 之GET请求
热门推荐
SitVen
05-06 1万+
1.配置环境 安装requests包：python -m pip install requests 2.发送GET请求 import requests r = requests.get("http://httpbin.org/get") 3. 添加headler和cookies import requests header = { "User-Agent": "Mozilla/5...
Python网络爬虫入门版笔记 二、Request库的主要方法
tomatoarmys的博客
03-31 313
Request库的主要方法 一、Request库的基本方法 equests库中有一个最基本的方法:      requests.request(method,url,**kwargs) 其中method一共有七种，分别为：      GET、HEAD、POST、PUT、PATCH、delete、OPTIONS 前六个分别对应http协议的六个方法，最后一个OPTIONS用于获得一些服务器与客户端的...
Python爬虫入门实战4：获取CSDN博文评论及添加新评论
老猿Python
03-08 1655
本文详细介绍了CSDN博文评论区信息获取和提交新评论的HTTP请求和应答信息，并根据相关信息提供了Python代码提交请求、分析应答的示例函数，通过这些知识的介绍，有助于理解Python爬虫使用HTTP POST方法提交请求的方法。 本文内容介绍仅供参考，使用爬虫程序在CSDN博文上提交评论的行为，有可能引起被评论博主的反感和投诉、也可能导致CSDN的处罚，请大家慎用。本文之所以介绍这些内容，是帮助大家掌握相关知识，而不是滥用相关机制，切记切记！！！！
Python爬虫入门结束篇：备份CSDN博主博文及分析
老猿Python
03-11 1296
前面已介绍了爬虫相关的基础知识，包括HTML基础知识、HTTP报文的捕获、模拟浏览器发起HTTP请求、HTTP报文解析等，并通过读取CSDN相关博客文章信息进行博文信息解析、博客信息解析、博文评论获取，以及对博文提交新评论和点赞等实战性内容，介绍了爬虫程序的基本实现步骤以及信息获取方法。 本文通过最后一个综合性爬取CSDN指定博主所有博文的综合性实战案例，本文介绍了完整读取一CSDN博主所有博文的方法，并提供详细实现的备份博主博文的案例代码，是前面学习知识的一个综合运用，透彻理解本文的案例实现。
python爬虫requestsget_python—网络爬虫（Requests库的get方法）
weixin_39617497的博客
11-23 229
Requests库的七个主要方法------------------------------------------------方法说明requests.request()构造一个请求，支撑以下各方法的基础方法requests.get()获取HTML网页的主要方法，对应于HTTP的GETrequests.head()获取HTML网页的头信息的方法，对应于HTTP的HEADrequests.post...
爬虫学习之requests模块GET方法
qq_41702454的博客
10-25 346
使用流程 1 指定url，使用抓包工具，查看想要获取数据的rul 确认参数 发起数据请求 '''破解百度翻译 思路： 1.使用浏览器抓包工具，发线在输入字母时会有 XHR 动作（页面刷新），是一个POST 请求 2.找到要抓取的url，并确认返回的数据类型content-type: application/json；发现是一个json的数据类型 3.弄清楚json的数据结构 ''' import requests import json if __name__ == '__main__':
Request.Form.Get()
liuchuan_noah的专栏
10-25 4707
Request.Form.Getfrom:取得表单中name为from的控件的值．如果from为text（客户端） 的name属性值．则Request.Form.Getfrom为其value;如果from为select（客户端）的name，则Request.Form.Getfrom为select所选则的值（value）客户端:asp:TemplateField>    He
python request模块的使用------get, post方法及获取相应方式
技术空间
12-12 4395
一 requests模块的作用 使用各种方式（get，post，put，delete）发送http请求。调用接口，测试服务器相应。 安装直接：pip install requests就可以了。 二 具体使用方式 host="http://localhost:8888"  # 访问地址 get请求 &gt;&gt;&gt; params = {'key1': 'value1', 'key...
Request.Form.Get
weixin_30530523的博客
09-23 970
Request.Form.Get("from"):取得表单中name为from的控件的值． 如果from为text（客户端） 的name属性值．则Request.Form.Get("from")为其value; 如果from为select（客户端）的name，则Request.Form.Get("from")为select所选则的值（value）． 转载于:https://www.cnbl...
【转】Request.Form.Get() Request.Form Request[]区别
weixin_30783913的博客
12-12 602
Request.Form.Get()可以获取空值，其他的获取的是空值是会出错。 Request.Form是获取以POST方式提交的表单数据；Request.QueryString主要是获取地址栏参数或者以Get方式提交的数据而Request则包含以上两种方式，会在Request.QueryString和Request.Form中都查询一遍变量。但是优先获取GET方式提交的数据，即...
POST （Request.Form） Get （ Request.QueryString）
GSE的成长之路
04-16 669
Post --> Request.Form["xx"]Get ---> Request.QueryString["xx"]POST, GET 均可Request.Params["xx"]
在python中get是什么意思_python get函数有什么作用？示例解析
weixin_39851809的博客
11-30 1万+
这篇文章之中我们来了解一下关于python字典之中的pythonget函数的相关知识，get函数是什么意思，他有什么作用都将会在接下来的文章之中得到解答。描述Python 字典(Dictionary) get() 函数返回指定键的值，如果值不在字典中返回默认值。语法get()方法语法：dict.get(key, default=None)参数key -- 字典中要查找的键。default -- 如...
python之使用request模块发送post和get请求
weixin_30600197的博客
01-30 525
import requestsimport json#发送get请求并得到结果# url = 'http://api.nnzhp.cn/api/user/stu_info?stu_name=小黑马 '#请求接口# req = requests.get(url)#发送请求# print(req.text)#获取请求，得到的是json格式# print(req.json())#获取请求，得到的是字典格...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值