Python requests库简单使用

最新推荐文章于 2024-01-02 11:46:26 发布

Kingyanhui

最新推荐文章于 2024-01-02 11:46:26 发布

阅读量318

点赞数

本文链接：https://blog.csdn.net/Kingyanhui/article/details/88856366

版权

Python requests库简单使用

Requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。简单说就是一个用于爬取网页的一个强大的库，也是一个现在最常用的库，因为它比urllib等库即简单又强大。
下面我们来介绍介绍requests库的简单用法，requests中常见的几种请求方式为分别为：
requests.get() #GET请求
requests.post() #POST请求
requests.put() #PUT请求（提交修改全部的数据）
requests.delete() #DELETE请求
requests.head() #HEAD请求
requests.patch() #PATCH请求（提交修改部分数据）
我们先简单列举一下get()的用法，GET请求网页来得到网页的源代码：

import requests 
r=requests.get('https://www.baidu.com/') 
print(type(r)) 
print(r.status_code) 
print(type(r.text)) 
print(r.text) 
print(r.cookies)

结果如下：

<class 'requests.models.Response'>
200
<class 'str'>
<!DOCTYPE html>
<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css><title>ç™¾åº¦ä¸€ä¸‹ï¼Œä½ å°±çŸ¥é“</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action=//www.baidu.com/s class=fm> <input type=hidden name=bdorz_come value=1> <input type=hidden name=ie value=utf-8> <input type=hidden name=f value=8> <input type=hidden name=rsv_bp value=1> <input type=hidden name=rsv_idx value=1> <input type=hidden name=tn value=baidu><span class="bg s_ipt_wr"><input id=kw name=wd class=s_ipt value maxlength=255 autocomplete=off autofocus=autofocus></span><span class="bg s_btn_wr"><input type=submit id=su value=ç™¾åº¦ä¸€ä¸‹ class="bg s_btn" autofocus></span> </form> </div> </div> <div id=u1> <a href=http://news.baidu.com name=tj_trnews class=mnav>æ–°é—»</a> <a href=https://www.hao123.com name=tj_trhao123 class=mnav>hao123</a> <a href=http://map.baidu.com name=tj_trmap class=mnav>åœ°å›¾</a> <a href=http://v.baidu.com name=tj_trvideo class=mnav>è§†é¢‘</a> <a href=http://tieba.baidu.com name=tj_trtieba class=mnav>è´´å§</a> <noscript> <a href=http://www.baidu.com/bdorz/login.gif?login&amp;tpl=mn&amp;u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1 name=tj_login class=lb>ç™»å½•</a> </noscript> <script>document.write('<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u='+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ '" name="tj_login" class="lb">ç™»å½•</a>');
                </script> <a href=//www.baidu.com/more/ name=tj_briicon class=bri style="display: block;">æ›´å¤šäº§å“</a> </div> </div> </div> <div id=ftCon> <div id=ftConw> <p id=lh> <a href=http://home.baidu.com>å
³äºŽç™¾åº¦</a> <a href=http://ir.baidu.com>About Baidu</a> </p> <p id=cp>&copy;2017&nbsp;Baidu&nbsp;<a href=http://www.baidu.com/duty/>ä½¿ç”¨ç™¾åº¦å‰å¿
è¯»</a>&nbsp; <a href=http://jianyi.baidu.com/ class=cp-feedback>æ„è§åé¦ˆ</a>&nbsp;äº¬ICPè¯030173å·&nbsp; <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>

<RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]>

Process finished with exit code 0

这就是requests库get的用法，是不是很简单，同样剩下的那几种请求方式也是一样的：

r = requests.post('http://httpbin.org/post')
r = requests.put（'http://httpbi i.org/put')
r = requests.delete('http://httpbin.org/delete') 
r = requests.head('http://httpbin.org/get') 
r = requests.options('http://httpbin.org/get')

这里分别用 post,put ,delete,等方法实现了 POST,PUT,TE等请求 , 这比urllib库简单太多了。
上面例子请求的的链接是一个普通的网页，一般直接用GET就能向网页请求，但是大部分知名网页它们会设置有一些反爬取，禁止抓取，这时候我们需要加入headers信息，其中包含了 User- Agent字段信息，也就是浏览器标识的信息。如果不加这个就会禁止抓取。
User Agent意思就是用户代理，简称 UA，它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。所以有的网页他会有设置UA所以在爬取这种瓦那网页的时候就需要加上，否则会爬取不成功。
上面也列举了requests的一些简单的命令，下面做一个简单的实践操作，爬取一个网页图片，具体代码如下。

import requests
>>> r=requests.get('https://www.baidu.com/img/baidu_jgylogo3.gif')
>>> with open("1.gif",'wb')as f:
...     f.write(r.content)
...

然后下面是一个网页的简单爬取：

import requests
import re
import json
import time
def wangyan(url):
        headers={
            'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36'
        }
        reaponse=requests.get(url,headers)
        if reaponse.status_code==200:
            return reaponse.text
        return None
def writen(content):
    with open(r'C:\Users\MI\Desktop\maoyan\dianying.txt','a',encoding='utf-8')as f:
        f.write(json.dumps(content,ensure_ascii=False)+'\n')
def dianying(html):
    zhengze = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a'
                         +'.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>'
                         +'.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>',re.S)
    items = re.findall(zhengze, html)
    for item in items:
        yield {
            '排名': item[0],
            '信息': item[1],
            '名称': item[2],
            '导演': item[3].strip(),
            '时间': item[4],
            '评分': item[5]+item[6]
        }
def main(offset):
    url = 'https://maoyan.com/board/4?offset='+str(offset)
    html = wangyan(url)
    dianying(html)
    for item in dianying(html):
        print(item)
        writen(item)
if __name__ == '__main__':
    for i in range(10):
        main(offset=i*10)
    time.sleep(1)

Kingyanhui

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Python requests库简单使用

Python requests库简单使用Requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。简单说就是一个用于爬取网页的一个强大的库，也是一个现在最常用的库，因为它比urllib等库即简单又强大。下面我们来介绍介绍requests库的简单用法，requests中常见的几种请求方式为分别为：requests.get(...
复制链接

扫一扫