python爬虫之requests模块

最新推荐文章于 2024-03-25 13:55:15 发布
最新推荐文章于 2024-03-25 13:55:15 发布
阅读量102 收藏
点赞数
文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44831124/article/details/119701183
版权

python爬虫之requests模块

一.安装

1.普通安装

pip install requests

2.换源安装

pip install requests -i https://pypi.douban.com/simple

二.快速入门

1. requests.get方法标准格式:

requests.get(url, params, headers,cookies)
不包含参数时,只需要url
包含参数时,参数为params中的键值对

(1).关键字换为16进制

import requests
# 网页地址百度贴吧:海贼王
# https://tieba.baidu.com/f?kw=%E6%B5%B7%E8%B4%BC%E7%8E%8B&ie=utf-8&pn=0    第一页
# https://tieba.baidu.com/f?kw=%E6%B5%B7%E8%B4%BC%E7%8E%8B&ie=utf-8&pn=50   第二页
# https://tieba.baidu.com/f?kw=%E6%B5%B7%E8%B4%BC%E7%8E%8B&ie=utf-8&pn=100  第三页
# https://tieba.baidu.com/f?kw=%E6%B5%B7%E8%B4%BC%E7%8E%8B&ie=utf-8&pn=150  第四页
# 简化网址:
# https://tieba.baidu.com/f?kw=%E6%B5%B7%E8%B4%BC%E7%8E%8B&pn=150
# 标准写法
url1 = 'https://tieba.baidu.com/f?'
params = {'kw':'%E6%B5%B7%E8%B4%BC%E7%8E%8B','pn':"150"}
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3868.400 QQBrowser/10.8.4394.400'
}
response = requests.get(url=url1, params=params,headers=headers)      # 带参数的get请求
print(response.text)

(2).关键字不转换,直接为中文

import requests
# 网页地址百度贴吧:海贼王
# https://tieba.baidu.com/f?kw=%E6%B5%B7%E8%B4%BC%E7%8E%8B&ie=utf-8&pn=0    第一页
# https://tieba.baidu.com/f?kw=%E6%B5%B7%E8%B4%BC%E7%8E%8B&ie=utf-8&pn=50   第二页
# https://tieba.baidu.com/f?kw=%E6%B5%B7%E8%B4%BC%E7%8E%8B&ie=utf-8&pn=100  第三页
# https://tieba.baidu.com/f?kw=%E6%B5%B7%E8%B4%BC%E7%8E%8B&ie=utf-8&pn=150  第四页
# 简化网址:
# https://tieba.baidu.com/f?kw=%E6%B5%B7%E8%B4%BC%E7%8E%8B&pn=150
# 标准写法
url1 = 'https://tieba.baidu.com/f?'
params = {'kw':'海贼王','pn':"100"}
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3868.400 QQBrowser/10.8.4394.400'
}
response = requests.get(url=url1, params=params,headers=headers)      # 带参数的get请求
print(response.text)

2. requests.get方法便捷格式:

requests.get(url, headers,cookies)

(1).关键字换为16进制

import requests
# 网页地址百度贴吧:海贼王
# https://tieba.baidu.com/f?kw=%E6%B5%B7%E8%B4%BC%E7%8E%8B&ie=utf-8&pn=0    第一页
# https://tieba.baidu.com/f?kw=%E6%B5%B7%E8%B4%BC%E7%8E%8B&ie=utf-8&pn=50   第二页
# https://tieba.baidu.com/f?kw=%E6%B5%B7%E8%B4%BC%E7%8E%8B&ie=utf-8&pn=100  第三页
# https://tieba.baidu.com/f?kw=%E6%B5%B7%E8%B4%BC%E7%8E%8B&ie=utf-8&pn=150  第四页
# 简化网址:
# https://tieba.baidu.com/f?kw=%E6%B5%B7%E8%B4%BC%E7%8E%8B&pn=150

#便捷写法
url2 = 'https://tieba.baidu.com/f?kw=%E6%B5%B7%E8%B4%BC%E7%8E%8B&pn=250'
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3868.400 QQBrowser/10.8.4394.400'
}
response = requests.get(url2, headers=headers)      # 带参数的get请求
print(response.text)

(2).关键字不转换,直接为中文

import requests
# 网页地址百度贴吧:海贼王
# https://tieba.baidu.com/f?kw=%E6%B5%B7%E8%B4%BC%E7%8E%8B&ie=utf-8&pn=0    第一页
# https://tieba.baidu.com/f?kw=%E6%B5%B7%E8%B4%BC%E7%8E%8B&ie=utf-8&pn=50   第二页
# https://tieba.baidu.com/f?kw=%E6%B5%B7%E8%B4%BC%E7%8E%8B&ie=utf-8&pn=100  第三页
# https://tieba.baidu.com/f?kw=%E6%B5%B7%E8%B4%BC%E7%8E%8B&ie=utf-8&pn=150  第四页
# 简化网址:
# https://tieba.baidu.com/f?kw=%E6%B5%B7%E8%B4%BC%E7%8E%8B&pn=150

#便捷写法
url3 = 'https://tieba.baidu.com/f?kw=海贼王&pn=250'
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3868.400 QQBrowser/10.8.4394.400'
}
response = requests.get(url3, headers=headers)      # 带参数的get请求
print(response.text)

3.显示乱码问题的解决

import requests
url = 'https://qq.yh31.com/zjbq/2920180.html'
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/\
537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/\
1.70.3868.400 QQBrowser/10.8.4394.400'
}

response = requests.get(url, headers)      # 带参数的get请求
print(response.text)
'''
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<title>喜羊羊QQ表æƒ
，可爱的懒羊羊搞笑图片_第1页_表æƒ
以下省略
'''

此时,打印结果会出现乱码形式.

修改:将response.text替换为response.content.decode(‘utf-8’)

import requests
url = 'https://qq.yh31.com/zjbq/2920180.html'
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/\
537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/\
1.70.3868.400 QQBrowser/10.8.4394.400'
}

response = requests.get(url, headers)      # 带参数的get请求
print(response.content.decode('utf-8'))
'''
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<title>喜羊羊QQ表情，可爱的懒羊羊搞笑图片_第1页_表情党</title>
<meta name="keywords" content="免费下载喜羊羊QQ表情，可爱的懒羊羊搞笑图片" />
<meta name="description" content="本站有大量喜羊羊QQ表情，可爱的懒羊羊搞笑图片，欢迎点击，免费下载图片" />
<script  type="text/javascript" src='/js/hodrduct.js'></script>
<link href="https://qq.yh31.com/css/qq.css" rel="stylesheet" type="text/css" />
<link href="https://qq.yh31.com/css/zt.css" rel="stylesheet" type="text/css" />
<script src="https://dup.baidustatic.com/js/ds.js"></script>
以下省略
'''

原因:
response.text返回的是字符串.它是requests模块将response.content编码之后所得到的数据.编码规则未指定,由requests模块猜测,结果不一定正确,所以会出现乱码.
response.content返回的是字节流.它是直接从网站上抓取数据,没有做任何解码.

解决方法:
方法1.使用print(response.content.decode(‘utf-8’))
方法2.在打印response.text之前,使用response.encoding指定编码方式.

  response.encoding = 'utf-8'
  print(response.text)

import requests
url = 'https://qq.yh31.com/zjbq/2920180.html'
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/\
537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/\
1.70.3868.400 QQBrowser/10.8.4394.400'
}

response = requests.get(url, headers)      # 带参数的get请求
response.encoding = 'utf-8'
print(response.text)
'''
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<title>喜羊羊QQ表情，可爱的懒羊羊搞笑图片_第1页_表情党</title>
<meta name="keywords" content="免费下载喜羊羊QQ表情，可爱的懒羊羊搞笑图片" />
<meta name="description" content="本站有大量喜羊羊QQ表情，可爱的懒羊羊搞笑图片，欢迎点击，免费下载图片" />
<script  type="text/javascript" src='/js/hodrduct.js'></script>
<link href="https://qq.yh31.com/css/qq.css" rel="stylesheet" type="text/css" />
<link href="https://qq.yh31.com/css/zt.css" rel="stylesheet" type="text/css" />
<script src="https://dup.baidustatic.com/js/ds.js"></script>
</head>
以下省略
'''

4.requests设置代理IP

1.代理IP的匿名度

(1) 透明:服务器知道你使用了代理IP,也知道你的真实IP.
(2)匿名:服务器知道使用了代理IP,不知道真实IP.
(3)高匿:服务器不知道使用了代理IP,也不知道真实IP.

2.IP查询

  1. 查询内网IP

cmd----ipconfig

  1. 查询外网IP

1.浏览器输入网址IPIP.net
2.httpbin

3.在requests中设置代理.

import requests

url = "http://httpbin.org/ip"
# 代理ip放在字典中,通过参数proxies调用
proxy = {
    'http':'175.7.199.79:3256'
}
res = requests.get(url,proxies=proxy)
print(res.text)
weixin_44831124
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
爬虫 - requests模块
qq_33962481的博客
04-14 118
文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np import
爬虫——requests模块
G_小武的博客
09-10 117
字符串格式化的一种方式 字典推导式与列表推导式
爬虫之requests模块
forever_wen的博客
10-19 189
requests是一个http请求库 requests是基于python内置的urllib3来编写的，它比urllib更加方便，特别是在添加headers， post请求，以及cookies的设置上，处理代理请求，用几句话就可以实现，而urllib比较繁琐， requests比urllib方便多了，requests是一个简单易用的http请求库 一.requests基本使用 requests模块...
爬虫-requests模块
m0_63936579的博客
07-13 202
request是模块的概念与使用方法
python爬虫 基于requests模块的get请求实现详解
09-18
Python爬虫技术是数据获取的重要手段，特别是在网络信息丰富的今天，爬虫可以帮助我们自动化地抓取...总的来说，requests模块是Python爬虫开发者必备的工具之一，它以其简洁的API和强大的功能，深受广大开发者喜爱。
python爬虫 基于requests模块发起ajax的get请求实现解析
09-18
主要介绍了python爬虫 基于requests模块发起ajax的get请求实现解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
python 爬虫请求模块requests详解
12-16
初级爬虫的开始主要是使用requests模块 安装requests模块： Windows系统： cmd中： pip install requests mac系统中： 终端中： pip3 install requests requests库的基本使用 import requests url = '...
python爬虫、requests模块、xpath实战、中国东盟爬取、图片爬取练习
最新发布
07-03
requests模块.py xpath实战.py 东盟爬取2.py 中国东盟爬取.py 图片爬取练习.py 爬取天气预报热门地区.py 爬虫网页采集器.py 百度翻译.py 豆瓣.py
爬虫requests模块
灯火阑珊处
01-15 749
requests 模块 1.基于GET请求 import requests response=requests.get('http://www.baidu.com/') print(response.text) 1.1.带参数的GET请求–&gt;params #在请求头内将自己伪装成浏览器，否则百度不会正常返回页面内容 import requests response=requests.get...
Python爬虫——Request模块
coco的博客
09-07 242
文章说明了Request模块的意义， 且强调了Request模块使用更加方便。 接下来介绍几种常用的Request操作，并且会在后续补充说明一些特定用法。 导入文件 import requests 一、请求 右边为请求语句，返回值为Response回应 r = requests.get('https://www.baidu.com') r = requests.post('http://httpbin.org/post', data = {'key':'value'}) r = re...
网页爬虫requests模块
weixin_46398446的博客
01-14 276
1.搜狗主页 分四步 获取url 发送请求 获取响应数据 持久化存储 代码如下 #导入requests模块 import requests if __name__ == "__main__": #1.获取url url =' https://www.sogou.com/' #2.发送请求 response = requests.get(url = url) #3.获取响应数据，text返回字符串形式的数据 page_text = response.text
Python 爬虫学习笔记一： requests 模块
JennyChen66的博客
11-08 1257
Python 爬虫学习笔记一： requests 模块[转]Requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。 1. request 首页 ： http://www.python-requests.org/en/master/ 2. r
爬虫requests模块简介
caiweijiancsdn的博客
03-15 247
requests模块的get方法 1、response = requests.get( url=请求url地址， headers = 请求头字典， params=请求参数字典， ) 2、get请求一般带参数，带参数就将参数封装到params字典中就可以了。 案例：新浪新闻，两种分装params请求参数方式 3、response对象 （1）响应正文： a、字符串格式的响应正文：response.te...
网络爬虫基础——【requests】模块详解
qq_41515916的博客
06-26 6628
requests是一种Python的HTTP模块，requests模块可以处理URL编码，会话cookie和HTTP基本身份验证等功能。与urllib库相比，requests提供了简便易用的API，使用更加方便。同时requests是一种流行的Python网络请求库，它不仅易于使用，而且功能还十分强大，由于requests模块易于使用，因此很适合初学者入手学习网络爬早。
爬虫----request模块
m0_71494659的博客
06-17 1061
Requests是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。Beautiful is better than ugly.(美丽优于丑陋)Explicit is better than implicit.(清楚优于含糊)Simple is better than complex.(简单优于复杂)
Python爬虫学习第二章-1-requests模块简介
BreezeChasingDrizzle
10-20 236
Python爬虫学习第二章-1-requests模块简介   这一章主要是介绍requests模块的相关知识以及使用 1、requests模块简介： 概述：是python中原生的一款基于网络请求的模块，高效简洁 作用：用来模拟浏览器发请求。 如何使用（模拟浏览器发请求的过程）：指定url即指定网址；对当前url发起请求，如get请求；获取服务器响应的数据，如显示的页面数据；将爬取到的响应数据进行持久化存储， 可以作为使用requests模块的编码流程 实战编码：指定需求：爬取搜狗首页的页面数据 2、爬取
爬虫简介与requests模块
唯美清泠
09-30 546
爬虫简介 概述 近年来，随着网络应用的逐渐扩展和深入，如何高效的获取网上数据成为了无数公司和个人的追求，在大数据时代，谁掌握了更多的数据，谁就可以获得更高的利益，而网络爬虫是其中最为常用的一种从网上爬取数据的手段。 网络爬虫，即Web Spider，是一个很形象的名字。如果把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环
【网络爬虫】(2) requests模块，案例：网络图片爬取，附Python代码
博观而约取，厚积而薄发
03-25 1742
例如，params={'key1': 'value1', 'key2': 'value2'} 将会以 key1=value1&key2=value2 的形式附加到 URL 上。要发送的 JSON 数据。这是 requests.put 函数必须的参数，代表你想要发送 PUT 请求的资源的地址。下面我将详细介绍 requests.put 函数的参数、用法，并给出一个简短的例子。用于身份验证的元组，如 ('user', 'pass')。用于身份验证的元组，如 ('user', 'pass')。
python爬虫翻页requests
11-16
以下是使用Python requests模块进行翻页爬取的示例代码： ```python import requests from bs4 import BeautifulSoup url = 'http://example.com/page=' page_num = 1 while True: # 构造当前页的URL current_url = url + str(page_num) # 发送请求 response = requests.get(current_url) # 判断是否到达最后一页 if response.status_code == 404: break # 解析HTML soup = BeautifulSoup(response.text, 'html.parser') # 提取需要的信息 # ... # 翻页 page_num += 1 ``` 在这个示例中，我们首先定义了一个URL和初始页码。然后，我们使用一个while循环来不断发送请求并解析HTML，直到到达最后一页为止。在每一页中，我们可以使用BeautifulSoup库来提取需要的信息。最后，我们增加页码以获取下一页的内容。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值