Requests库实战

最新推荐文章于 2022-04-20 20:10:51 发布
最新推荐文章于 2022-04-20 20:10:51 发布
阅读量399 收藏 1
点赞数
分类专栏： Python 文章标签： Requests Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Canon_M/article/details/82885048
版权
本文详细介绍了如何利用Python的Requests库进行网络爬虫实战，包括京东和亚马逊商品页面的爬取，处理HTTP状态码和编码问题，查看及修改请求头，以及搜索引擎关键词提交、网络图片抓取和IP地址归属地查询。通过实例代码展示了Requests库的基本用法。
摘要由CSDN通过智能技术生成

一、京东商品页面爬取

import requests
url = "https://item.jd.com/2967929.html"
try:
    r= requests.get(url)
    r.raise_for_status()
    r.encoding = r.apparent_encodin
    print(r.text[:1000])
except:
    print("爬取失败")

 

二、亚马逊商品爬取

检查返回状态码为503

检查编码 r.encoding 'ISO-8859-1'

改成可阅读编码r.encoding = r.apparent_encoding

查看requests头部信息 r.requests.header

更改头部信息:

kv = {'user-agent':'Mozilla/5.0'}

url = "https://www.amazon.cn/gp/product/B01M8L5Z3Y"

r = requests.get(url,header = kv)

r.status_code 200

全部代码：

import requests

url = "https://www.amazon.cn/gp/product/B01M8L5Z3Y"

try:
    kv = {'user-agent':'Mozilla/5.0'}
    r = requests.get(url,headers = kv)
    r.raise_for_status()
    r.encoding =
最低0.47元/天 解锁文章
msklearn
关注
专栏目录
爬虫学习（5）：手把手教你爬虫requests实战演练
全栈川川
10-24 7125
一、前言 前面两篇文章我已经把requests基础与高阶篇都做了详细讲解，也有不少了例子。那么本篇在基于前两篇文章之上，专门做一篇实战篇。 环境：jupyter 如果你不会使用jupyter请看我这一篇文章：jupyter安装教程与使用教程 二、实战 1）获取百度网页并打印 #-*- coding: utf-8 -* import requests url = 'http://www.baidu.com' r = requests.get(url) r.encoding = r.apparent_en
【Python】Python3网络爬虫实战-25、requests：高级用法
Python8年程序员教程分享
07-27 388
在前面一节我们了解了 Requests 的基本用法，如基本的 GET、POST 请求以及 Response 对象的用法，本节我们再来了解下 Requests 的一些高级用法，如文件上传，代理设置，Cookies 设置等等。 1. 文件上传 我们知道 Reqeuests 可以模拟提交一些数据，假如有的网站需要我们上传文件，我们同样可以利用它来上传，实现非常简单，实例如下： import reques...
Requests实战小案例—-豆瓣
12-21
今天我们看一下如何爬取豆瓣的电影信息。 首先我们打开豆瓣电影的网页，这里我随便一个分类。 这里我们看到页面中只有这20个电影，点击加载更多会继续向服务器发送请求然后返回数据。 话不多说，开发者工具看走一走。 这里我们点击“加载更多”会发送这样一个请求。 我们可以从这个请求中发现哪些我们需要的内容呢？ 1.Request Url 2.数据类型 3.传递的参数 ok，需要的东西我们都找到了，接下来就是代码了。 import requests import json url = 'https://movie.douban.com/j/search_subjects?' headers = {
python自动化的requests实战
m0_56039243的博客
04-20 1220
python requests实战
网络爬虫之Requests实战（3）
giun的博客
01-08 268
一、爬取京东商品 话不多说直接上代码 import requests url="https://item.jd.com/2967929.html" try: r = requests.get(url) r.raise_for_status() r.encoding = r.apparent_encoding print(r.text[:1000])#截取前1000个...
Python爬虫之Requests库简单实战
Focus5679的博客
07-12 286
实战1：京东商品页面的爬取 1.寻找目标网页（不一定非用跟笔者一样的） 该网址为https://item.jd.com/12353915.html 2.得到网页地址后可以利用上一篇文章学习到的requests库函数进行页面获取，如图（笔者这里使用了IDLE） 简单解释一下每条代码： >>> import requests #引入requests库 >&g...
Requests库的爬虫实战
拾贝
05-20 505
首先强调一下网络爬虫的“盗亦有道”，应该遵守Robots协议。 实例一：京东商品的页面的爬取 实例二：亚马逊商品页面的爬取 这里说明一下：最开始亚马逊不允许爬虫访问，然后改了一下user-agent,改为了常规的浏览器形式浏览，具体操作见图。 看到这里有没有发现，其实都是有固定的框架去编写一个爬虫代码。 实例三：百度360搜索关键词提交 360搜索引擎和百度的很相似，所...
Python requests库实战：接口测试详细教程
"本文详细介绍了如何使用Python的requests库进行接口测试。通过学习，读者将了解到为何在复杂的测试场景中选择编程进行接口测试而非依赖工具，以及requests库的基本使用方法，包括安装、基础的GET请求及响应信息的...
Python Requests库实战秘籍：GET、POST玩转HTTP请求
[Python Requests库实战秘籍：GET、POST玩转HTTP请求](https://img-blog.csdnimg.cn/20181127185920947.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0...
Python爬虫入门指南：requests库实战教程
首先，它从基础的Requests库入手，这是Python中最常用的数据抓取工具。Requests库的官方网址为<http://www.python-requests.org>，通过pip install requests命令可以方便地进行安装。文档详细介绍了如何使用requests...
Python爬虫基础：urllib与requests库实战
"这篇笔记主要介绍了Python爬虫的基础库使用，包括urllib和requests库，以及如何处理代理IP和不信任的SSL证书问题。作者155ykpya272在2020年的笔记中详细讲解了这些知识点。" 在Python爬虫领域，urllib和requests是...
史上最强，接口自动化测试Requests库实战超细详解
大佬云集技术答疑交流群：743262921(进群暗号:222)
04-02 1713
一、requests库 二、发送基本请求 二、参数传递 三、请求头设置 四、cookies设置 五、超时设置 六、上传文件 七、会话对象 八、ssl验证 九、代理设置 十、身份认证 十一、实战 天气api 十二、unittest 实战天气api 十三、测试报告生成
Requests库网络爬虫实战（5个实例）
君行处的博客
03-17 1520
实例1：京东商品页面的爬取 import requests url = "https://item.jd.com/100005185593.html" #京东mate30 5g try: r = requests.get(url) r.raise_for_status() #如果不是200，则产生异常 r.encoding = r.apparent_encoding #从内容返回编码方式 ...
Python网络爬虫与信息提取-Day5-Requests库网络爬取实战
ARC_XIANG的博客
08-26 1976
Python网络爬虫与信息提取 Requests库网络爬取实战 五个实例
Python第四天——requests实战
qq_45802978的博客
11-18 556
Python第四天——requests实战 1. 获取百度网页并打印 1)模仿：获取淘宝网页并打印 import requests url=('http://www.taobao.com') r=requests.get(url) r.encoding=r.apparent_encoding print(r.text) 2、获取图片地址 1）错误 下载下来的图片为空 2）正确的 换个浏览器图片网址 [https://gimg2.baidu.com/image_search/src=http%3A%
Requests（Python爬虫快速入门-实战）
weixin_46417042的博客
05-27 197
Requests（Python爬虫快速入门-实战） 1 - Requests（百度新闻爬取-简单爬虫） 标题 百度新闻爬取（适用于无反爬机制的网站） 知识点 1 - requests.get(爬取的url网页网址) [ 返回一个response对象 ] 2 - response.text [ 获取该网页的源代码 ] 示例 #导入requests爬虫库 import requests #目标网址 url = "http://news.baidu.com/guonei" #基础爬取(适用于无反爬机
爬虫学习打卡第四天——requests实战
qq_54715996的博客
11-18 954
一、获取百度网页并打印 代码如下： import requests url='http://www.baidu.com' r=requests.get(url) r.encoding=r.apparent_encoding #改变我们获取页面的编码方式 print(r.text) r.encoding=r.apparent_encoding r.encoding：从HTTP header中猜测的内容响应编码方式 r.apparent_encoding：从内容中分析出响应的编码方式 出..
requests简单爬虫项目实战
_计算机好苦
09-30 467
requests实战之搜索引擎爬取搜索内容 import requests #指定url url='https://www.sogou.com/web' kw=input('enter a word: ') header={ 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:79.0) Gecko/20100101 Firefox/' } param={ 'query':kw } #发起请求 #UA伪装 response=r
requests 实例
雪里寻花
09-29 796
# ===爬取京东 url = '' try: r = requests.get(url) r.raise_for_status() r.encoding = r.apparent_encoding print(r.text[:1000]) # 展示前一千字节的数据 except: print('爬取失败') # ===爬取亚马逊 url = '' t...
Python爬虫入门：requests库实战教程
2. **发送HTTP请求**：requests库是Python中最常用的一个库，用于向Web服务器发送各种HTTP请求（GET、POST等）。例如，通过`requests.get()`函数可以轻松获取指定URL的网页内容，并使用`.text`属性获取响应的纯文本...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值