Python Requests 丨爬虫基础入门

最新推荐文章于 2024-07-16 13:17:37 发布
最新推荐文章于 2024-07-16 13:17:37 发布
阅读量440 收藏 4
点赞数 5
分类专栏： 程序员 文章标签： python 爬虫 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/w5jaLw/article/details/137476545
版权

  • get方法

  • post方法

  • header参数，模拟用户

  • data参数，提交数据

  • proxies参数，使用代理

1、pip安装requests

pip install requests

2、pycharm安装requests

举一反四，其它包的安装方法类似！

​

​

3、示例：一行代码使用requests

导入 Requests 模块：

import requests

然后，尝试获取某个网页。本例子中，我们来获取 Github 的公共时间线：

r = requests.get(‘https://api.github.com/events’)

4、requests常用调用（get、post）

  • GET 变量接受所有以 get 方式发送的请求，及浏览器地址栏中的 ?之后的内容。

  • POST 变量接受所有以 post 方式发送的请求，例如，一个 form 以 method=post 提交

  • REQUEST 支持两种方式发送过来的请求，即 post 和 get 它都可以接受，显示不显示要看传递方法，get 会显示在 url 中（有字符数限制），post 不会在 url 中显示，可以传递任意多的数据（只要服务器支持）。

5、requests返回参数

  • r.status_code HTTP请求的返回状态，200表示连接成功，404表示失败

  • r.text HTTP响应内容的字符串形式，即url对应的页面内容

  • r.encoding 从HTTP header中猜测的响应内容编码方式(

  • r.apparent_encoding 从内容中分析出的响应内容编码方式（备选编码方式）

  • r.content HTTP响应内容的二进制形式

🕷 二、蜘蛛的背景知识

1、蜘蛛的应用场景

玩python的小伙伴，相信都听过蜘蛛🕷吧，他有以下10个方面的妙用，本文中，西红柿🍅将带领大家玩一下。

​

| 应用场景 | 用途解释 |

| — | — |

| 品牌保护 | 通过监控网络上的商标来保护品牌。 |

| 竞争对手情报 | 在不被屏蔽的情况下，抓取竞争对手公开数据信息， |

| 广告验证 | 确保广告在任何地点任何场景被正确的展示 |

| 抓取和索引 | 一个站点可能会将抓取限制为每分钟几个请求，但它们有数千万个页面。 |

| 网站测试 | 准确的测试始于设置正确的参数和正确的环境。 |

| 邮件保护 | 保护敏感数据通信，利用代理服务器应对网络攻击。 |

| 股市数据 | 大规模获取最新的股市信息。 |

| 搜索引擎优化监控 | 使用我们的实时爬虫，监控您的SEO实时情况。 |

| 市场调查 | 从任何位置获取准确的信息，例如可用性和价格。 |

| 旅游聚合 | 使用爬虫获取正确的机票价格和酒店价格。 |

2、动态ip的好

为什么要使用动态住宅IP？

真正的住宅IP地址，这意味着在您请求访问时被阻止的可能性较小并且成功率更高。

  • 无限并发

  • IP可用率＞98%

  • API调用频率：1秒

  • HTTP、HTTPS和SOCKS5 协议

三、代理ip

我使用的是代理ip网站，可以白嫖50M流量：

http://www.ipidea.net/?utm-source=csdn_bcxhx&utm-keyword=?csdn_bcxhx

1、生成代理api

​

​

到此，你拿到了代理ip的api链接，记得复制保存，等下要用。

如果你访问这个api链接，会发现你拿到了ip和端口。

2、api生成代理ip

def get_proxie(self, api_url):

# 微信搜：信息技术智库，回复’源码’

user_agent = ‘Mozilla/5.0 (Linux; Android 10; EVR-AL00 Build/HUAWEIEVR-AL00; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/74.0.3729.186 Mobile Safari/537.36 baiduboxapp/11.0.5.12 (Baidu; P1 10)’

headers = {

‘User-Agent’: user_agent}

res = requests.post(api_url,headers=headers, verify=True)

proxie = “https://%s”%(res.text)

proxies = {‘http’: proxie}

is_valid, proxies = visitor.proxie_check(proxies)

return is_valid, proxies

3、测试代理ip

def proxie_check(self, proxies):

user_agent = ‘Mozilla/5.0 (Linux; Android 10; EVR-AL00 Build/HUAWEIEVR-AL00; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/74.0.3729.186 Mobile Safari/537.36 baiduboxapp/11.0.5.12 (Baidu; P1 10)’

headers = {‘User-Agent’: user_agent}

res = requests.get(“https://bbs.csdn.net/forums/ITID”, headers=headers, proxies=proxies)

is_valid = 0

if res.status_code == 200 and “msg” not in str(proxies):

is_valid = 1

return is_valid, proxies

四、代理访问

在上一步中，我们拿到了代理ip。 西红柿使用的是ipidea：  可白嫖50M流量

当然，你如果还有其他方法，欢迎架微notomoto 进Python裙交流。

代码解释：

  • url为访问的地址

  • proxies=proxie 为使用代理

class Visitor(object):

def init(self):

“”“Inits Visitor with blah.”“”

self.eggs = 0

@time_decorator

def proxie_visit(self, proxie ,url):

user_agent_list = [

'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ’

‘Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3’,

‘Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50’,

‘Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50’,

‘Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)’,

‘Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)’,

‘Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1’,

‘Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11’,

‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11’,

‘Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)’,

‘Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0’,

‘Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1’,

]

# 随机挑选一个 user_agent

user_agent = random.choice(user_agent_list)

Referer= ‘https://www.baidu.com/’   # 伪装成从baidu

headers = {

‘Referer’: Referer,

‘User-Agent’: user_agent}

# visit

res = requests.get(url, headers=headers, proxies=proxie)

return res.text

获取完整代码：公众号信息技术智库，回复源码

到此，西红柿演示了：使用代码ip访问网站，这是一个简单的蜘蛛原型。 基于这个加以优化，可以实现很多有意思的事情，嘿嘿嘿，点到为止。

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

img

img

img

img

img

img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注Python）

mg.cn/img_convert/252731a671c1fb70aad5355a2c5eeff0.png)

img

img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注Python）

img
w5jaLw
关注
  • 5
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python对requests的安装与检测
dalang1010的博客
01-16 2万+
我是Python小白 完全不知道该如何去运行 但是看到别人的爬虫代码就很开心激动和羡慕 于是我就捉摸着自学与研究 我的电脑是 win10 64位的 安装的是Python3.5 环境变量就是把安装的路径添加到环境变量即可,不会可以搜.网上写的都比我的好.所以就不赘述了 先贴代码,是爬去网易云音乐的热评. import re import requests import json
python 发个信息
c692088846的专栏
10-29 211
# -*- coding: utf-8 -*- import requests payload= {'username' : '1338280525608KRC', 'password' : '', 'mobile' : '手机号', 'content' :...
Python-request库的详细解析
最新发布
xycxycooo的博客
07-16 1929
requests库支持自定义身份验证。我们可以通过继承类来实现自定义的身份验证逻辑。requests库允许我们自定义适配器，以实现更复杂的请求逻辑。我们可以通过继承类来实现自定义的适配器。
python安装requests
菜鸟毅战
06-10 6149
​​​​​​​
Python安装requests
软件测试工程师
01-29 527
1、在搜索框中输入“cmd”，按ENTER键 2、找到python的安装目录，并切换到“Scripts”目录下，复制地址E:\Python27\Scripts 3、在cmd中切换到2中所复制目录 cd:E:\Python27\Scripts e: 4、输入pip install requests,提示安装成功...
零基础Python爬虫从入门到精通-视频教程网盘链接提取码下载 .txt
02-21
本套视频教程适合想掌握爬虫技术的学习者，以企业主流版本Python 3.7来讲解，内容包括：Python基础、Urllib、解析（xpath、jsonpath、beautiful）、requests、selenium、Scrapy框架等。针对零基础的同学可以从头学起...
python爬虫requests库入门基础
06-06
### Python爬虫requests库入门基础 #### Requests模块安装与简介 - **安装**: 使用Python的包管理工具pip来安装requests库。在命令行输入以下命令即可完成安装：`pip install requests`。 - **模块简介**: ...
python上安装requests
aihuixx024116的博客
05-14 389
首先需要配置好python的环境变量。 测试是否成功配置，进入命令行，输入python。 如下图为配置成功。 去第三方库的网站下载安装包，解压在python的安装目录 ，下载地址：https://pypi.python.org/pypi/requests#downloads 运行cmd，进入命令行。利用cd命令进入第三方库文件夹的位置。 键入命令python setu...
Python Requests库安装和使用
ccc369639963的博客
03-11 2万+
Python Requests库安装和使用 Python 提供了多个用来编写爬虫程序的库，除了前面已经介绍的 urllib 库之外，还有一个很重的 Requests 库，这个库的宗旨是“让 HTTP 服务于人类”。 Python requests Requests 是 Python 的第三方库，它的安装非常简便，如下所示： python -m pip install requests Requests 库是在 urllib 的基础上开发而来，它使用 Python 语言编写，并且采用了 Apache2 Li
Python requests 包
06-28
Python requests包，经测试可以使用
python如何安装requests库
weixin_35749440的博客
02-14 2381
安装requests库可以使用 pip 命令，命令如下： pipinstall requests 在命令行或终端中执行上面的命令即可安装 requests 库。 如果你使用的是 Python3，可以使用如下命令安装： pip3install requests ...
python之requests包
qq_32551117的博客
06-07 974
requests模块是python中常用的写网页爬虫程序的包，requests可以发送HTTP请求，并获取请求状态及请求内容，也可以用来做接口自动化测试。以下是我总结的requests模块的常用方法首先使用requests包之前首先需要安装包，直接pip install requests即可自动安装requests包，以下是简单介绍了requests包的多个方法的使用一，发送请求get请求：不带参...
pycharm中如何安装requests库
2301_79857125的博客
05-13 2072
点进去接着找到 ：project:pythonproject，打开它，找到python interpreter，然后找到pip。搜索requests，找到后点击requests ，然后找到下面的lnstall package，等一下下载完就成功了。今天教大家直接在pycharm中直接安装requests库。首先我们点击左上角的File，找到settings。双击pip 出现以下界面。
Python requests 模块
qq_52758588的博客
04-09 3904
requests模块超详细
Python Requests库安装和使用教程（非常详细）从零基础入门到精通，看完这一篇就够了
lvaolan的博客
04-12 2704
① Python所有方向的学习路线图，清楚各个方向要学什么东西② 600多节Python课程视频，涵盖必备基础、爬虫和数据分析③ 100多个Python实战案例，含50个超大型项目详解，学习不再是只会理论④ 20款主流手游迫解 爬虫手游逆行迫解教程包⑤ 爬虫与反爬虫攻防教程包，含15个大型网站迫解⑥ 爬虫APP逆向实战教程包，含45项绝密技术详解⑦ 超300本Python电子好书，从入门到高阶应有尽有⑧ 华为出品独家Python漫画教程，手机也能学习。
PyCharm中安装requests库
热门推荐
m0_46983541的博客
11-06 6万+
在利用python进行进行数据爬虫的时候，我们通常会使用requests第三方库，这里介绍下在集成开发环境Pycharm中安装requests库的方法。 一、打开“Pycharm”，点击“File”（文件），选择“Settings”. 二、在“Settings”中点击“Project:Practice”,选择“Python Interpreter”,点击右侧“+”。 三、搜索处输入 “requests ”然后点击“Install Package”进行安装，等待PyCharm安装完成。 ...
Requests库爬虫基础入门教程
爬虫基础入门——Requests轻松上手！ Requests 库是 Python 中用于发送网络请求的库，底层基于 urllib 库。通过使用 Requests 库，我们可以模拟浏览器向网站服务器发送请求，从而拿到我们想要的数据内容，然后可以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值