Python Requests 丨爬虫基础入门(1)，意外的惊喜

• POST 变量接受所有以 post 方式发送的请求，例如，一个 form 以 method=post 提交

• REQUEST 支持两种方式发送过来的请求，即 post 和 get 它都可以接受，显示不显示要看传递方法，get 会显示在 url 中（有字符数限制），post 不会在 url 中显示，可以传递任意多的数据（只要服务器支持）。

5、requests返回参数

• r.status_code HTTP请求的返回状态，200表示连接成功，404表示失败

• r.text HTTP响应内容的字符串形式，即url对应的页面内容

• r.encoding 从HTTP header中猜测的响应内容编码方式(

• r.apparent_encoding 从内容中分析出的响应内容编码方式（备选编码方式）

• r.content HTTP响应内容的二进制形式

🕷 二、蜘蛛的背景知识

---

1、蜘蛛的应用场景

玩python的小伙伴，相信都听过蜘蛛🕷吧，他有以下10个方面的妙用，本文中，西红柿🍅将带领大家玩一下。

​

| 应用场景 | 用途解释 |

| — | — |

| 品牌保护 | 通过监控网络上的商标来保护品牌。 |

| 竞争对手情报 | 在不被屏蔽的情况下，抓取竞争对手公开数据信息， |

| 广告验证 | 确保广告在任何地点任何场景被正确的展示 |

| 抓取和索引 | 一个站点可能会将抓取限制为每分钟几个请求，但它们有数千万个页面。 |

| 网站测试 | 准确的测试始于设置正确的参数和正确的环境。 |

| 邮件保护 | 保护敏感数据通信，利用代理服务器应对网络攻击。 |

| 股市数据 | 大规模获取最新的股市信息。 |

| 搜索引擎优化监控 | 使用我们的实时爬虫，监控您的SEO实时情况。 |

| 市场调查 | 从任何位置获取准确的信息，例如可用性和价格。 |

| 旅游聚合 | 使用爬虫获取正确的机票价格和酒店价格。 |

2、动态ip的好

为什么要使用动态住宅IP？

真正的住宅IP地址，这意味着在您请求访问时被阻止的可能性较小并且成功率更高。

• 无限并发

• IP可用率＞98%

• API调用频率：1秒

• HTTP、HTTPS和SOCKS5 协议

三、代理ip

---

我使用的是代理ip网站，可以白嫖50M流量：

http://www.ipidea.net/?utm-source=csdn_bcxhx&utm-keyword=?csdn_bcxhx

1、生成代理api

​

​

到此，你拿到了代理ip的api链接，记得复制保存，等下要用。

如果你访问这个api链接，会发现你拿到了ip和端口。

2、api生成代理ip

def get_proxie(self, api_url):

# 微信搜：信息技术智库，回复’源码’

user_agent = ‘Mozilla/5.0 (Linux; Android 10; EVR-AL00 Build/HUAWEIEVR-AL00; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/74.0.3729.186 Mobile Safari/537.36 baiduboxapp/11.0.5.12 (Baidu; P1 10)’

headers = {

‘User-Agent’: user_agent}

res = requests.post(api_url,headers=headers, verify=True)

proxie = “https://%s”%(res.text)

proxies = {‘http’: proxie}

is_valid, proxies = visitor.proxie_check(proxies)

return is_valid, proxies

3、测试代理ip

def proxie_check(self, proxies):

user_agent = ‘Mozilla/5.0 (Linux; Android 10; EVR-AL00 Build/HUAWEIEVR-AL00; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/74.0.3729.186 Mobile Safari/537.36 baiduboxapp/11.0.5.12 (Baidu; P1 10)’

headers = {‘User-Agent’: user_agent}

res = requests.get(“https://bbs.csdn.net/forums/ITID”, headers=headers, proxies=proxies)

is_valid = 0

if res.status_code == 200 and “msg” not in str(proxies):

is_valid = 1

return is_valid, proxies

四、代理访问

---

在上一步中，我们拿到了代理ip。 西红柿使用的是ipidea：  可白嫖50M流量

当然，你如果还有其他方法，欢迎架微notomoto 进Python裙交流。

代码解释：

• url为访问的地址

• proxies=proxie 为使用代理

class Visitor(object):

def init(self):

“”“Inits Visitor with blah.”“”

self.eggs = 0

@time_decorator

def proxie_visit(self, proxie ,url):

user_agent_list = [

'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ’

‘Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3’,

‘Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50’,

‘Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50’,

‘Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)’,

‘Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)’,

‘Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1’,

‘Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11’,

‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11’,

‘Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)’,

‘Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0’,

‘Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1’,

]

# 随机挑选一个 user_agent

user_agent = random.choice(user_agent_list)

Referer= ‘https://www.baidu.com/’   # 伪装成从baidu

headers = {

‘Referer’: Referer,

‘User-Agent’: user_agent}

# visit

res = requests.get(url, headers=headers, proxies=proxie)

return res.text

获取完整代码：公众号信息技术智库，回复源码

到此，西红柿演示了：使用代码ip访问网站，这是一个简单的蜘蛛原型。 基于这个加以优化，可以实现很多有意思的事情，嘿嘿嘿，点到为止。

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Python开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加V获取：vip1024c （备注Python）

最后

不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~

给大家准备的学习资料包括但不限于：

Python 环境、pycharm编辑器/永久激活/翻译插件

python 零基础视频教程

Python 界面开发实战教程

Python 爬虫实战教程

Python 数据分析实战教程

python 游戏开发实战教程

Python 电子书100本

Python 学习路线规划

一个人可以走的很快，但一群人才能走的更远。如果你从事以下工作或对以下感兴趣，欢迎戳这里加入程序员的圈子，让我们一起学习成长！

AI人工智能、Android移动开发、AIGC大模型、C C#、Go语言、Java、Linux运维、云计算、MySQL、PMP、网络安全、Python爬虫、UE5、UI设计、Unity3D、Web前端开发、产品经理、车载开发、大数据、鸿蒙、计算机网络、嵌入式物联网、软件测试、数据结构与算法、音视频开发、Flutter、IOS开发、PHP开发、.NET、安卓逆向、云计算

ize_16,color_FFFFFF,t_70)

一个人可以走的很快，但一群人才能走的更远。如果你从事以下工作或对以下感兴趣，欢迎戳这里加入程序员的圈子，让我们一起学习成长！

AI人工智能、Android移动开发、AIGC大模型、C C#、Go语言、Java、Linux运维、云计算、MySQL、PMP、网络安全、Python爬虫、UE5、UI设计、Unity3D、Web前端开发、产品经理、车载开发、大数据、鸿蒙、计算机网络、嵌入式物联网、软件测试、数据结构与算法、音视频开发、Flutter、IOS开发、PHP开发、.NET、安卓逆向、云计算