爬虫--代理池（requests 人人网实战）

最新推荐文章于 2023-03-13 23:50:04 发布
最新推荐文章于 2023-03-13 23:50:04 发布
阅读量263 收藏
点赞数
分类专栏： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Nicht_sehen/article/details/102807263
版权
IP代理：
原因
  1. 让服务器认为不是同一个客户端的请求
  2. 不易追踪自己的ip
检查可用性
  1. 使用requests加超时参数，判断ip质量
  2. 在线代理ip质量检测网站
代理池

字典形式，一堆ip，随机使用

用户代理：
代理池

使用一堆带有cookie的请求组成用户代理池

使用思路
  1. 实例化session
  2. 使用session发送请求，登陆网站，将cookie保存在session中
  3. 再使用session请求登陆之后才能访问的网站（session可以自动携带登陆成功时保存的cookie进行请求）
实战

在这里插入图片描述

Nicht_Sehen
关注
专栏目录
requests：代理池，上传文件
felix的博客
05-09 4257
长链接转短连接，本质重定向，前提有一个短域名。 前端用户发送请求生成短连接，服务端收到post请求，将长链接存入数据库，返回一个随机字符串拼接在短域名后面给用户，用户下次那个短连接来登录，发送get请求，服务端收到用户输入地址，拿着长链接到后端比较取到长链接地址并重定向。 requests高级用法： 1、SSL Cert Verification-->证书验证 #证书验证(大部分网站都是h...
Requests 代理池
dianyin7770的博客
05-25 227
Requests 本身不提供代理池，然而爬数据又要用，所以只能自己搞。其实还挺简单的。我也不知道为什么这么有用的 feature 一直没有被加入。 import requests class Client: def __init__(self): self._session = requests.Session() self....
python的ip代理池
Big_Body
12-02 929
爬取代理然后验证代理，将可用代理放入txt文件。 辣鸡编码，大佬们轻喷，有问题留言。。。。。。。谢谢。 结果如图 import requests from scrapy import Selector start_url = 'http://www.89ip.cn/index_1.html' url = 'http://www.89ip.cn/index_{}.html' headers =...
requests查询 代理池 是否有效（隐藏自己的）
m0_51139704的博客
04-17 662
检查代理是否有效
【requests的高级用法—代理池】
weixin_41641028的博客
03-13 332
有些时候，需要对网站服务器发起高频的请求，网站的服务器会检测到这样的异常现象，则会将请求对应机器的ip地址加入黑名单，则该ip再次发起的请求，网站服务器就不在受理，则我们就无法再次爬取该网站的数据。使用代理后，网站服务器接收到的请求，最终是由代理服务器发起，网站服务器通过请求获取的ip就是代理服务器的ip，并不是我们客户端本身的ip。高匿：网站服务器不知道你使用了代理，也不知道你的真实ip（推荐）透明：网站的服务器知道你使用了代理，也知道你的真实ip。proxies={'代理类型':'ip:port'}
【python网络爬虫】-构建免费代理池
最新发布
11-07
【python网络爬虫】-构建免费代理池 # 导入requests模块 import requests # 从bs4中导入BeautifulSoup模块 from bs4 import BeautifulSoup # 定义获取代理地址的方法 def get_proxy(pages, ua): # 定义proxy_ips...
学习笔记(10):21天搞定分布式Python网络爬虫-requests库-使用代理
12-22
Requests使用代理时出错，网上搜索了一下，原来是代理IP地址前面要加http:// 正确代码： import requests proxy = { 'http':'http://114.228.73.217:6666' } url = 'http://www.httpbin.org/ip' resp = requests....
网络爬虫-如何通过requests模块实现Cookie登录-Python实例源码.zip
12-13
网络爬虫-如何通过requests模块实现Cookie登录-Python实例源码.zip
python爬虫-简单代理IP池的搭建与使用
莫莫先生的博客
11-27 1万+
前言：常爬爬网站，总有些害怕突然返回一个不是200的状态码，不是网不好，就是被反爬了，不过大多数网站还是蛮“友好”的，但难免还是会被网站封了IP，于是乎想到了前辈们说的代理ip池，咱学习学习，自己也整一个，好了，开干。 IP代理池的搭建及使用需要实现以下几点功能 1. 找到合适的代理ip的网站（[西刺代理](https://www.xicidaili.com/nn/1)） 2. 解析网页获取ip 3. 判断ip是否有效 4. 读写数据
Java 爬虫--类似Python的requests库--HttpClient， HttpAsyncClient--Maven
个人博客
04-22 2160
今天在找Java的爬虫的库，发现Java的爬虫框架挺多的，常见的有nutch，Heritrix，crawler4j等。 但我想要的是类似Python的requests库的Java库。
requests模块&代理IP池搭建&视频爬取
weixin_68531269的博客
11-24 4735
爬虫代理ip池，网络爬虫
request+xpath爬取免费代理打造自己的ip代理池
三国小梦的博客
07-05 681
本案例是爬取的快代理的免费匿名代理，并自动检测代理是否可用，把可用的代理以json文件保存起来 使用代理 随机从中选择一个代理使用，具体发送http请求的代码自己实现吧
爬虫笔记-代理和代理池
qq_54152856的博客
02-22 6435
1、代理 import urllib.request url = 'http://www.baidu.com/s?ie=UTF-8&wd=ip' headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36' } # 请求对象的定制 request = urlli..
requests的代理使用
qq_34577961的博客
03-15 7020
import requests from lxml import etree headers = { 'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.80 Safari/537.36', } url = 'https://www.sogou.com/web?query=ip' #使用代理服务器发起请求 #prox.
python中requests使用代理proxies
热门推荐
Winterto1990的博客
04-22 25万+
学习网络爬虫难免遇到使用代理的情况，下面介绍一下如何使用requests设置代理： 如果需要使用代理，你可以通过为任意请求方法提供 proxies 参数来配置单个请求: import requests proxies = { "http": "http://10.10.1.10:3128", "https": "http://10.10.1.10:1080", } requests.g
python-requests模块实现ip代理池
H4ppyD0g的博客
09-28 5386
import json import telnetlib import requests import random # 代理ip列表 proxy_url = "https://raw.githubusercontent.com/fate0/proxylist/master/proxy.list" # 写入可用ip代理池文件路径 ip_pool_file = "verified_proxies.json" # 用于测试代理ip是否可用的网站 test_url = "http://icanhazip.com
Requests和Xpath用法与代理池设置方法
weixin_44194855的博客
09-09 623
1.Requests Requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求，更重要的一点是它支持 Python3 。 Requests GET请求代码 import requests url = 'http://www.baidu.co...
python3 requests 代理_python3 requests中使用ip代理池随机生成ip的实例
weixin_33855603的博客
01-29 975
啥也不说了，直接上代码吧！# encoding:utf-8import requests # 导入requests模块用于访问测试自己的ipimport randompro = ['1.119.129.2:8080','115.174.66.148','113.200.214.164']# 在(http://www.xicidaili.com/wt/)上面收集的ip用于测试# 没有使用字典的原因是...
【Python3】requests设置代理
丫丫
05-14 8万+
import requests proxies = {'http': 'http://localhost:8888', 'https': 'http://localhost:8888'} requests.post(url, data=body, headers=myouheader, proxies=proxies, verify=False) #verify是否验证服务器的SSL证书...
Python自学requests-html：入门与实战教程
在本文档中，作者讲述了其在暑假期间选择自学Python爬虫的经历，特别关注了`requests-html`这一框架。开始时，作者在互联网上搜索资料，虽然了解到诸如`requests`和正则表达式等基础工具，但`requests-html`因其提供...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值