阻碍网络爬虫进行的原因有哪些？

最新推荐文章于 2023-01-17 15:03:32 发布

Laicaling

最新推荐文章于 2023-01-17 15:03:32 发布

阅读量963

点赞数

分类专栏：网络爬虫数据采集 http代理

本文链接：https://blog.csdn.net/Laicaling/article/details/107256003

版权

本文介绍了HTTP与HTTPS协议的区别，强调HTTPS的安全性和对SEO的益处。在网络爬虫中，代理IP有时会被禁止，文章提供了解决方案，包括限制爬虫访问频率、检查代理使用问题、使用cookie登陆以应对验证码。同时，文章提到了亿牛云HTTP代理在Python网络爬虫中的应用优势。

摘要由CSDN通过智能技术生成

HTTP网络协议与HTTPS协议是存在着差异的，这种差异也延长到了HTTP代理与HTTPS代理之中。要想了解这之中的区别，大家先来了解这两种互联网协议的各自特性。
1、HTTPS要用到SSL证书，而HTTP不用。
2、是明文传输协议，HTTPS协议是由SSL+HTTP协议构建的可进行加密传输、身份认证的网络协议，比HTTP协议安全。
HTTPS比HTTP更为安全，对搜索引擎更为友好，利于SEO，谷歌、百度优先索引HTTPS网页。
3、HTTPS标准端口443，HTTP标准端口80。
4、HTTPS在浏览器显示绿色安全锁，HTTP没有显示。
5、HTTPS依托于传输层，HTTP依托于应用层。
运用于网络爬虫中，不论是HTTP代理或是HTTPS代理，都可以协助消费者完成业务。然而有的时候，使用了IP代理，也会无可避免的碰上网络爬虫被禁。
使用代理：
适用情况：大部分网站均限制了IP的访问量
对于“频繁点击”的情况，我们还可以通过限制爬虫访问网站的频率来避免被网站禁掉。
#! -- encoding:utf-8 --
import requests
import random
# 要访问的目标页面
targetUrl = “http://httpbin.org/ip”
# 要访问的目标HTTPS页面
# targetUrl = “https://httpbin.org/ip”
# 代理服务器(产品官网 www.16yun.cn)
proxyHost = “t.16yun.cn”
proxyPort = “31111”
# 代理隧道验证信息
proxyUser = “username”