Python爬虫学习笔记（应对反爬虫）

最新推荐文章于 2024-04-30 14:44:06 发布
最新推荐文章于 2024-04-30 14:44:06 发布
阅读量172 收藏
点赞数
分类专栏： Python爬虫 文章标签： 爬虫 反爬虫 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33360009/article/details/104515623
版权

1.爬虫被网站识别的特征：

  • 爬取几次后需要进行验证
  • 响应时间、速度变慢了
  • 返回错误的状态码

2.规避反爬虫

  • 加入user-agent、cookie、referer等信息
  • 减缓爬虫速度，降低请求频率，设置下载等待时间
  • 使用Chrome Headless模拟浏览器访问
  • 拒绝遵守Robot协议：ROBOTSTXT_OBEY = False
  • 减小并发请求数
  • 使用分布式爬虫
  • 使用代理或代理池
二叉叔
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python爬虫学习笔记1
weixin_54781336的博客
09-21 808
认识爬虫 爬虫的概念：又称网页蜘蛛、网络机器人，是一种按照一定规则、自动请求万维网网站并提取网络数据的程序或脚本。（数据是指网络上公开的可以访问到的网页信息） 爬虫的分类 按使用场景：通用爬虫、聚焦爬虫 按爬去形势：累积式爬虫、增量式爬虫 按爬取数据的存在方式：表层爬虫、深层爬虫 镜像备份是什么？ 镜像备份是独立文件(数据文件、归档日志、控制文件）的备份。类似操作系统级的文件备份。 URL是什么？ 统一资源定位系统，是因特网、万维网服务程序上用于指定信息位置的表示方法。 通用爬虫 又称全网爬虫，它将爬取对象
Python爬虫学习笔记——防豆瓣反爬虫
weixin_34107955的博客
01-14 616
开始慢慢测试爬虫以后会发现IP老被封，原因应该就是单位时间里面访问次数过多，虽然最简单的方法就是降低访问频率，但是又不想降低访问频率怎么办呢？查了一下最简单的方法就是使用转轮代理IP，网上找了一些方法和免费的代理IP，尝试了一下，可以成功，其中IP代理我使用的是http://www.xicidaili.com/nn/ 获取Proxies的代码如下： 1 for page in range...
爬虫之滑动验证码
ysuprogrammer_li的博客
05-12 2132
爬虫解决滑动验证码问题
python爬虫笔记（六）——应对反爬策略
热门推荐
菜到怀疑人生的博客
08-04 1万+
以下总结的全是单机爬取的应对反爬策略   1、设置爬取速度，由于爬虫发送请求的速度比较快，会对服务器造成一定的影响，尽可能控制爬取速度，做到文明爬取 2、重启路由器。并不是指物理上的插拔路由器，而是指模拟路由器重启时发送的表单。登陆自己的路由器，一般路由器会提供重启路由器的选项，根据路由器的重启特点进行模拟，如果觉得模拟请求麻烦，那就通过selenium+chromedriver直接点击重启...
爬虫：学习笔记之常见反爬虫策略及应对技巧
KaiSarH
11-08 1361
学习笔记之常见反爬虫策略及应对技巧
Python爬虫学习笔记
tmyzxy1314的博客
10-17 2940
Python爬虫是一种使用Python编程语言开发的自动化网页抓取工具。它们主要用于从互联网上获取数据，通常用于收集公开信息，如新闻文章、社交媒体帖子、价格信息等。
python爬虫学习笔记-requests基础
weixin_36058228的博客
01-21 1032
什么是爬虫就是编写程序，模拟浏览器上网，让其去互联网中抓取数据的过程模拟：浏览器本身就是一个纯天然的爬虫工具，爬虫相关的模块都是基于浏览器为基础开发出来的。注意：日后只要是你的爬虫程序没有爬取到你想要的数据，只有一个原因：就是你的爬虫程序模拟的力度不够！抓取：抓取网页数据分两种情况：将一个页面所有的数据抓取到将页面中局部的数据抓取到爬虫在应用场景的分类通用爬虫：将一个页面中所有的数据获取。大部分的搜索引擎中应用比较多。聚焦爬虫。
Python爬虫学习笔记总结(一)
zhusongziye的博客
11-01 2296
〇. python 基础 先放上python 3 的官方文档:https://docs.python.org/3/ (看文档是个好习惯) 关于python 3 基础语法方面的东西,网上有很多,大家可以自行查找. 一. 最简单的爬取程序 爬取百度首页源代码:   来看上面的代码: 对于python 3来说,urllib是一个非常重要的一个模块 ，可以非常方便的模拟浏览器访问互联网...
Python爬虫学习笔记总结(一)_python爬虫知识总结3000字
最新发布
m0_60635224的博客
04-30 476
🍅 硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。🍅 技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。🍅 面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。🍅 知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
Python爬虫学习笔记(实例：淘宝商品信息定向爬虫)
qq_33360009的博客
01-22 3082
淘宝商品信息定向爬虫先贴代码，后看解析： #淘宝商品信息定向爬虫 import requests import re #获得页面 def getHTMLText(url): try: #headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Fi...
Python爬虫学习笔记（Redis 存储）
qq_33360009的博客
02-15 1920
1.连接Redis数据库，设置、读入数据 from redis import StrictRedis,ConnectionPoolurl = 'redis://:lj960802@localhost:6379/0' #密码@地址：端口/数据库pool = ConnectionPool.from_url(url)redis =StrictRedis(connection_pool=pool)re...
Python爬虫学习笔记(BeautifulSoup4库：标签树的上、下、平行遍历,html格式化)
qq_33360009的博客
01-19 1465
BeautifulSoup4：beautifulsoup库是解析、遍历、维护“标签树”的功能库。BeautifulSoup4的使用依赖于lxml库，安装Beautifulsoup4之前请先安装lxml库，安装参考requests库 用法： from bs4 import BeautifulSoup soup = BeautifulSoup(‘<p>data</p>’,...
Python爬虫学习笔记（安装redis-dump ERROR：While executing gem ... (Gem::RemoteFetcher::FetchError) ****）
qq_33360009的博客
02-15 1434
背景：windows10 OS 64位 Ruby、gem已经安装完成 问题：CMD执行命令：gem install redis-dump 下载中断并报错：While executing gem ... (Gem::RemoteFetcher::FetchError) too many connection resets (https:...
Python爬虫学习笔记（开发者工具中的Ajax+实例：爬取个人微博主页）
qq_33360009的博客
02-16 1201
Ajax文件的Type是xhr，点击浏览器的开发者工具中NetWork选项下的XHR就可以筛选出所有的ajax请求，RequestHeader中有一个信息为X-Requestsed-with:XMLHttpRequest，意思代表此请求是ajax请求 爬取个人微博主页前10条微博的 ID、内容、点赞数、评论数、转发数 存入MongoDB数据库from urllib.parse imp...
Python爬虫学习笔记（使用代理及代理池——解决返回状态码302即IP被封的问题）
qq_33360009的博客
02-24 1132
1.requests库 import requests#如果代理需要认证，可以使用proxy='username:password@IP:port'proxyHttps = '121.33.220.158' #端口:808proxyHttp = '110.73.8.171' #端口：8123url = 'http://httpbin.org/get'proxies={ 'http':'...
Python爬虫学习笔记（Selenium（3））
qq_33360009的博客
02-13 1108
9.几种等待方式 固定等待：time.sleep(seconds) 隐式等待：driver.implicitly_wait(seconds) 显示等待（推荐）： from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui im...
Python爬虫学习笔记（字符串转json报错：DecodeError）
qq_33360009的博客
02-11 1091
报错：json.decoder.JSONDecodeError: Invalid control character************ 解决：loads()方法中加入strict属性 json.loads(str,strict=False) 同时注意：1.str的书写形式 2.JSON数据以键值对的形式用双引号包围 实例： impo...
Python爬虫学习笔记（实例：Selenium+cookies实现自动登录百度首页）
qq_33360009的博客
02-16 1048
实现效果：利用selenium添加cookies信息登录百度首页，如果账号没有登录，则首次手动登录账号后去cookies信息写入文件，待浏览器60秒后自动关闭，工程目录下生成cookies.pkl文件，之后再登录百度首页账号自动登录完毕 #!coding=utf-8 import time from selenium import webdriver import pickle cl...
Python爬虫入门教程：requests库基础应用
网络爬虫（Python语言系列专题） 本篇教程主要讲解 Python 爬虫的...本篇教程涵盖了 Python 爬虫的基本知识点，通过学习这篇教程，读者可以学会编写简单的 Python 爬虫，并掌握定向网络数据爬取和网页解析的基本能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值