![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
反爬虫专栏
Hakutaku白泽
这个人很懒,暂时没有什么要写的东西。
展开
-
记录使用【阿里云服务器+宝塔Linux】写反爬虫时遇见的nginx配置文件无效问题——一名小菜鸡如何在云服务器搭建的个人网站上编写自己网站的反爬虫?
一个半月前,在编写了第一个反爬虫并撰写了博客:【反爬虫】在阿里云服务器所搭建的个人博客中通过Nginx进行反爬虫测试:禁止Python爬虫直接爬取博客页面实战——以信息校验型User-Agent反爬虫为例后,在不断尝试cookie反爬虫时博主已经当场自闭。今天在请教了老师并测试想法后,发现一键安装的宝塔linux有个大问题,因此在这里记录一下。目录主要问题nginx配置文件基础知识问题提出问题分析主要问题原创 2020-09-27 18:53:18 · 512 阅读 · 1 评论 -
【反爬虫大全】爬虫学习者必须了解的当今各大网站反爬手段、反爬判断思路及绕过原理总结——以Python爬虫学习者的角度为例(长期更新...)
由于博主对于爬虫的相关知识极度感兴趣,在大致自学完成了Python爬虫和Java爬虫的主要内容后,目前正在钻研反爬虫的原理。本文将会对反爬虫的相关知识进行总结,以方便之后在爬虫编码过程中的迅速回忆和查阅。因为博主尚且正在学习反爬虫,因此本文长期更新。目录反爬虫的概念反爬虫的原因反爬虫的简介反爬虫的划分信息校验型反爬虫User-Agent反爬虫⭐Cookie反爬虫⭐反爬虫的概念反爬虫的原因 &原创 2020-08-16 19:19:34 · 568 阅读 · 0 评论 -
【反爬虫】在阿里云服务器所搭建的个人博客中通过Nginx进行反爬虫测试:禁止Python爬虫直接爬取博客页面实战——以信息校验型User-Agent反爬虫为例
对于一个爬虫学习者来说,只懂得爬虫实现而不懂得反爬虫原理那恐怕只是半吊子水平。最近,博主就在研究反爬虫。爬虫和反爬虫相当于矛和盾的关系,二者针锋相对,共同发展。 在本次反爬虫测试中,我主要用到Nginx+Postman+Pycharm。其中,Nginx是通过阿里云服务器使用宝塔Linux面板创建个人博客时内置的,本次问原创 2020-08-01 19:54:34 · 1101 阅读 · 0 评论