爬虫
文章平均质量分 89
渔戈
时间会让你越变越好
展开
-
JS逆向笔记
下断点,按F11可进去函数内部,或者点击右上角的下标点进去函数内部md5加密长度固定32位;一、单向散列函数 消息摘要算法加密后的密文定长明文不一样,散列后结果一定不一样不可逆一般用于签名MD5 32位SHA1 40位SHA256 64位SHA512 218位HmacMD5、HmacSHA1、HmacSHA256 (注:Hmac配合其他加密算法,传入两值,一加密参数,二公钥)二、加密加密和解密的过程是可逆的对称加密算法加密/解密使用相同的密钥DES 数据加密标准 3DES原创 2022-07-02 17:07:10 · 19657 阅读 · 0 评论 -
爬虫绕过无限debugger
我们在实践的过程中,经常发现一些网站,刚按F12进入控制台,就会进入一个debugger状态,并且无论你怎么下一步运行,代码永远停留在这个断点的地方。这个就是反爬虫的一个重要手段:无限debugger。一、无限debugger的原因:debugger关键字是用于浏览器调试的,这个关键字在控制台没有打开的时候是不会起到任何暂停作用,但是一旦控制台被打开了,代码将停在debugger关键字所在的地方。再配合setInterval定时器,可以一直停留在某个debugger地方,阻止调试。二、无限debu.原创 2021-11-07 23:22:49 · 23889 阅读 · 0 评论 -
彼岸图网图片爬取
**彼岸图网-图片爬取-仅供学习使用**彼岸图网彼岸图网,这个是一个静态网站,就没什么好讲的,今天主要是教你怎么爬取图片。找到图片的链接请求这个图片的链接进行下载就好了对,你没有看错,图片的爬取就是这么简单。这里就是图片的链接和名称了,我们只要获取图片的名称和图片的链接,再去请求图片的链接就可以将图片爬取到我们的电脑上面了。下面这部分代码就是对图片的名称和链接进行提取,需要注意的是,我们这里提取的图片链接和图片名称是一个列表: url = 'http://pic.netbian.原创 2020-09-05 20:39:03 · 7028 阅读 · 2 评论 -
应届生爬虫
应届生爬虫-仅供学习使用今天我们学习的目标网站是应届生我们话不多说,直接进入爬虫学习。经过我们的仔细分析,应届生这个网站是一个静态网站,数据在源码里面都能看到。这个网站没什么难点,不过比较狗的是,应届生的详情页有两种,一不小心就会踩到坑里面去。详情页一:详情页二:既然我们提前知道了这个坑,要解决就简单了,我们只要把两个页面的数据提取语法都写出来,用if进行判读,就可以确保万无一失了。例如提取职位名称: #职位名称 job_name = html.xpath(原创 2020-06-23 20:37:35 · 21215 阅读 · 0 评论 -
拉勾爬虫项目
拉勾爬虫-仅供学习使用今天要进行爬取的网站是拉勾招聘网站。首先,我们要对网站进行分析,经过我们的一翻页面分析,我们找到了数据存储的地方所在,如图:知道了数据所在,我们就开始分析这个页面的链接信息:可以看出,这个是网页是使用post请求的,既然是post请求,就一定有表单数据的,所以我们接着往下面看:这里就是表单数据了。拉勾的关键词和翻页都说由这个表单数据进行控制的,所以我们只要构建好这个表单,拉勾的数据就可以提取到了。不过我们这里拿到的数据只是表面的数据,要想进入到详情页,我们还需要构建详情原创 2020-06-22 11:09:37 · 21772 阅读 · 0 评论 -
前程无忧爬虫,仅供学习使用
前程无忧爬虫–仅供学习使用前程无忧职位链接:https://search.51job.com/list/090200,000000,0000,00,9,99,%25E5%25A4%25A7%25E6%2595%25B0%25E6%258D%25AE,2,1.html?lang=c&postchannel=0000&workyear=99&cotype=99°...原创 2020-04-21 21:19:03 · 20876 阅读 · 5 评论