爬虫
文章平均质量分 50
A 宁
一个菜鸟的学习日常
展开
-
自如字体加密
自如字体加密原创 2022-07-05 16:14:59 · 294 阅读 · 1 评论 -
proxy
文章是狗哥的公众号https://mp.weixin.qq.com/s?__biz=MzIyMjQ3OTE5MA==&mid=2247483738&idx=1&sn=1d53007e7805d88e5841a582718f0e16&chksm=e82d9763df5a1e75e59b27c3b6772b78eeb2b9ccd219df09362b8a4ac7f455766d8e76f6b362&scene=21#wechat_redirect(function (转载 2022-04-19 14:00:14 · 164 阅读 · 0 评论 -
js逆向之登录调试流程(基础)
本文只是记录流程,案例请前往 鱼哥公众号“咸鱼学Python”查看链接https://mp.weixin.qq.com/s/6t9V5HIRagye4ZQlgkHgewhttps://mp.weixin.qq.com/s/6t9V5HIRagye4ZQlgkHgew如果网页有跳转,必须勾选 preservelog 防止丢包看一下有没有框架 右键查看框架源代码(弹出式登陆界面)登陆尽量使用错误密码 防止跳转查看关键登陆包 分析哪些参数是加密的使用别的浏览器分析哪些参数是固定的值原创 2022-03-10 11:06:27 · 1179 阅读 · 0 评论 -
fiddler笔记
不会抓包,谈何爬虫http原理所谓的http代理,其实就是代理客户机的http访问,主要代理浏览器访问页面。代理服务器是介于浏览器和web服务器之间的一台服务器,有了它之后,浏览器不是直接到Web服务器去取回网页而是向代理服务器发出请求,Request信号会先送到代理服务器,由代理服务器来取回浏览器所需要的信息并传送给你的浏览器。fiddler的使用抓包工具抓取HTTPS的包的时候跟HTTP的直接转发是不同的。所以我们需要配置HTTPS的证书。打开后选择HTTPS,勾选上这个选项,然后勾选原创 2022-02-23 09:55:16 · 290 阅读 · 0 评论 -
爬虫常见加密解密算法
本文总结了在爬虫中常见的各种加密算法、编码算法的原理、在 JavaScript 中和 Python 中的基本实现方法,遇到 JS 加密的时候可以快速还原加密过程,有的网站在加密的过程中可能还经过了其他处理,但是大致的方法是一样的。常见加密算法:对称加密(加密解密密钥相同):DES、3DES、AES、RC4、Rabbit非对称加密(区分公钥和私钥):RSA、DSA、ECC消息摘要算法/签名算法:MD5、SHA、HMAC、PBKDF2常见编码算法:Base64JavaScript 加密解密模块转载 2022-01-15 10:46:59 · 795 阅读 · 0 评论 -
4k图片爬取
爬虫import requestsimport osfrom lxml import etree# 创建文件夹try: os.mkdir('./4k动物爬取')except Exception: print('文件已创建!')for i in range(2,172): i = str(i) #目录页面 ml_url = 'https://pic.netbian.com/4kdongwu//index_' + i + '.html' # UA伪装原创 2021-09-27 11:14:46 · 55 阅读 · 0 评论 -
爬取医院百科并存入数据库
爬取医院百度百科数据并存入数据库百度百科是没有加密的,获取到的医院官网有的超出数据库字段长度,所以用了md5加密固定长度代码import requestsimport osimport pymysqlfrom lxml import etreefrom pymysql.converters import escape_stringimport hashlibm = hashlib.md5()headers = {'User-Agent': 'Mozilla/5.0 (Windows原创 2021-04-25 11:01:11 · 501 阅读 · 1 评论 -
简单scrapyd使用
一、首先要搞清楚几个概念1、scrapy是什么?是一个爬虫框架,你可以创建一个scrapy项目2、scrapyd是什么?相当于一个组价,能够将scrapy项目进行远程部署、调度使用等因此scrapyd可以看做一个cs(client-server)程序,因此毫无疑问我们需要安装和配置scrapyd(server)和连接的scrapy-client(client)二、安装scrapyd和scrapyd-client和配置1、安装pip install scrapydpip install sc原创 2021-02-24 16:50:50 · 377 阅读 · 1 评论