- 博客(44)
- 收藏
- 关注
RSS订阅原创 Pandas数据库查询更新create_engine用法，以及一些警告及弃用处理
避免警告提示推荐使用SQLAlchemy需要先安装SQLAlchemy库： pip install sqlalchemy。
2023-03-31 14:31:26
3537
1
原创 selenium网络爬虫去哪儿机票利用performance获取日志截获加载的xhr，ajax，js等数据
页面获取后发现是经过ob混淆的页面源代码，处理起来难度又更高了(最后总结发现并非全部混淆只是哈有ob混淆的代码就以为运用上了)，最后几经思考了解到利用日志定位到页面加载的数据从而获取加载过了什么数据，等于抓包软件抓取的原理。（虽然后面发现可以定位页面获取想要的数据并没有ob混淆只是部分运用了，但获取请求的返回更高效不需要翻页请求一次获取全部内容，并且摸索学会了新的爬取技术）成功获取到数据，因为此网站的数据是直接返回所有当天的所有机票数据，所以更方便不需要跳转页面来获取，只需要对数据进行提取即可！
2022-12-21 15:38:29
2472
原创 selenium模拟浏览器解决反监测，获取cookies解决登录问题
网络上设立了许多各种反爬的监测各式各样，但并不会非常的深入，如果要仔细获知应用了什么监测需要在控制台全局搜索webdriver去逆向分析一下再去设置将selenium伪装。接着就是遇到需要登录的操作，部分网站没有登录是不允许加载出请求等，这种情况只需要获取cookies然后再载入到selenium即可。在载入cookies前要先载入一下页面再加入cookies，加入后要在网站刷新才会生效。（功能约束貌似没办法解决）上面操作基本上满足市面上大部分反监测上的应用伪装按需添加即可。
2022-12-20 18:28:48
2196
原创 Django 所带的用户auth_user的坑点，authenticate()校验一直为None，校验与创建所遇到的问题整理与解决
因为考虑到登录用邮箱比较好，所以设置了邮箱unique=Trueusername = models.CharField( # username是必需有的字段，字段名不能错verbose_name='用户名')password = models.CharField(max_length=256,null = False,blank=False,verbose_name="密码")
2022-11-16 13:59:07
1145
原创 json与jsonp的区别，如何提取跨域请求的jsonp数据
Jsonp 是 json 的一种使用模式，可以让网页从别的域名网站中获取资料，即跨域读取数据。jsonp的基本思想是，网页通过添加一个元素，向服务器请求JSON数据，这种做法不受同源政策限制；服务器收到请求后，将数据放在一个指定名字的回调函数里传回来当通过元素调用数据时，响应内容必须用javascript函数名和圆括号包裹起来。而不是发送这样一段JSON数据，这就是JSONP中P的意义所在。
2022-11-12 19:13:21
539
原创 Django用RSA实现Web登录加密传输，预防抓包泄漏密码，解决ModelForm无法实现传输加密问题
使用：jsencrypt.min.js，pip install pycryptodome因为Django的Modelform使用起来很方便所以多数接受我都是直接用此方法，然而要用jq就必须输要有标签，在测试后发现可以直接将Modelform的{{}}语句直接替换成标签照常使用Modelform的同时还能用上jquery。
2022-11-11 21:41:49
2044
1
原创 scrapy实现分布式爬虫以及布隆过滤器，scrapy-redis所遇到的问题，终端进入虚拟环境
记录一下scrapy实现分布式爬虫以及布隆过滤器的使用：所用版本： pip install scrapy==2.5.1 pip install scrapy-redis==0.7.2 版本问题，有的版本过高会导致scrapy-redis无法正常使用，卸载安装过的库只需要执行命令pip uninstall scrapy即可卸载其他同理。 报错：from collections import Iterable Im
2022-11-05 21:30:14
958
原创 js逆向播放量增加，增加视频热度，uuid，sid，buvid3，aid，b_lsid, b_nut 还原实现过程
本次记录尝试你想某视频平台播放量：主要思路：（不断debug，观察代码设计还原实现）1.播放量增加必定是点击播放后的记录2.清空监视器，点击播放开始debug，截取到的就代表包含了增加播放量的包3.验证截取到的包，测试看哪一个是包含增加播放量的4.还原模拟发送请求浏览器逆向debug没有捷径只能不断练习找感觉。懂Java、js越多越好，虽然看的都是经过混淆的代码，但还是能看到实现的过程（本人也还在学习阶段）测试了超级久太多内容了，这里我也就只能记录还原实现的过程吧。
2022-11-03 19:27:07
1572
原创 网络爬虫js逆向解决网站登录RSA加密问题，不使用selenium如何实现登录，session维持登录状态请求爬取
记录中大网校破解登录后爬取的方法：使用工具：打码平台（超级鹰）分析此请求，得知没有data，保持状态登录需要服务器知道是这个用户对应请求的相应验证码，所以要用session来维护状态获取到后验证码保存下来。
2022-11-01 22:25:51
1565
5
原创 enicode字体反爬，大厂使用的反爬技术，结合OCR处理页面源代码
爬虫学习日常记录：enicode反扒技术练习网址：大众点评OCR使用：百度智能云字体识别。
2022-10-29 20:51:49
1506
原创 selenium 4.3.3鼠标定位move_to_element_with_offset定位问题，超级鹰解决文字点击验证码
python爬虫，selenium、超级鹰处理b站验证码以及遇到的问题
2022-09-01 15:45:11
4547
7
原创 2022第十三届蓝桥杯省赛B组Python 试题 D: 数位排序
小蓝对一个数的数位之和很感兴趣，今天他要按照数位之和给数排序。当两个数各个数位之和不同时，将数位和较小的排在前面，当数位之和相等时，将数值小的排在前面。例如，2022 排在 409 前面，因为 2022 的数位之和是 6，小于 409 的数位之和 13。又如，6 排在 2022 前面，因为它们的数位之和相同，而 6 小于 2022。给定正整数 n，m，请问对 1 到 n 采用这种方法排序时，排在第 m 个的元素是多少？
2022-04-09 14:02:49
2526
原创 python sorted自定义函数cmp_to_key排序
cmp_to_key是functools库里的一个函数，它可以配合sort与sorted完成自定义排序的功能，引用的方法是:from functools import cmp_to_key，下面用一道例题来记录演示一下它的用法
2022-03-24 15:22:02
2894
1
原创 ubuntu linux 安装报错解决方法E: Could not get lock /var/lib/dpkg/lock-frontend - open (11: Resource tempo
E: Could not get lock /var/lib/dpkg/lock-frontend - open (11: Resource temporarily unavailable)E: Unable to acquire the dpkg frontend lock (/var/lib/dpkg/lock-frontend), is another process using it?
2022-03-22 20:08:34
3615
原创 python算法内置库——collections利用Counter实现计数
Counter作为字典dicit（）的一个子类用来进行hashtable计数，将元素进行数量统计，计数后返回一个字典，键值为元素，值为元素个数Counter创建：有多种方式可以创建from collections import Counterlists=[2,3,2,2,3,4]dicts={'a':2,"b":3,"c":2}a=Counter(lists)b=Counter(dicts)c=Counter(a=2,b=3,c=2)print(a)print(b)pri
2022-03-22 17:14:43
959
原创 python数据结构——内置标准库实现队列 （双向队列）
python标准库有许多，其中deque模块是collections库里的，快这也就代表我们能更简便的代码实现数据结构队列长话短说这里记录与分享一下利用deque完成队列的重要语句，先附上一张图便于了解引用deque模块：from collection import deque即可直接使用下面的语句deque()创建...
2022-03-18 18:14:59
1293
原创 python数据结构——快速掌握简单高效的堆排序heapq库堆算法
python heapq库实现堆与对排序的用法，引用库的方法：import heapq；如果想省去前缀就使用from heapq import*
2022-03-18 11:12:52
2134
原创 python排序算法——快速排序时间复杂度O(nlogn)
快速排序属于高端的排序算法，是不稳定的排序算法，最坏状况下则需要 Ο(n2) 次比较，但这种状况并不常见。事实上，快速排序通常明显比其他 Ο(nlogn) 算法更快，它的内部循环可以在大部分的架构上很有效率地被实现出来。
2022-03-15 14:43:22
1470
原创 python 密码学实验RSA加密解密自动生成密钥含交互界面
实验目的(1) 帮助学生掌握RSA公钥系统的密钥生成、加密和解密过程, 能够利用所学过的编程语言, 熟悉RSA公钥加密算法流程与编程实现加密算法. 掌握编程实现实际问题中的方法, 提高解决问题的能力.(2) 要求学生掌握算法的程序实现的方法,能应用密码算法的特点, 设计合适的交互界面, 并能正确实现应用编程.(3) 要求学生掌握用规范的方法书写实验报告.实验仪器设备/实验环境(1) PC Windows操作系统, 使用python语言编程, 或者使用数学软件MATLAB、Maple编程.
2022-03-14 22:09:29
8197
4
原创 ubuntu安装vim报错（新）vim : Depends: libpython3.5 (＞= 3.5.0~b1) but it is not going to be installed
The following packages have unmet dependencies:vim : Depends: libpython3.5 (>= 3.5.0~b1) but it is not going to be installed Depends: libtinfo5 (>= 6) but it is not going to be installedE: Unable to correct problems, you have held broken packages
2022-03-13 00:48:00
2557
6
原创 幻方加密代码——自动生成幻方密钥方法，罗伯法单偶数阶的解法代码基于python
幻方加密是基于罗伯法的填数自动生成阶级数阵来作为密钥，要明白幻方加密，首先就要先了解罗伯法的规律，编写代码时幻方加密的情况分为了3种情况，基数阶的填数，单偶与双偶阶，本篇实现幻方加密代码是基于python编写
2022-03-09 16:43:52
8509
原创 python置换加密解密算法原理实现，课程设计报告置换加密解密文件读写
python实验，置换加密解密算法原理实现，文件读取修改，课程实验置换密码加密解密过程，设明文为：4D 61 65 53 2D 4F 69 20 4E。密钥为8,1,6,3,5,7,4,9,2。求加密后的16进制密文。先思考和描述算法,也就是对明文4D 61 65 53 2D 4F 69 20 4E实现置换8,1,6,3,5,7,4,9,2。
2022-03-08 00:20:58
7935
原创 ubuntu20.04.2 linux arm更换阿里源，parallels desktop虚拟机
arm架构 macbookpro M1更换阿里源
2022-03-04 23:45:50
4522
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人