python之战

滑动验证已经成为反爬虫的新战场，重要应用都加入了滑动来防止爬虫的登陆，在几个月前在公众号分享过处理滑动验证的两个核心点：一个是缺口距离的识别，一个是滑动轨迹的生成；都是干货，缺口的识别使用五行代码足以达到95%的识别率，并且识别出来的距离基本分毫不差；轨迹的生成有两种思路利用物理的加减速方程和人为拖动的轨迹曲线方程；这些都在之前详细讲过，并在后台推出滑动验证的免费服务接口：http:/...

经过一个半月的开发和一个星期的测试，个人博客《like in love》终于上线网址（www.likeinlove.com|点击即可访问）。image本博客使用了《今夕何夕》前端模板，Django2.1做后台框架、xadmin做管理后台，实现了一些特色功能：后台编辑器的丰富功能，支持文章多图模式，可从正文选择封面、本地多图上传封面、网络图库封面。image多级评论系统，...

image滑动验证是网站反爬虫、反作弊的升级，滑动验证也是机器学习在反爬虫、反作弊领域的应用；此前停止了每日一更的专题分享，进入了不定期的项目分享，本项目就是分享的第一个。image本项目也是一个简单的全栈项目，使用tornado做的后端、Bootstrap4做的前端；核心的识别问题在此前讲过，因此不做原理上的介绍。为了对大家有帮助，因此该项目已经部署上线并提供了直接返回j...

在互联网前沿具有价值的网站，在反爬虫领域也做出了深有成效的反爬虫措施，其中浏览器环境检测、用户行为检测是目前对爬虫杀伤力最大的两条技术路线；而浏览器环境检测是以webdriver等几十个特征值为基础的爬虫识别；此前讲过几篇关于浏览器识别的文章：《selenium的封杀与突破，记录一次出师未捷身先死，淘宝、美团对爬虫的深入打击》《Python爬虫中深不可测的ua参数，爬虫的身份证》现...

重要：因为同步公号的文章格式很难保证，所以后面文章选择性在其他平台同步，欢迎移步公众号（Python之战）,每日更新原汁原味！在上一篇《pyppeteer最为核心类Page的接口方法》讲了大部分pyppeteer的Page类的接口，与selenium相比增强了与页面js的交互功能，同时增加了设备的伪装和模拟能力，一方是因为pyppeteer库是源于puppeteer，而puppeteer是Go...

重要：因为同步公号的文章格式很难保证，所以后面文章选择性在其他平台同步，欢迎移步公众号（Python之战）,每日更新原汁原味！Page类是pyppeteer的核心，其价值就犹如selenium的driver，具体的页面操作都在Page类上；Page与driver比较最具优势的是和js的交互，可以修改本地js、css，也可以给页面添加js函数，甚至添加自定义函数到浏览器的windows属性中，也...

在昨天的文章中《Python中与selenium齐名的pyppeteer库》我们对pyppeteer做了一个大致的介绍，后面将pyppeteer作为一个系列来讲，大致按照文档的思路来，再配合一些实践代码，来达到深入理解的目的。启动器import asynciofrom pyppeteer import launchasync def main():browser = await l...

如果说在Python中还有一款自动化工具能和selenium媲美，那么无疑是pyppeteer，pyppeteer是puppeteer的Python版本，puppeteer是Google开源的一个js库，通过一系列高级接口和Chrome或Chromium在DevTools协议下交互，其实现功能如下：生成页面的截图和PDF。 抓取SPA(单页应用程序)并渲染页面 自动提交表单，UI测试，键盘...

python常用的数据结构与算法就分享到此处，本月涉及数据结构与算法的内容有如下文章：《数据结构和算法对python意味着什么？》《顺序表数据结构在python中的应用》《python实现单向链表数据结构及其基本方法》《python实现单向循环链表数据结构及其方法》《python实现双向链表基本结构及其基本方法》《python实现双向循环链表基本结构及其基本方法》《py...

散列表（Hash table，也叫哈希表），是根据关键码值(Key value)而直接进行访问的数据结构。也就是说，它通过把关键码值映射到表中一个位置来访问记录，以加快查找的速度。这个映射函数叫做散列函数，存放记录的数组叫做散列表。python中的dict类型就是哈希表的原理，存储方式是key-value，通过键来快速的访问value，字典在访问操作上时间复杂度为O(1)。用python实...

顺序查找顺序查找是按照序列原有顺序对数组进行遍历比较查询的基本查找算法，顺序查找是最简单的搜索算法，其实现如下：def sequential_search(items, item): for i in items: if i == item: return i else: return False适用于线性表...

二分查找算法，是常见的搜索算法之一，适用于有序的序列，通过将序列不断的对折分为区间，从而确定查找值是否存在，优点是速度快。首先，假设表中元素是按升序排列，将表中间位置记录的关键字与查找关键字比较，如果两者相等，则查找成功；否则利用中间位置记录将表分成前、后两个子表，如果中间位置记录的关键字大于查找关键字，则进一步查找前一子表，否则进一步查找后一子表。重复以上过程，直到找到满足条件的记录，使查找...

顺序查找顺序查找是按照序列原有顺序对数组进行遍历比较查询的基本查找算法，顺序查找是最简单的搜索算法，其实现如下：def sequential_search(items, item): for i in items: if i == item: return i else: return False适用于线性表...

归并排序是采用分治法的一个非常典型的应用，另一个可以采用分治法的是快速排序，归并算法比快速排序速度稍低。归并排序的思想就是先递归分解数组，再合并数组。将数组分解最小之后，然后合并两个有序数组，基本思路是比较两个数组的最前面的数，谁小就先取谁，取了后相应的指针就往后移一位。然后再比较，直至一个数组为空，最后把另一个数组的剩余部分复制过来即可。如　设有数列{6，202，100，301，38，8...

插入排序，其原理是通过构建一个初始的有序序列，然后从无需序列中抽取元素，插入到有序序列的相对排序位置，就像将一堆编号混乱的书，一本一本的放到书架上，找到上下编号之间的位置插入，最后完成整理。python实现插入排序并不难，从第二个位置开始遍历，与它前面的元素相比较，如果比前面元素小就交换位置，实现如下：def insert_sort(items): for i in range(...

Python之战 2019.04.18 23:51 字数 532 阅读 0评论 0喜欢 0编辑文章希尔排序是插入排序的一种又称“缩小增量排序”，是直接插入排序算法的一种更高效的改进版本。希尔排序是非稳定排序算法。希尔排序是把记录按下标的一定增量分组，对每组使用直接插入排序算法排序；随着增量逐渐减少，每组包含的关键词越来越多，当增量减至1时，整个文件恰被分成一组，算法便终止。希尔...

插入排序，其原理是通过构建一个初始的有序序列，然后从无需序列中抽取元素，插入到有序序列的相对排序位置，就像将一堆编号混乱的书，一本一本的放到书架上，找到上下编号之间的位置插入，最后完成整理。python实现插入排序并不难，从第二个位置开始遍历，与它前面的元素相比较，如果比前面元素小就交换位置，实现如下：def insert_sort(items): for i in range(...

选择排序，简单而直观，其原理是把序列中的最小值或者最大值找出来放在起始位置，然后再从剩下的序列中找出极值放到起始位置之后，以此类推最后就完成排序。完成这个过程大致思想：首先需要一个记录器，记录排序排到第几个位置了，然后在剩余的序列中找到极值下标，最后将记录器位置和极值位置元素交换，完成本次选择排序。用python实现比较简单：def select_sort(items): n...

冒泡排序，一个经典的排序算法，因在算法运行中，极值会像水底的气泡一样逐渐冒出来，因此而得名。冒泡排序的过程是比较两个相邻元素的大小，然后根据大小交换位置，这样从列表左端开始冒泡，最后最大值会依次从右端冒出。imagepython实现冒泡排序：def bubble_sort(nums): for i in range(len(nums) - 1): fo...

平衡二叉搜索树（Self-balancing binary search tree）又被称为AVL树（有别于AVL算法），且具有以下性质：它是一 棵空树或它的左右两个子树的高度差的绝对值不超过1，并且左右两个子树都是一棵平衡二叉树。平衡二叉树的常用实现方法有红黑树、AVL、替罪羊树、Treap、伸展树等。 最小二叉平衡树的节点总数的公式如下 F(n)=F(n-1)+F(n-2)+1 这个类似于...