![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python知识点
文章平均质量分 77
一点尘心
下沉
展开
-
利用squid搭建ip代理池
碰到这种情况,我们可以使用VPS来动态拨号搭建代理池,先在网站上把IP验证通过,再利用通过验证的IP对网站进行采集。如果IP被封从代理池删除掉,重新拨号验证就行。通过以上步骤,拨号服务器上拨号获得的ip就可以被我们拿来放在代理中使用了。我们可以在每一台VPS服务器上部署一个脚本,来控制拨号,获得ip并把ip写入redis代理池中,爬虫从redis代理池中随机取ip就可以了。的组件,不需要安装master和minion ,用salt-ssh实现以上批量安装配置非常方便,否则,我们一台一台的配置,还不累死!原创 2020-11-22 18:07:20 · 661 阅读 · 0 评论 -
python如何调用java方法
话说, python真的是无所不能。我们在抓app数据的时候,有很大概率会遇见参数加密的情况。我们费了很大力气,找到了加密的位置,扣出了加密的函数,但是由于是反编译后的java代码,对于用python写爬虫的程序员来说,如果再把java翻译成python,有时候就很困难了,特别是遇到了一些移位操作时候,由于python默认会把int转成long,java则是溢出,python和java相同逻辑,得到的结果却是不一样。那就更困难了。好消息是,python可以直接调用jar包。我们可以直接把加密代码直接打成原创 2020-05-31 10:15:42 · 3557 阅读 · 0 评论 -
python进程间通信(一)
python 的之间有时需要通信,操作系统提供了很多机制来实现进程间的通信。1. Queue的使用from multiprocessing import Queue (可以用于多进程,但不能用于进程池)multiprocessing模块的Queue如果用与Pool创建的进程,会报错RuntimeError: Queue objects should only be shared bet...原创 2019-03-18 13:16:55 · 760 阅读 · 0 评论 -
python进程间通信(二)-分布式进程
Python的multiprocessing模块不但支持多进程,其中managers子模块还支持把多进程分布到多台机器上.一个服务进程可以作为调度者,将任务分布到其他多个进程中,依靠网络通信.由于managers模块封装把网络通信的都给封装好了,所以即使我们不了解网络通信,也能写出分布式多进程程序.为什么使用分布式进程如果我们的一个通过Queue通信的多进程程序在一台机器上运行.随着要处理的任...原创 2019-03-18 16:14:03 · 807 阅读 · 0 评论 -
python实现AES的加密解密
了解AESAES(Advanced Encryption Standard)是一种对称加密算法,相较于DES和3DES算法而言,AES算法有着更高的速度和资源使用效率,安全级别也较之更高.加密和解密使用的是同一个密钥.公式:C = E(K,P):明文P,密钥K,AES加密函数组成E,密文C。主要要了解以下几点:AES密钥的长度使用的是128bite、192bite或256bite(位)...原创 2019-04-29 16:11:12 · 2146 阅读 · 0 评论 -
python实现RSA 非对称加密解密
在爬取网站信息的时候,经常会发现前端会对数据进行加密,其中就有RSA 这中加密.概念rsa是一种非常常见的非对称加密算法,rsa算法用到了一个公式: 谜文=明文EmodN 谜文=明文^E modN 谜文=明文EmodN对明文进行E次方运算,再对N取模操作得到谜文.相信到这里读者的疑问都是E和N到底是什么?其实这里的E(encryption)和N(number)的组合就是公钥(字符串形式),也...原创 2019-04-28 17:36:55 · 3144 阅读 · 1 评论