爬虫
文章平均质量分 76
小太阳,乐向上
越努力,越幸运!
展开
-
Airflow 1.10.10 安装及本地时区问题解决
airflow2.0之后的版本更改了时区问题,更改airflow.cfg文件中的default_timezone 和 default_ui_timezone为Asia/Shanghai后,发现在Airflow Web UI 上已经显示了北京时间,但是对scheduler并不起作用,需要对源码稍作修改才能使得scheduler安装 utc + 8 的时区来调度任务。更改步骤:1.更改配置文件:在airflow家目录下修改airflow.cfg,设置default_timezone = Asia/Sha原创 2021-10-19 11:20:44 · 791 阅读 · 1 评论 -
python实现CryptoJS加密算法逆向
前言最近在研究某网站逆向过程中,发现前端使用crypto-js.js算法加密,我将具体实现加密的js代码抠出来,放在html中,即可实现整个加密过程,然后使用python3实现同样的加密过程,遇到很多坑,特简单记录一下。AES简介高级加密标准(AES,Advanced Encryption Standard)为最常见的对称加密算法。对称加密算法也就是加密和解密用相同的密钥,具体的加密流程如下...原创 2020-03-01 23:29:14 · 11151 阅读 · 0 评论 -
微信小程序抓包
我们知道,微信小程序的请求接口都是HTTPS,因此单纯的使用Burpsuite无法抓取数据包,原因是APP启用了SSL Pinning(又叫做“SSL证书绑定”)。至于原理就不过多的进行介绍。首先,分享一下我整理的所需要的安装包:https://pan.baidu.com/s/1rQGXnBn-ysMwKBkDIxRIfg 提取码:ue7m环境准备夜神模拟器 (安卓版本为Andro...原创 2020-02-19 18:25:19 · 3890 阅读 · 6 评论 -
lxml提取html标签内容, tostring()不能显示中文 解决方案
from lxml import etreeimport requestsresponse = requests.get('https://www.baisu.com/).texttree = etree.HTML(response)strs = tree.xpath( "//body")strs = strs[0] strs = (etree.tostring(strs)) # ...原创 2018-08-01 15:40:18 · 6923 阅读 · 5 评论