![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
我来了007
员工
展开
-
python 3 关于json转化为xls的通用方法
有很多情况,尤其是爬虫方向经常会有些小任务,获取某某数据,但是也是临时的,去一个一个字段的解析,有很费解,当然有些网站提供些数据,但是让人很无语,收费现在提供通用json 转成excel表格的方法# -*- coding: utf-8 -*-"""品牌排行榜Create by scz on 2022-01-07."""import jsonimport tablibimport requestsfrom utils import get_loggerfrom storage原创 2022-01-07 18:02:45 · 1068 阅读 · 0 评论 -
Python3知识点:global关键字
# -*- coding: utf-8 -*-"""Create by scz on 2022-01-07."""num = 1datas = []datas1 = []def fun(): num = 123 print(num) datas.append(num) datas1 = [num]fun()print(num)print(datas)print(datas1)此时没有使用global关键字,无法对全局变量num进行...原创 2022-01-07 17:48:01 · 639 阅读 · 0 评论 -
mitmproxy 使用mitmdump 过滤请求
mitmproxy 抓包工具,优点可以使用python进行二次开发,或者进行接口的mock官网地址:mitmproxy - an interactive HTTPS proxy打算用这个最初的需求是,想对app做接口测试,但是app的接口有200多个,这么多接口,如果人工的的抓包或者获取,很浪费人力,那能不能自动的抓取到所有的请求呢?答案是可以,使用mitmdump -s xx.py 可以过滤我们想要的数据,比如存到数据库之类的from mitmproxy import ctx#原创 2022-01-07 11:34:29 · 1874 阅读 · 0 评论 -
关于小花生书有会的解密过程
通过app进行获取时发现返回的不是单纯的json如m和c 可以确认是获取的对应的数据码,但是j 就是通过某些编码,通过脱壳发现还是json对称加密发现是先通过64位加密,之后是gzip加密上代码import osimport jsonimport codecsimport base64import gzipimport copyimport timeimport re# import datetimefrom datetime import datetime, .原创 2021-09-13 16:54:32 · 1778 阅读 · 0 评论 -
selenium.common.exceptions.WebDriverException: Message: invalid argument: missing ‘name‘添加cookie
使用selenium在添加cookie提示错误:Traceback(mostrecentcalllast):File"I:/Dropbox/python/spider/zhihu/post.py",line37,in<module>z.loadCookie()File"I:/Dropbox/python/spider/zhihu/post.py",line31,inloadCookieself.browser.add_cookie...原创 2021-03-30 20:50:38 · 5812 阅读 · 0 评论 -
滑动验证码的破解(python+opencv+selenium)
这个周末突然接到电话,要监听一个网页内容,如果网页发生了变化,需要邮件通知。第一感觉这个事应该挺简单的啊,用爬虫把页面读取下来,如果和上次爬取的内容不一样,不就说明发生了变化了嘛。这个时候我把改网页打开,突然发现,what,竟然是要登录后才能跳转到想要的网页,心想这个也没有什么吗,大不了我把账号,密码填进去不就ok了么,当我把账号密码填进去,又TM出幺蛾子了,竟然出现了如下的滑动验证码。这个时候,我心里一万个羊驼奔驰而过,就一个网页监听,至于这么事么,为了完成领导的安排,我还是踏实的的解决吧。记得以前看转载 2021-03-18 10:33:55 · 930 阅读 · 0 评论 -
python-----selenium淘宝模拟登陆(跳过滑块移动)
from selenium import webdriverfrom selenium.webdriver.support.wait import WebDriverWaitfrom time import sleepclass taobao_infos: def __init__(self,url): self.url = 'https://login.ta...转载 2019-03-06 11:37:04 · 4127 阅读 · 3 评论