自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(15)
  • 资源 (1)
  • 收藏
  • 关注

原创 go 爬虫速度控制

go爬虫爬虫并发爬虫限流

2023-07-12 14:46:23 1503 1

原创 docker python:3.8 容器报错ImportError: libGL.so.1: cannot open shared object file: No such file or dir

容器报错ImportError: libGL.so.1: cannot open shared object file: No such file or dir报错信息 import cv2 File "/usr/local/lib/python3.8/site-packages/cv2/__init__.py", line 8, in <module> from .cv2 import *ImportError: libGL.so.1: cannot open shared

2022-02-16 10:07:36 4722

原创 pycharm 优化

文件模板/代码模板PyCharm设置代码模板:自动生成文件名、作者、创建日期等信息避免每次新建项目文件时添加注释文件名、作者、创建日期等信息,则可以设置较好的代码模板,在创建文件时自动生成相关信息。设置步骤:打开PyCharm,选择File --> Settings --> Editor --> Code Style --> File and Code Templates --> Python Script可选项:$ {PROJECT_NAME} # 当前项目名$

2020-09-03 10:59:56 694

原创 app抓不到包之app检测使用代理(网络请求失败)

这种情况应对的是app能够正常打开但所有网络请求失败,抓包软件显示请求的状态码多为4或5开头,不使用代理,app网络请求正常这种情况跟ca双向认证很像,ca双向认证是只能抓到CONNECT 请求,看不到https请求首先先测试app是否禁用了代理.一、使用强制全局代理推荐 Proxy Droid 这个工具来实现强制全局代理的效果。注意:必须root墙内的从这下载 Proxy Droid 提取码:6qg7app如果在root环境下无法使用的安装suhide,给它root权限用来隐藏root状

2020-09-03 10:04:23 13885 4

原创 app抓不到包之将证书安装到系统证书中

针对那种能抓到http请求的包单抓不到https的包且app运行正常原理:系统证书的目录是:/system/etc/security/cacerts/每个证书的命名规则为:<Certificate_Hash>.Certificate_Hash 表示证书文件的 hash 值,Number 是为了防止证书文件的 hash 值一致而增加的后缀;证书的 hash 值可以由命令计算出来,在终端输入 openssl x509 -subject_hash_old -in <Certifica

2020-09-03 09:55:00 3006 3

原创 windows 安装pyenv做python环境控制(极其简单)

最简单的用pip安装Powershell或Git Bash: pip install pyenv-win --target $HOME\.pyenvcmd.exe: pip install pyenv-win --target %USERPROFILE%\.pyenv将pyenv安装到环境变量使用PowerShell或Windows Terminal运行[System.Environment]::SetEnvironmentVariable('PYENV',$env:USERPROFILE + "

2020-08-31 15:48:17 7427 1

原创 windows下载安装adb(极其简单)

单独安装adb,不安装sdk下载adbGoogle很好的心,直接放出ADB的档案供人下载。下档路径如下:Windows版本:https://dl.google.com/android/repository/platform-tools-latest-windows.zipMac版本:https://dl.google.com/android/repository/platform-tools-latest-windows.zipLinux版本:https://dl.google.com/andro

2020-08-31 14:20:29 260060 21

原创 python消息通知之钉钉群消息

首先根据需要通知几个人新建群或者建群之后踢掉别人只留自己添加群机器人安全设置选择关键字,关键字填写发送消息的固定文本,选择后点击完成,复制Webhook,后边会用不废话直接上代码# -*- coding: UTF-8 -*-"""=================================================@Project -> File :py3_dev -> dingding@IDE :PyCharm@Author :相**@Da

2020-08-27 10:31:20 1123

原创 特运tong app sign签名破解

抓包可以看到有sign签名且每次刷新sign签名都不一样,下面需要找出他的加密逻辑方案一部root后的安卓手机+Xposed+Inspeckage安装过程网上一大堆自己解决提供一个Xposed安装软件链接:https://pan.baidu.com/s/1eF8eWp9Y4Ba4K9lL_5WznQ提取码:31r8方法手机端口映射adb forward tcp:8008 tcp:8008forward是名称用adb devices 查看自己手机的名称打开Inspeckage

2020-08-27 10:22:06 1134

原创 通过python代码优雅的调起scrapy程序

通过python代码调起scrapy程序,优雅的将scrapy嵌套进其他程序中,极其简单,可以多进程调起#! usr/bin/env python# coding=utf-8from scrapy import cmdlineimport timedef start(): cmdline.execute('scrapy crawl spider_name'.split()) ...

2019-10-11 15:49:34 366

原创 scrapy结束时日志显示信息详解

爬虫结束日志收集信息,可以作为日志收集或爬虫监控使用2019-08-05 08:22:04 [scrapy.statscollectors] INFO: Dumping Scrapy stats:{'downloader/exception_count': 1781, # 异常数量'downloader/exception_type_count/twisted.interne...

2019-10-11 15:33:45 2481

原创 优雅的操作scrapy爬虫的开始和结束

优雅的操作scrapy爬虫的开始和结束scrapy 管道中开始和结束信号scrapy spider中开始和结束信号scrapy 管道中开始和结束信号from scrapy import signalsclass MySpider(object): def __init__(self): pass @classmethod def from_crawl...

2019-10-11 15:29:51 3562

原创 MongoDB风骚查询

MongoDB风骚查询获取mongodb集合下所有key值:取MongoDB数组第一个和最后一个MongoDB字段值重复数量MongoDB创建索引MongoDB创建唯一索引MongoDB查看索引MongoDB进阶学习建议获取mongodb集合下所有key值:db.collection_name.aggregate([ {"$project":{"arrayofkeyvalue":{"$o...

2019-06-19 15:09:18 241

原创 pyspark java gateway process exited before sending the driver its port number

常规的方法google的常规方案:import osos.environ ['JAVA_HOME'] = '/usr/bin/java'os.environ['SPARK_HOME'] = "/root/spark_dev/spark-2.4.0-bin-hadoop2.7"我在docker下,所以安装目录是用的root,其他情况不要轻易使用root如果常规方案不适用,考虑我的方...

2019-03-26 16:16:15 1070

原创 mongodb charts对mongodb数据进行分析和展示

mongodb charts 安装教程安装环境什么是mongodb charts下载mongodb charts等准备工作配置mongodb charts创建用户启动和停止MongoDB图表故障排除web展示安装环境系统环境:ubuntu 16.04docker 版本:Docker version 18.09.0, build 4d60db4mongo 版本:MongoDB shell v...

2019-01-05 16:26:59 7303 2

chrome调试&代码逆向分析.docx

前端js加密解决方案及步骤教学,大神整理前端js逆向分析实例

2019-10-11

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除