sydjcwx_殇夜00_CSDN博客-爬虫,python,my python领域博主

原创 nodejs 起接口服务

环境：win10 + pycharm + nodejs环境安装请自行百度首先在D盘新建个文件夹：NodejsWebServer然后在此处打开win命令行：node -v 查看是否正确安装了nodejsnode init 初始化项目, 可以直接按 enter 键，一直到它跑完npm install express 安装express框架npm install body-p...

2020-04-03 16:14:08 86

原创 linux命令相关及git命令

查看cpu：top查看磁盘：df -h查看某文件夹下个文件大小并从大到小排序：du -sh * | sort -nr

2019-12-11 14:42:09 35

2019-12-11 14:10:44 32

原创软件测试---如何选择合适的正交表

需求：窗体中有多个控件（字体、字符样式、颜色、字号），每个控件有多个取值字体：仿宋、楷体、华文彩云字符样式：粗体、斜体、下划线颜色：红色、绿色、蓝色字号：20号、30号、40号如果按照正常步骤进行，需要 3*3*3*3=81 种组合，就需要写81个测试用例，显得比较多，针对这种组合量比较大的情况，如何采用最少的测试用例集合获得最大的测试覆盖率呢，就可以采用...

2019-10-29 15:07:48 557

原创指定线程数的方式实现python多线程及多线程获取返回值

# coding=utf-8import threading, time# 1、自己写代码实现def get_detail_video(vid): print('-->', vid) time.sleep(2)ths = []for i in range(10): th = threading.Thread(target=get_detail_vi...

2019-09-05 16:29:59 137

原创图片文字识别

文档网址： https://ai.baidu.com/docs#/OCR-API/top百度ai平台，文字识别，人脸识别，图片识别很多，还是很牛的，具体请看文档吧# coding=utf-8import requests, base64# from urllib import parseclass Image_Rec: def __...

2019-07-24 10:50:39 39

原创爬虫api接口封装与调用

flask封装：# coding=utf-8from flask import Flask, request, jsonifyfrom man_man_buy import return_hiestory_pricefrom gevent import monkeyfrom gevent.pywsgi import WSGIServermonkey.patch_all...

2019-07-24 10:48:59 126

原创文章收藏：

探测selenium-webdriver及破解淘宝对selenium-webdriver的拦截https://www.kebook.cn/9060/使用爬虫技术实现 Web 页面资源可用性检测https://debugtalk.com/post/requests-crawler/pyppeteer 绕过selenium检测，实现淘宝登陆https://blog.csdn.net...

2019-01-17 11:05:31 135

原创 Python程序打包成Windows可执行EXE文件

https://www.cnblogs.com/QYGQH/p/9358843.html

2020-07-23 23:21:54 18

原创软件测试之弱网测试、注入攻击、交叉测试

弱网测试：属于健壮性测试内容。用户在地铁，电梯，车库等场网络不好的景使用app，我们就需要验证出现丢包、演示如案件的处理机制，增强用户体验。使用抓包工具fiddler如果出现一直加载中，需要给用户友好提示。**注入攻击：**一般指用户输入数据并点击提交后，导致整个页面或网站、服务器出现异常情况。例如：在输入框李输入: 结果：直接弹窗这种情况需要修正。**交叉测试：**软件正在执行过程中，另一个事件或操作对该过程进行干扰的测试。比如：突然来电话、手机切换到其他页面比如：上传图片操作。上传

2020-07-01 12:09:22 43

原创 cv2 识别图片缺口滑动距离

import cv2 as cvimport numpy as npprint(cv.version)def takeSecond(elem):return elem[1]##读取滑块图block = cv.imread(“picture/block.png”, -1)backimg = cv.imread(“picture/bg.jpg”)cv.imshow(“block origin”, block)##灰度化gray_backimg = cv.cvtColor(backimg, c

2020-06-14 01:55:19 183

2020-06-12 17:26:39 59

原创 frida hook 操作流程介绍

环境：win10 + python 3.6.5 + 小米手机操作流程：手机用数据线链接电脑，打开文件管理模式，开发者工具设置里设置成可调试打开要hook的app，让它处于运行状态电脑打开一个cmd窗口，启动手机手机上的frida服务. adb shell. cd /data/local/tmp./frida-server-12.9.7-android-arm # 启动frida服务新打开cmd窗口，进入python环境frida-ps -U # 查看app进程python test

2020-06-11 19:02:51 172

原创协程的简单应用

协程在爬虫上的应用from gevent import monkeymonkey.patch_all()import geventimport requestsimport timedef get_page(url):print(‘GET: %s’ % url)time.sleep(2)response = requests.get(url)if response.status_code == 200:print(’%d bytes received from %s’ % (len(r

2020-06-01 11:49:23 35

原创 python 列表里字典根据某个值分组

from operator import itemgetterfrom itertools import groupbyrows = [{'a': 10, 'age': 2}, {'a': 20, 'age': 3}, {'a': 30, 'age': 2}, {'a': 40, 'age': 4}]# rows = sorted(rows, key=itemgetter('age')) # [{'a': 10, 'age': 2}, {'a': 30, 'age': 2}, {'a': 20,

2020-05-27 14:28:45 160

原创 win7+frida+雷电

参考：https://blog.csdn.net/qingemengyue/article/details/80061491

2020-05-23 16:36:53 71

原创 linux上检测服务占用内存并自动重启

def check_the_memory():ip_list = {‘47.9.3.15’: '10.8.6.3 ',}hostname = socket.gethostname() #获取计算机名称ip_adress = socket.gethostbyname(hostname)# print('ip_adress = ', ip_adress)for k, v in ip_list.items(): if ip_adress == v: ip_adress = k

2020-05-21 09:42:08 120

转载 adb命令将抓包工具证书从用户目录移动至系统目录,解决反爬对于本地证书认证

adb命令将抓包工具证书从用户目录移动至系统目录,解决反爬对于本地证书认证代码和注释adb shell #连接手机进入shell模式#su root #如果你不root权限可以试着这个一般都是rootcd /data/misc/user/0/cacerts-added #移动至于用户证书目录mount -o remount,rw /system #将系统证书目录权限改成可读可写就可以移动文件不然不行cp * /etc/security/cacerts/ #这里可以使用cp也可以使用mv

2020-05-13 10:29:24 230

原创 chrome浏览器插件之——EditThisCookie

EditThisCookie 是一款在 Chrome 上管理网页 cookie 的扩展，它能添加、删除、编辑、搜索、导入、导出 cookies，可以做很多你想做的事情

2020-05-09 16:31:10 74

原创接口测试之——jemeter

官网地址：https://jmeter.apache.org/下载地址：https://jmeter.apache.org/download_jmeter.cgi安装：下载完毕后，解压缩后如下点击即可打开页面打开后显示使用方法例 1post 接口测试

2020-05-09 11:58:28 71

原创 chrome浏览器插件之——reres 及无限debugger的一种处理方法及 chrome调试修改js变量值

环境：win7 + chrome遇见的问题：添加规则时，路径要写成 file:////C:/Users/thief/Desktop/ctrip/myjs.js，而不是 C:\Users\thief\Desktop\ctrip\myjs.js。不然可能在已经打对勾确定加载本地js文件后，刷新页面后并页面并没有展示出来内容...

2020-05-08 14:49:51 179 2

原创自动化工具之airtest

文档http://airtest.netease.com/docs/cn/1_quick_start.htmlhttps://poco.readthedocs.io/zh_CN/latest/source/README.html#sdk-integration

2020-04-18 13:44:48 80

原创 python随机执行两个不同功能的函数

# coding=utf-8import randomimport sys'''随机执行两个函数，这两函数可以执行不一样的功能hasattr() 函数用于判断对象是否包含对应的属性。如果对象有该属性返回 True，否则返回 False。getattr() 函数用于返回一个对象属性值。返回对象属性值。'''def a(x, y): # print(x + y)...

2020-04-09 14:48:54 200

原创 python当导入路径报错时可以

import osimport syssys.path.append(os.path.abspath(os.path.dirname(os.path.dirname(__file__))))print(os.path.dirname(__file__))print(os.path.dirname(os.path.dirname(__file__)))print(os.path.absp...

2020-04-09 09:54:45 52

转载 gif 图片拆分

# coding=utf-8import osfrom PIL import Image, ImageSequencedef parseGIF(gifname): # 将gif解析为图片 # 读取GIF im = Image.open(gifname) # GIF图片流的迭代器 iter = ImageSequence.Iterator(im)...

2020-04-07 15:54:25 95

原创 python代码连接远程服务器并执行命令

# coding=utf-8# coding=utf-8'''根据时间检测log日志文件日期，并自动打包压缩'''import paramiko, time, datetime, base64def days_ago(): ''' 获取当前日期前30天日期, 不算当天, 返回 list :return: ''' today = time.s...

2020-04-02 18:37:37 197

转载 base64 编码原理及爬虫遇到自定义b64加密

转载：https://mp.weixin.qq.com/s/XY6yf5PgwWPSRpVTzK1uGA

2020-03-31 09:38:15 59

原创 python async + pyppeteer 并发

# coding=utf-8import asyncio, timeimport pyppeteerfrom collections import namedtupleResponse = namedtuple("rs", "title url html cookies headers history status")async def get_html(url, timeout...

2020-03-26 15:14:31 172

原创 python selenium_鼠标点击_键盘输入.

# -*- coding: utf-8 -*-from selenium import webdriverimport time, random, re, jsonfrom pynput.mouse import Button, Controller # 导入鼠标模块from pynput.keyboard import Controller as KeyController # 导入键盘...

2020-01-03 11:55:57 63

原创 windown安装python环境及selenium

安装python环境：安装python环境windown创建Python虚拟环境：windown创建Python虚拟环境selenium webdriver 启动三大浏览器Firefox,Chrome,IE：selenium webdriver 启动三大浏览器Firefox,Chrome,IE...

2019-12-31 16:50:38 56

原创 re 匹配中文

c = ‘大佬但斌都"望而却不"’b = re.findall(r’"([\u4e00-\u9fa5]+)’, c)print('b = ', b)b = [‘望而却不’]

2019-12-04 17:07:17 105

原创 win10下 Genymotion + Xposed + Inspeckage 安装调试安卓app

1. Genymotion下载地址：https://pan.baidu.com/s/1brjhNUiVSQwGvvrpN9HU1w提取码：84tr安装：1.执⾏genymotion-2.11.0-vbox.exe(是⼀个集合程序，包含genymotion和 virtualbox) -> 不需要更改配置，直接下⼀步默认安装2.安装完genymotion继续等待，会提示安装v...

2019-11-29 15:20:24 385

转载 fiddler 无法抓包问题

win7下Fiddler证书安装之后，总是无法抓取https的包；网上搜了很多方法都没解决问题，最终摸索解决方法如下：第一步：安装证书：到Fiddler的Tools-options-https下，勾选Capture HTTPS CONNECTS 勾选Decrypt HTTPS traffic勾选后，如果正常的话会直接提示安装证书；这时重启Fiddler就可以抓包了。但本人就遇...

2019-11-29 10:24:01 39

原创抓包工具安装及使用教程

1. fiddler：2. charles：3. mitmproxy：https://blog.csdn.net/qq_37253540/article/details/87936162遇到的坑：web可以正常抓取，手机无法抓取解决：把电脑上无线网络连接从专用设置为公用4. anyproxy：https://blog.csdn.net/dou_being/article/detail...

2019-11-22 16:07:30 52

原创 win10家庭版安装docker和splash

docker安装docker下载地址：阿里云镜像 http://mirrors.aliyun.com/docker-toolbox/windows/docker-toolbox/选择：Docker 分为 CE 和 EE 两大版本。CE 即社区版，EE 即企业版，强调安全，付费使用。下载完成后直接点击安装，每步都选择默认安装就行，安装完成后会出现双击Docker Quickstart ...

2019-11-11 14:00:56 301

原创 nodejs+hexo+gihub 搭建自己的博客

环境：win101. 安装配置nodejs首先下载好nodejs官网地址： https://nodejs.org/en/下载LTS版， .msi结尾的安装包双击此安装包，一路点击next，直至安装完成。默认会安装到 C:\Program Files\nodejs 下，并且会自动添加环境变量。安装完成之后，进入cmd命令行，输入node -v 和 npm -v，会出现对应的版本号，即为...

2019-11-06 11:49:26 111

原创分享一个python日志模块

https://loguru.readthedocs.io/en/stable/index.html

2019-10-30 11:06:02 52

原创测试：如何选择合适的正交表

需求：窗体中有多个控件（字体、字符样式、颜色、字号），每个控件有多个取值字体：仿宋、楷体、华文彩云字符样式：粗体、斜体、下划线颜色：红色、绿色、蓝色字号：20号、30号、40号如果按照正常步骤进行，需要 3*3*3*3=81 种组合，就需要写81个测试用例，显得比较多，针对这种组合量比较大的情况，如何采用最少的测试用例集合获得最大的测试覆盖率呢，就可以采用正交排列法...

2019-10-29 18:18:14 5634

原创企业名片列表数据加密，利用xhr断点进行js分析

// https://www..cn/finosda/project/pinvestment1. 可以看到返回数据是加密的下边我们用xhr断点来调试分析，附：xhr断点介绍：XHR断点对于大多数初学者来说，可能不知道什么是xhr，但一般都听说过ajax，对的，就是指的在发送ajax(xhr)请求的时候进行阻断的断点，这个是全局断点，可以不提前指定要断哪一个xhr请求，也可以提前指定url...

2019-10-24 11:17:34 177

原创滑动拼图验证码思路

1. 最简单的的调用打码平台，收费2. 还有一种利用华为云物体检测接口，可以自己上传图片去训练模型，模型训练好后，部署上线，就可以直接用了，收费，目测一次0.27元，也没细算，有提供接口服务，重要可以自己提供数据训练模型3. 获取到一张完整的图片和带缺口的图片，利用PIL模块，对比两张图的像素点，计算出距离，然后selenium滑动，免费，比如：以下代码为虎嗅登陆代码为18年...

2019-10-23 17:20:41 140