qq_16532991的博客

原创 python 批量删除 redis 大量数据

#!/usr/bin/env python# Scan and delete keys in Redis.# Author: cdfivefrom redis import Redisimport timedef RedisScanAndDelete(host, port, password, db, cursor, pattern, count, batch_delete_si...

原创 删除 bad pod

kubectl get pod -n crawl|egrep "Error|Terminating|ContainerStatusUnknown|CrashLoopBackOff|Terminating|Evicted"|awk -F " " '{print $1}'|xargs kubectl -n crawl delete pod --force

原创 该方法实现网页编码的自动识别和转换

"""该方法实现网页编码的自动识别和转换"""# python 第三方库chardet不可靠,把gbk编码解析成 Windows-1254@retry(stop_max_attempt_number=5, wait_random_min=2000, wait_random_max=20000, )def page_trancode(content): codes = chardet.det...

原创 【无标题】抖音 s_v_web_id

抖音 s_v_web_id。

原创 如果是不创建新浏览器窗口，直接在已打开的浏览器，则代码需要修改为：

如果是不创建新浏览器窗口，直接在已打开的浏览器，则代码需要修改为：caps = DesiredCapabilities.CHROMEcaps['loggingPrefs'] = {'performance': 'ALL'}options = webdriver.ChromeOptions()options.add_experimental_option('w3c', False)options...

原创 python 1970年以前 字符串转换时间戳

代码1　　 from datetime import datetime result = '1970-01-01 07:00:00' time_1 = '1966-07-17 06:03:00' if time_1 > result: array = time.strptime(time_1, "%Y-%m-%d %H:%M:%S") ...

原创 execjs UnicodeEncodeError: 'gbk' codec can't encode character '\xff' in position 23995: illegal mul...

import subprocess# 创建一个新的 Popen 类，并继承自 subprocess.Popenclass MySubprocessPopen(subprocess.Popen): def __init__(self, *args, **kwargs): # 在调用父类(即 subprocess.Popen)的构造方法时，将 encoding 参数直...

原创 Python + redis 实现布隆过滤器

# -*- coding: utf-8 -*-'''@Project:PyCharm@File : test2.py@Time:2023-02-15 13:46@Author:xcl@Email:2221117055@qq.com'''import mmh3import redisimport mathimport timeclass PyBloomFilter(): #内置100个...

原创 selenium 速度慢的问题

# -*- coding: utf-8 -*-'''createTime : 2022-08-04 10:22@software: : spiderSystem在使用selenium的过程中，速度比较慢，主要原因有1. 加载图片或者css文件等2. driver.get(url) 是阻塞的，加载速度慢，修改 加载策略 可以优化速度3. 一次只打开一个网页如何实现并发的数据下载呢...

原创 pycharm 使用 git

Pycharm 使用git 详细教程1.安装git 插件File>setting>plugins 搜索 GitToolBox 点击安装即可2.Git 初始化3.克隆项目点击 Clone 无法克隆，删除 文件夹 .git即可4.下拉，提交，推送...

原创 提取段落

from lxml import etree from lxml.html import fromstring, tostring wb_data = """ <div class="text" id="text1"> <div class="textad" id="ad4">&...

原创 python redis 数据压缩存储写入和读取

def spider(): a = "%7B%221%22%3A%7B%22envService%22%3A%22prod%22%2C%22abTestData%22%3A%7B%22themeChange%22%3A1%2C%22searchBarPanel%22%3A0%2C%22updateNodeSdk%22%3A-1%2C%22showXgVideo%22%3A0%...

原创 fiddler bpu 拦截多个请求

修改1：　　　　修改2：修改3：改完，然后保存。回到fiddler页面。命令输入：bpu http://www.xxxx.com/xxx111 http://www.xxxx.com/xxx222两个uri 用空格隔开然后回车执行命令取消断点输入：bpu 回车即可。然后，这两个页面都可以被拦截啦。代码：import System;import System.Windo...

原创 fiddler 拦截数据发送get请求

占坑

原创 fiddler 拦截数据发送post 请求

占坑

原创 selenium 切换标签页和获取所有标签页信息

windows = driver.current_window_handle #定位当前页面句柄all_handles = driver.window_handles #获取全部页面句柄for handle in all_handles: #遍历全部页面句柄　　if handle != windows: #判断条件　　　　driver.switch...

原创 python 做爬虫真的很慢吗？（协程并发测试 ）

总有人说python做爬虫速度慢，能开并发数少，至于为什么慢就是说不上来，今天就是测试一下python语言的速度和并发数量。在网络爬虫中，影响速度的有数据下载，数据解析，数据存储，最主要的影响是数据下载和数据存储，数据下载影响是网络IO，数据存储是磁盘IO，本次模拟数据下载是1s，然后数据存储直接是把数据存储到redis中，redis是内网的redis库。下面一次并发10w,100w,10...

原创 unable to connect to 127.0.0.1:21503:21503

unable to connect to 127.0.0.1:21503:21503今天使用逍遥模拟器安装frida，adb报错，其中用逍遥多开器开了两个模拟器，第一个可以连接，第二个无法连接，报错unable to connect to 127.0.0.1:21503:21503主要是模拟器生成了一个文件，里面的端口变化了　　打开文件的目录Microvirt\MEmu\MemuH...

原创 frida 版本过高报错

{ "type": "error", "description": "TypeError: r.art::mirror::Object::Clone is not a function", "stack": "TypeError: r.art::mirror::Object::Clone is not a function\n at Kt (frida/node_modu...

原创 docker 安装火狐和火狐驱动

直接上命令第一步：下载火狐浏览器和驱动 版本号 firefox-89.0.tar.bz2 火狐驱动 ：https://github.com/mozilla/geckodriver/releases geckodriver-v0.31.0-linux64.tar.gz第二步 进入docker镜像，...

原创 window 客户端抓包详解

互联网的数据有web，app，小程序，windows客户端等，抓取数据不能拘泥于一点，只要能搞到数据，一切都是OK。今天主要详细的介绍一下windows的抓包。1. 下载windows客户端，安装　　这个就不介绍了，太简单了，不会的就别往下再去看这个教程了。2. 安装fiddler　　百度fiddler安装包，按照提示安装即可3. 安装Proxifer　　下载地址：https:/...

原创 Chrome浏览器启动参数大全（命令行参数）

前言在开发Web项目当中，浏览器必不可少，而浏览器的启动参数可以帮我们实现很多功能。常用参数常用参数请参考下表。序号参数说明1--allow-outdated-plugins不停用过期的插件。2--allow-running-insecure-content默认情况下，https 页面不允许从 http 链接引用 javascript/css/plug-ins...

原创 浏览器指纹介绍

一、什么是浏览器指纹 浏览器指纹是指通过收集您设备的特征标识，用来对您进行唯一性识别、跟踪、分析行为、所生成的摘要ID 网站通过收集大量的信息，然后对所有的特征标识进行并集匹配，可以十分精确的对您进行标记。 Hubstudio，允许您自定义所有可能用户网站跟踪的标识。标识内容： UA，语言，时区，地理位置，分辨率，web...

原创 ubuntu 增加 用户

1、新建用户user1sudo useradd -r -m -s /bin/bash user12、设置user1的密码sudo passwd user13、给user1管理员权限sudo vi /etc/sudoersroot ALL=(ALL:ALL) ALLuser1 ALL=(ALL:ALL) ALL设置完成以后，可能会出现无法登陆的现象。需要增加服务器允许密码连接...

原创 浏览器实现get请求

let url = 'https://www.toutiao';let params = {};let xhr = new XMLHttpRequest();xhr.open("GET", url, true);xhr.setRequestHeader("Content-Type", "application/json");xhr.onload = function (e) {...

原创 python 读取apk文件

import zipfiledef spider(): data_list = [] z = zipfile.ZipFile("maimai.apk") for file in z.namelist(): data_list.append(str(file)) z.close() if "libnesec.so" in ','.joi...

原创 各个加固厂商加固特征

libchaosvmp.so 娜迦libddog.so 娜迦libfdog.so 娜迦libedog.so 娜迦企业版libexec.so ...

原创 mysql 批量插入参数调优

原创 ubuntu docker 安装 redis

第一步：查看redis镜像　　　　如果没有redis镜像，执行命令即可　　　　　docker pull redis　　下载成功后执行 docker images 会查看到 redis镜像第二步：修改 redis.conf 文件　　修改配置文件的这些内容　　　　bind 127.0.0.1 #注释掉这部分，这是限制redis只能本地访问　　protected-mode no #默认y...

原创 fastapi 返回请求头信息

直接上代码# -*- coding: utf-8 -*-'''createTime : 2022-04-18 16:18@software: : spiderSystem@File : test2.pyCopyright: shannanai'''import uvicornfrom fastapi import FastAPI,Reques...

原创 mysqlv8.0 通过idb文件恢复数据

关于MySQL数据迁移的问题，对于一个有千万级别的数据，文件可能几十个GB,如何高效的迁移，是一个很大的问题，、最好的方式是直接迁移idb文件，前提条件是两个数据库是相同的版本。一、建立一张和需要还原的空表，表结构要一致二、找到当前mysql目录下的data文件夹下对应的数据库，里面有当前创建的表，例如 spider_48_bdxs_url.idb，不要删除三、执行sql语句命令：A...

原创 vnc安装

参考教程https://www.cnblogs.com/claireyuancy/p/6791339.htmlhttps://blog.csdn.net/qq_28284093/article/details/80166614要在windows下图形化訪问Ubuntu或其他Linux系统桌面环境有非常多方法。我比較喜欢的是使用VNC服务，须要在Ubuntu下安装vncserver和在wi...

原创 python3 执行代码块，并返回数据 exec 返回值

Python3exec 函数描述exec 执行储存在字符串或文件中的 Python 语句，相比于 eval，exec可以执行更复杂的 Python 代码。语法以下是 exec 的语法:exec(object[, globals[, locals]])参数object：必选参数，表示需要被指定的 Python 代码。它必须是字符串或 code 对象。如果 object 是一个字符...

原创 fidler 数据保存到本地

找到OnBeforeResponse，在后面添加如下代码if (oSession.fullUrl.Contains("edith.xiaohongshu.com/api/sns/v10/search/notes?keyword")) { oSession.utilDecodeResponse();//消除保存的请求可能存在乱码的情况 ...

原创 一行代码实现鼠标下滑

import win32apiimport win32confor i in range(1, 800): print(i) win32api.mouse_event(win32con.MOUSEEVENTF_WHEEL,0,0,-60000) time.sleep(0.1)

原创 selenium 禁止某些请求

options.add_argument('--host-resolver-rules=map xxbg.snssdk.com 127.0.0.1')

原创 安卓模拟器安卓 xposed frida

Frida xposed对模拟器的环境真的很重要，如果有任何错误，都会导致失败，如果条件可以的话，尽量购买真机作为开发环境1.安卓模拟器模拟器选择是 逍遥模拟器，版本号是7.6.3必须是这个版本，其他版本可能会导致frida 或者xposed无法安卓。2.选择模拟器安卓版本新建安卓模拟器选择 安卓7.1模拟器(正式版)，必须是这个版本，其他版本可能会导致无法安卓xposed或者fr...

原创 adb 多个模拟器安装 apk

C:\Users\16613\Desktop\adb>adb install meituanyouxuan.apkadb server version (31) doesn't match this client (40); killing...* daemon started successfullyerror: more than one device/emulatoradb...

原创 adb: failed to install Magisk-v23.0.apk: Failure [INSTALL_FAILED_ALREADY_EXISTS: Attempt to re-insta...

adb 安卓magisk 报错，错误信息是adb: failed to install Magisk-v23.0.apk: Failure [INSTALL_FAILED_ALREADY_EXISTS: Attempt to re-install com.topjohnwu.magisk without first uninstalling.]C:\Users\16613\Desktop\...

原创 pixel xl 刷机 root 安装xposed

1. 进入到bootloader 按着手机开机键+ 音量- 键，进入到bootloader2. 查看到已连接的设备 fastboot devices3. 解锁 fastboot oem unlock4. 检查是否已经解锁 fastboot oem device-info 第二行 Device unlocked: true –> 表示已经解锁5. 刷机 flash-all.bat...