自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(444)
  • 收藏
  • 关注

原创 python 批量删除 redis 大量数据

#!/usr/bin/env python# Scan and delete keys in Redis.# Author: cdfivefrom redis import Redisimport timedef RedisScanAndDelete(host, port, password, db, cursor, pattern, count, batch_delete_si...

2023-06-27 11:26:00 240

原创 删除 bad pod

kubectl get pod -n crawl|egrep "Error|Terminating|ContainerStatusUnknown|CrashLoopBackOff|Terminating|Evicted"|awk -F " " '{print $1}'|xargs kubectl -n crawl delete pod --force

2023-05-17 18:52:00 135

原创 该方法实现网页编码的自动识别和转换

"""该方法实现网页编码的自动识别和转换"""# python 第三方库chardet不可靠,把gbk编码解析成 Windows-1254@retry(stop_max_attempt_number=5, wait_random_min=2000, wait_random_max=20000, )def page_trancode(content): codes = chardet.det...

2023-05-04 17:08:00 162

原创 【无标题】抖音 s_v_web_id

抖音 s_v_web_id。

2023-04-27 14:56:02 810 2

原创 如果是不创建新浏览器窗口,直接在已打开的浏览器,则代码需要修改为:

如果是不创建新浏览器窗口,直接在已打开的浏览器,则代码需要修改为:caps = DesiredCapabilities.CHROMEcaps['loggingPrefs'] = {'performance': 'ALL'}options = webdriver.ChromeOptions()options.add_experimental_option('w3c', False)options...

2023-04-17 17:11:00 80

原创 python 1970年以前 字符串转换时间戳

代码1   from datetime import datetime result = '1970-01-01 07:00:00' time_1 = '1966-07-17 06:03:00' if time_1 > result: array = time.strptime(time_1, "%Y-%m-%d %H:%M:%S") ...

2023-04-12 16:53:00 134

原创 execjs UnicodeEncodeError: 'gbk' codec can't encode character '\xff' in position 23995: illegal mul...

import subprocess# 创建一个新的 Popen 类,并继承自 subprocess.Popenclass MySubprocessPopen(subprocess.Popen): def __init__(self, *args, **kwargs): # 在调用父类(即 subprocess.Popen)的构造方法时,将 encoding 参数直...

2023-03-29 14:00:00 65

原创 Python + redis 实现布隆过滤器

# -*- coding: utf-8 -*-'''@Project:PyCharm@File : test2.py@Time:2023-02-15 13:46@Author:xcl@Email:2221117055@qq.com'''import mmh3import redisimport mathimport timeclass PyBloomFilter(): #内置100个...

2023-02-15 13:16:00 22

原创 selenium 速度慢的问题

# -*- coding: utf-8 -*-'''createTime : 2022-08-04 10:22@software: : spiderSystem在使用selenium的过程中,速度比较慢,主要原因有1. 加载图片或者css文件等2. driver.get(url) 是阻塞的,加载速度慢,修改 加载策略 可以优化速度3. 一次只打开一个网页如何实现并发的数据下载呢...

2022-11-22 09:17:00 185

原创 pycharm 使用 git

Pycharm 使用git 详细教程1.安装git 插件File>setting>plugins 搜索 GitToolBox 点击安装即可2.Git 初始化3.克隆项目点击 Clone 无法克隆,删除 文件夹 .git即可4.下拉,提交,推送...

2022-11-11 10:27:00 154

原创 提取段落

from lxml import etree from lxml.html import fromstring, tostring wb_data = """ <div class="text" id="text1"> <div class="textad" id="ad4">&...

2022-09-07 16:08:00 33

原创 python redis 数据压缩存储写入和读取

def spider(): a = "%7B%221%22%3A%7B%22envService%22%3A%22prod%22%2C%22abTestData%22%3A%7B%22themeChange%22%3A1%2C%22searchBarPanel%22%3A0%2C%22updateNodeSdk%22%3A-1%2C%22showXgVideo%22%3A0%...

2022-08-22 20:34:00 135

原创 fiddler bpu 拦截多个请求

修改1:    修改2:修改3:改完,然后保存。回到fiddler页面。命令输入:bpu http://www.xxxx.com/xxx111 http://www.xxxx.com/xxx222两个uri 用空格隔开然后回车执行命令取消断点输入:bpu 回车即可。然后,这两个页面都可以被拦截啦。代码:import System;import System.Windo...

2022-08-09 14:19:00 144

原创 fiddler 拦截数据发送get请求

占坑

2022-08-08 19:11:00 24

原创 fiddler 拦截数据发送post 请求

占坑

2022-08-08 19:10:00 73

原创 selenium 切换标签页和获取所有标签页信息

windows = driver.current_window_handle #定位当前页面句柄all_handles = driver.window_handles #获取全部页面句柄for handle in all_handles: #遍历全部页面句柄  if handle != windows: #判断条件    driver.switch...

2022-08-08 15:09:00 65

原创 python 做爬虫真的很慢吗?(协程并发测试 )

总有人说python做爬虫速度慢,能开并发数少,至于为什么慢就是说不上来,今天就是测试一下python语言的速度和并发数量。在网络爬虫中,影响速度的有数据下载,数据解析,数据存储,最主要的影响是数据下载和数据存储,数据下载影响是网络IO,数据存储是磁盘IO,本次模拟数据下载是1s,然后数据存储直接是把数据存储到redis中,redis是内网的redis库。下面一次并发10w,100w,10...

2022-08-01 18:15:00 62

原创 unable to connect to 127.0.0.1:21503:21503

unable to connect to 127.0.0.1:21503:21503今天使用逍遥模拟器安装frida,adb报错,其中用逍遥多开器开了两个模拟器,第一个可以连接,第二个无法连接,报错unable to connect to 127.0.0.1:21503:21503主要是模拟器生成了一个文件,里面的端口变化了  打开文件的目录Microvirt\MEmu\MemuH...

2022-07-06 19:15:00 204

原创 frida 版本过高报错

{ "type": "error", "description": "TypeError: r.art::mirror::Object::Clone is not a function", "stack": "TypeError: r.art::mirror::Object::Clone is not a function\n at Kt (frida/node_modu...

2022-07-06 16:32:00 61

原创 docker 安装火狐和火狐驱动

直接上命令第一步:下载火狐浏览器和驱动 版本号 firefox-89.0.tar.bz2 火狐驱动 :https://github.com/mozilla/geckodriver/releases geckodriver-v0.31.0-linux64.tar.gz第二步 进入docker镜像,...

2022-06-20 17:16:00 101

原创 window 客户端抓包详解

互联网的数据有web,app,小程序,windows客户端等,抓取数据不能拘泥于一点,只要能搞到数据,一切都是OK。今天主要详细的介绍一下windows的抓包。1. 下载windows客户端,安装  这个就不介绍了,太简单了,不会的就别往下再去看这个教程了。2. 安装fiddler  百度fiddler安装包,按照提示安装即可3. 安装Proxifer  下载地址:https:/...

2022-06-16 17:54:00 86

原创 Chrome浏览器启动参数大全(命令行参数)

前言在开发Web项目当中,浏览器必不可少,而浏览器的启动参数可以帮我们实现很多功能。常用参数常用参数请参考下表。序号参数说明1--allow-outdated-plugins不停用过期的插件。2--allow-running-insecure-content默认情况下,https 页面不允许从 http 链接引用 javascript/css/plug-ins...

2022-06-14 17:24:00 557

原创 浏览器指纹介绍

一、什么是浏览器指纹 浏览器指纹是指通过收集您设备的特征标识,用来对您进行唯一性识别、跟踪、分析行为、所生成的摘要ID 网站通过收集大量的信息,然后对所有的特征标识进行并集匹配,可以十分精确的对您进行标记。 Hubstudio,允许您自定义所有可能用户网站跟踪的标识。标识内容: UA,语言,时区,地理位置,分辨率,web...

2022-06-14 16:37:00 31

原创 ubuntu 增加 用户

1、新建用户user1sudo useradd -r -m -s /bin/bash user12、设置user1的密码sudo passwd user13、给user1管理员权限sudo vi /etc/sudoersroot ALL=(ALL:ALL) ALLuser1 ALL=(ALL:ALL) ALL设置完成以后,可能会出现无法登陆的现象。需要增加服务器允许密码连接...

2022-06-08 15:41:00 27

原创 浏览器实现get请求

let url = 'https://www.toutiao';let params = {};let xhr = new XMLHttpRequest();xhr.open("GET", url, true);xhr.setRequestHeader("Content-Type", "application/json");xhr.onload = function (e) {...

2022-05-20 17:02:00 73

原创 python 读取apk文件

import zipfiledef spider(): data_list = [] z = zipfile.ZipFile("maimai.apk") for file in z.namelist(): data_list.append(str(file)) z.close() if "libnesec.so" in ','.joi...

2022-05-12 10:01:00 20

原创 各个加固厂商加固特征

libchaosvmp.so 娜迦libddog.so 娜迦libfdog.so 娜迦libedog.so 娜迦企业版libexec.so ...

2022-05-10 15:30:00 41

原创 mysql 批量插入参数调优

2022-05-06 09:45:00 16

原创 ubuntu docker 安装 redis

第一步:查看redis镜像    如果没有redis镜像,执行命令即可     docker pull redis  下载成功后执行 docker images 会查看到 redis镜像第二步:修改 redis.conf 文件  修改配置文件的这些内容    bind 127.0.0.1 #注释掉这部分,这是限制redis只能本地访问  protected-mode no #默认y...

2022-04-22 16:01:00 18

原创 fastapi 返回请求头信息

直接上代码# -*- coding: utf-8 -*-'''createTime : 2022-04-18 16:18@software: : spiderSystem@File : test2.pyCopyright: shannanai'''import uvicornfrom fastapi import FastAPI,Reques...

2022-04-18 16:21:00 45

原创 mysqlv8.0 通过idb文件恢复数据

关于MySQL数据迁移的问题,对于一个有千万级别的数据,文件可能几十个GB,如何高效的迁移,是一个很大的问题,、最好的方式是直接迁移idb文件,前提条件是两个数据库是相同的版本。一、建立一张和需要还原的空表,表结构要一致二、找到当前mysql目录下的data文件夹下对应的数据库,里面有当前创建的表,例如 spider_48_bdxs_url.idb,不要删除三、执行sql语句命令:A...

2022-04-01 16:13:00 123

原创 vnc安装

参考教程https://www.cnblogs.com/claireyuancy/p/6791339.htmlhttps://blog.csdn.net/qq_28284093/article/details/80166614要在windows下图形化訪问Ubuntu或其他Linux系统桌面环境有非常多方法。我比較喜欢的是使用VNC服务,须要在Ubuntu下安装vncserver和在wi...

2022-04-01 10:40:00 19

原创 python3 执行代码块,并返回数据 exec 返回值

Python3exec 函数描述exec 执行储存在字符串或文件中的 Python 语句,相比于 eval,exec可以执行更复杂的 Python 代码。语法以下是 exec 的语法:exec(object[, globals[, locals]])参数object:必选参数,表示需要被指定的 Python 代码。它必须是字符串或 code 对象。如果 object 是一个字符...

2022-03-21 11:45:00 180

原创 fidler 数据保存到本地

找到OnBeforeResponse,在后面添加如下代码if (oSession.fullUrl.Contains("edith.xiaohongshu.com/api/sns/v10/search/notes?keyword")) { oSession.utilDecodeResponse();//消除保存的请求可能存在乱码的情况 ...

2022-03-05 22:04:00 21

原创 一行代码实现鼠标下滑

import win32apiimport win32confor i in range(1, 800): print(i) win32api.mouse_event(win32con.MOUSEEVENTF_WHEEL,0,0,-60000) time.sleep(0.1)

2022-03-05 22:01:00 41

原创 selenium 禁止某些请求

options.add_argument('--host-resolver-rules=map xxbg.snssdk.com 127.0.0.1')

2022-02-16 09:47:00 123

原创 安卓模拟器安卓 xposed frida

Frida xposed对模拟器的环境真的很重要,如果有任何错误,都会导致失败,如果条件可以的话,尽量购买真机作为开发环境1.安卓模拟器模拟器选择是 逍遥模拟器,版本号是7.6.3必须是这个版本,其他版本可能会导致frida 或者xposed无法安卓。2.选择模拟器安卓版本新建安卓模拟器选择 安卓7.1模拟器(正式版),必须是这个版本,其他版本可能会导致无法安卓xposed或者fr...

2022-01-13 16:36:00 90

原创 adb 多个模拟器安装 apk

C:\Users\16613\Desktop\adb>adb install meituanyouxuan.apkadb server version (31) doesn't match this client (40); killing...* daemon started successfullyerror: more than one device/emulatoradb...

2022-01-13 14:09:00 28

原创 adb: failed to install Magisk-v23.0.apk: Failure [INSTALL_FAILED_ALREADY_EXISTS: Attempt to re-insta...

adb 安卓magisk 报错,错误信息是adb: failed to install Magisk-v23.0.apk: Failure [INSTALL_FAILED_ALREADY_EXISTS: Attempt to re-install com.topjohnwu.magisk without first uninstalling.]C:\Users\16613\Desktop\...

2022-01-06 17:18:00 192

原创 pixel xl 刷机 root 安装xposed

1. 进入到bootloader 按着手机开机键+ 音量- 键,进入到bootloader2. 查看到已连接的设备 fastboot devices3. 解锁 fastboot oem unlock4. 检查是否已经解锁 fastboot oem device-info 第二行 Device unlocked: true –> 表示已经解锁5. 刷机 flash-all.bat...

2022-01-06 14:40:00 124

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除