- 博客(47)
- 收藏
- 关注
RSS订阅原创 xposed报错无法下载zip，could not load available zip files解决方案
1.科学上网就可以下载了2.如果无法科学上网去https://dl-xda.xposed.info/framework/下载对应版本的zip文件然后复制到/sdcard/Android/data/de.robv.android.xposed.installer/cache/downloads/framework/文件夹下，重启一下手机。在xposed右上角选项给show outdated versions打上勾，就可以看到了，安装即可...
2022-03-21 20:41:03
13806
2
原创 pixel显示网络无法连接解决
其实是可以联网的，但就是看着不舒服输入以下三行命令即可adb shell settings put global captive_portal_server www.google.cnadb shell settings put global captive_portal_https_url https://www.google.cn/generate_204adb shell settings put global captive_portal_mode 0...
2022-03-21 18:14:59
6808
原创 python使用TLS1.2协议请求
针对部分网站使用python请求出现403等，强制使用tls1.2发包的场景如某盛优选小程序，fiddler重新发包正常，用程序请求失败1.urllib版本context = ssl.SSLContext(ssl.PROTOCOL_TLSv1_2)response = urllib.request.urlopen(url=urllib.request.Request(url=url, headers=headers), data=d
2021-07-28 12:17:53
5092
原创 python如何处理ࢮ这种编码的文字
python2import HTMLParser char = r"〹" http_parser = HTMLParser.HTMLParser(); uChar = http_parser.unescape(char); python3from html import unescapes = '<meta property="og:description" content="3月1日发
2021-03-12 16:30:35
1558
原创 mac使用Browsermob-Proxy
mac使用Browsermob-Proxy这个文件不要用后缀为 bat的，那是windows用的使用browsermob-proxy这个linux版本的文件修改browsermob-proxy这个文件中java的路径改成你自己java的安装目录即可
2021-02-24 10:31:09
1072
1
原创 linux创建新用户
1.添加用户adduser test设置密码passwd test2.添加root权限（1）：chmod 755 /etc/sudoersvi /etc/sudoers文件，找到下面一行，把前面的注释（#）去掉 Allows people in group wheel to run all commands%wheel ALL=(ALL) ALL然后修改用户，使其属于root组（wheel），命令如下：usermod -g root test修改完毕，现在可以
2021-01-13 15:00:07
11124
2
原创 linux查看服务器登陆日志
查看成功登陆log last -f /var/log/wtmp或者直接last最新的登录记录在最前面，所以可以用 一下命令来查看。last | less查看登录失败的用户信息命令: lastb查看登录日志命令: tail /var/log/secure -n200...
2021-01-13 14:26:50
2565
原创 yum下载一直失败重试
报错提示Repodata is over 2 weeks old. Install yum-cron? Or run: yum makecache fasthttp://mirrors.aliyun.com/centos/7.8.2003/os/x86_64/repodata/repomd.xml: [Errno 12] Timeout on http://mirrors.aliyun.com/centos/7.8.2003/os/x86_64/repodata/repomd.xml: (28, 'Re
2020-12-11 11:27:16
890
原创 docker中使用selenium截图，中文乱码解决
查找很多资料，发现根本原因就是镜像中未安装中文字体首先下载字体库搜索下载即可附上一份宋体的资料链接: https://pan.baidu.com/s/1FoxHeCseBhaItnxGuDBX2w 密码: 0c6s在DockerFile中添加COPY simsun.ttf /usr/share/fonts/ttf-dejavu/simsun.ttf完成...
2020-12-07 21:45:32
539
原创 android8抓包
1.首先将证书放在电脑中执行openssl x509 -inform PEM -subject_hash_old -in charles-ssl-proxying-certificate.pem | head -1 注意如果是fiddler的证书需要先转为pem后缀的形式openssl x509 -inform der -in fiddler.cer -out fiddler.pem======出现一串数字f0172217将这串数字加’.0’作为证书名字放入手机系统证书文件夹下
2020-11-18 15:56:41
397
原创 centos7配置pyppeteer环境
1.安装pyppeteerpip3 install pyppeteer2.第一次运行程序时，会自动下载chromium[W:pyppeteer.chromium_downloader] start chromium download.Download may take a few minutes.有时候可能因为国外下载速度太慢导致失败这是修改安装包pyppeteer文件夹下的chromium_downloader.py文件修改DEFAULT_DOWNLOAD_HOST = 'https:
2020-09-10 12:32:32
960
原创 七麦数据analysis加密算法
2020年8月web版本可用算法已转成python接单app逆向，js逆向，有需求联系V：Nanch51188#!/usr/bin/python3# encoding: utf-8"""@author: fengyinws@contact: fengyinws@163.com@software: fengyinws@file: decrypt_qm.py@time: 2020/8/15 10:53@desc: 七麦js加密算法"""import reimport timefr
2020-08-24 16:21:15
835
3
原创 python装饰器与关键字参数
使用修饰器接受传入参数时，发现参数异常def catch_error(error_position: str): def get_params(func): def save_error(*args): try: for i in range(3): return func(*args) except: print("-----错误
2020-08-21 11:50:52
273
原创 python3读pdf
一、pip install pdfplumber# -*- coding: utf-8 -*-import pdfplumberfile_path = ''with pdfplumber.open(file_path) as pdf: for c in pdf.objects['char']: print(c)二、pip install pdfminer3k# -*- encoding: utf-8 -*-try: from urllib.re
2020-08-04 09:29:51
146
原创 爬虫排坑之pyquery使用
doc = pq(response.text)在获取分类列表是，我使用doc(‘div’).items()这个方法时再次遍历发现出现空值打印出来发现，此方法是一个生成器对象这就明白了关键点doc().items()方法返回的是生成器，切记...
2020-07-09 14:18:02
227
原创 andriod9抓包https
在andriod7以上版本，系统不再信任用户级的证书，只信任系统级的证书，所以要抓包就需要把我们的代理程序证书安装至Android的系统目录中。这个就有点坑爹了哦这样的话，手机必须root才可以1.生成证书将Filddler或者其他抓包程序的证书导出，一般为xxx.cer或者xxx.pem使用openssl的x509指令进行cer证书转pem证书 和 用md5方式显示pem证书的hash值tips: 查看openssl版本的指令openssl version#openssl版本在1.0以下的
2020-07-07 14:57:27
758
3
原创 几个比较好用的爬虫库
一、类似 Requests 的库为什么要推荐类似 Requests 的库呢？Requests 不够好吗？虽然 Requests 对于新手很容易上手，但它是同步的、并不是异步设计的。在 HTTP 请求的时候是需要 IO 等待的。比如说，当你使用 Requests 库进行请求，网站进行返回的时候，这时 IO 就会阻塞，程序就需要等待网站的返回，这就让爬取速度变慢了。那么异步的好处在哪呢？（侯爵老师兴奋的停不下来，继续说着）Python 的代码是一行行去执行。也就是说，如果哪一行是非常耗时间的，之后的所有
2020-06-30 10:55:04
8311
原创 python3使用装饰器添加附加功能
本文以一段日志功能为例python装饰器部分def catch_error(error_position: str): def get_params(func): def save_error(*args): try: logger.debug(error_position) return func(*args) except: logg
2020-06-16 17:44:52
143
1
原创 selenium的常用方法-实战讲解
基本使用demofrom selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.common.keys import Keysfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.support.wait import WebDriverWait.
2020-05-29 12:05:50
185
原创 设计模式：设计六大原则
1. 单一职责原则(SRP)定义：就一个类而言，应该仅有一个引起它变化的原因。从这句定义我们很难理解它的含义，通俗讲就是我们不要让一个类承担过多的职责。如果一个类承担的职责过多，就等于把这些职责耦合在一起，一个职责的变化可能会削弱或者抑制这个类完成其他职责的能力。这种耦合会导致脆弱的设计，当变化发生时，设计会遭受到破坏。2. 开放封闭原则(ASD)定义：类、模块、函数等等等应该是可以拓展的，但是不可修改。开放封闭有两个含义，一个是对于拓展是开放的，另一个是对于修改是封闭的。对于开发来说需求肯定是要
2020-05-29 11:14:54
121
原创 mysql优化：索引失效的情况
1、当使用or的情况下，如果不是每一列的条件都有索引，索引失效比如a有索引，b没有索引select * from tb1 where a=1 or b=02、联合索引ABC问题Mysql从左到右的使用索引中的字段，一个查询可以只使用索引中的一部份，但只能是最左侧部分。例如索引是index (a,b,c)，可以支持a | a,b| a,b,c 3种组合进行查找，但不支持 b,c或c进行查找 。3、当使用like的时候，以%开头，索引失效4、当数据类型是字符串类型的时候，如果条件数据没有被引号引起
2020-05-27 15:50:32
141
原创 查看局域网内ip占用情况，以及对影ip的mac地址
在本地新建虚拟机配置网络时，我们需要考虑到ip冲突问题所以要先看一下ip占用情况get_sign.py查看指定ip使用状状态arp ip
2020-05-23 12:01:29
774
原创 搭建简单的http代理服务器
1.安装squidyum install squid2.修改配置文件vi /etc/squid/squid.conf将http_access deny all 中deny 改为allow,http_port后面的是端口号，默认为3128。可改可不改。3.重启服务 service squid restart到这里，就配置完成了。...
2020-05-20 11:15:33
8365
原创 smali语法快速入门
Samli文件详解通过反编译工具反编译出来每个.smali,都对应与java中的一个类,每个smali文件都是Davilk指令组成的,并遵循一定的结构.smali存在很多的指令用于描述对应的java文件,所有的指令都以”.”开头,常用的指令如下:.filed 定义字段.method…end method 定义方法.annotation…end annotation 定义注解.implements
2020-05-18 11:55:21
1080
原创 linux查询日志中指定字段
1.grep命令：cat 1.log | grep key 可以写为： grep key 123.log根据字符串查询日志中关键词出现的位置：cat -n 日志文件| grep ‘keyword’例：cat -n 123.log | grep 'keyword'grep 'keyword' 123.log检索日志，并显示该条日志的前后N（10）行记录：cat 日志文件 | grep -n -B10 -A10 “关键字”cat -n 123.log | grep -n -B10 -A10 '
2020-05-13 18:07:59
9518
原创 hadoop常用指令
创建目录hadoop dfs -mkdir /home上传文件或目录到hdfshadoop dfs -put hello.txt /homehadoop dfs -put helloworld/ /查看目录hadoop dfs -ls /创建一个空文件hadoop dfs -touchz /fengyin删除一个文件hadoop dfs -rm /fengyin删除一个目录hadoop dfs -rmr /home重命名hadoop dfs -mv /hello /
2020-05-13 15:53:25
89
原创 python3中转化json对象和js不一致问题
最近发现python3将字典转化成json时和js转化的不一样，所以寻根追底找一下原因先重现一下问题js中对一个字段进行md5是这样python3中是这样的很明显不一样，那么是哪里除了问题呢。打印出转化的字典js{"name":"libai","age":33,"sex":"male"}python3{"name": "libai", "age": 33, "sex": "...
2020-05-04 16:36:18
485
原创 js逆向实战
最近遇到了很多加密问题，需要做js逆向，app逆向。就简单写一个破解成功的js逆向案例吧就我个人而言，不太喜欢写爬虫相关的实战方法，毕竟灰色地带。首先声明，本文仅做技术交流，请不要用于商业用途。如有侵犯，请联系删除。1.定位问题直入主题，我们首先发现这题在哪看一下这段url我们把params拿出来jsv: 2.5.1appKey: 12574478t: 1588565848...
2020-05-04 15:22:50
4087
2
原创 python正则对于分组情况使用re.sub()
@TOCpython中正则re模块是我们经常用到的，这里说一下替换功能re.sub方法1.re.sub的适用情况对于一段字符串，要将其中满足一段一定条件的子字符串转化成另一种指定字符（自定义，语文不好，将就着看）举个例子，比如我们需要将所有数字转化成 *。这时候使用replace会很麻烦，当然实现方法很多，都不是特别好s = "1234nbxxcvb56123121312vbx312f...
2020-04-29 18:06:05
1537
原创 Linux 怎样修改wtmp 和 utmp 文件
第一步:通过下面命令将二进制文件转换为可编辑文件 wtmp.fileutmpdump /var/log/wtmp >/var/log/wtmp.file第二步:编辑/var/log/wtmp.file 删除部分login记录，或修改登录记录第三步:将文件转化回二进制文件utmpdump -r < /var/log/wtmp.file > /var/log/w...
2020-04-21 11:32:02
1659
原创 execjs调用第三方js库
在用python执行js代码时，突然遇到一个问题，execjs怎么才能正常调用js的第三方库使用js内置方法当时我也是查了好多资料才解决的，截至我写这篇文章，网上的解决方法几乎搜不到，全都是execjs的使用方法，所以记录一下给大家分享出来作为一个入门的爬虫工程师，经常会遇到破解js的情况对于一些Python实现起来比较麻烦的js代码（其实就是懒），当然会借助execjs来执行js代码先说...
2020-04-16 19:32:25
8313
2
原创 mysql中字符串的操作
1.替换指定字符replace语法REPLACE ( string_expression , string_pattern , string_replacement )参数string_expression 要搜索的字符串表达式。string_expression 可以是字符或二进制数据类型。string_pattern 是要查找的子字符串。string_pattern 可以是字符或二进...
2020-04-08 18:24:44
895
原创 android模拟器安装frida
以windows为例1.打开模拟器usb调试2.进入到安装模拟器文件夹的bin目录中adb connect 127.0.0.1:port注：谷歌模拟器端口为5555夜神模拟器 adb connect 127.0.0.1:62001逍遥模拟器 adb connect 127.0.0.1:21503木木模拟器 adb connect 127.0.0.1:75553.下载frida...
2020-04-06 15:05:50
2005
4
原创 python3中安装Crypto进行aes加密解密
在爬虫中遇到aes加密是很常见的事情，python3中安装Crypto还是有一些小坑的，写在这里记录一下
2020-04-06 10:16:24
1512
1
原创 xpath的进阶--模糊查询与逻辑运算符
Xpath进阶1.模糊指定包含某字段使用contains所有id包含字符abc的标签a //a[contains(@id,'abc')]以什么字段开头所有属性href以‘http://v’开头的a标签 //a[starts-with(@href,'http://v')]以什么字段结尾所有以’fg’结尾div标签 //div[preceding-sib...
2020-03-10 16:01:54
798
原创 python函数默认值的陷阱
首先来看这样一段代码def add_list(ori_list=[], element=None): ori_list.append(element) return ori_list list_1 = add_list(element='hehe')print( list_1) list_2 = add_list(element='haha')print(list...
2019-11-25 16:22:54
143
原创 闭包和修饰器
一、闭包定义：闭包是函数式编程的一个重要的语法结构，函数式编程是一种编程范式 (而面向过程编程和面向对象编程也都是编程范式)。在面向过程编程中，我们见到过函数(function)；在面向对象编程中，我们见过对象(object)。函数和对象的根本目的是以某种逻辑方式组织代码，并提高代码的可重复使用性(reusability)。闭包也是一种组织代码的结构，它同样提高了代码的可重复使用性。小de...
2019-11-25 15:33:04
120
原创 python项目依赖requirements.txt
适用环境：python项目迁移的环境安装首先，如果你用docker镜像能解决的话这个完全没必要的，主要针对线上线下迁移，并且要结合virtualenv环境使用，不然会打包python所有依赖包生成requirements.txt pip freeze > requirements.txt文件内容如下2. 安装环境pip install -r requirements.t...
2019-11-21 17:15:42
153
原创 linux下virtualenv，virtualenvwrapper的安装与环境配置
优点使不同的应用开发环境独立环境升级不影响其他应用，也不会影响全局的python环境它可以防止系统出现包管理混乱和版本的冲突安装pip install virtualenv创建虚拟环境virtualenv test1 // 虚拟环境目录启动虚拟环境cd testvir1source ./bin/activate退出虚拟环境 deactivate...
2019-11-14 13:50:45
479
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人