- 博客(58)
- 收藏
- 关注
RSS订阅原创 python接收易语言数据中文乱码
易语言代码# {"book_name":"发送到发.txt"}提交信息 ＝ “{” ＋ #引号 ＋ “book_name” ＋ #引号 ＋ “:” ＋ #引号 ＋ 编辑框_下载.内容 ＋ #引号 ＋ “}” 到文本 (网页_访问_对象 (“http://127.0.0.1:8000/download”, 1, 提交信息, , , "Content-Type: application/json", , , , , , , , , , , , , ))python代码@app.route("/do
2022-05-08 23:40:07
467
原创 解决execjs经典的 gbk报错问题，不用修改底层源码。
import subprocessfrom functools import partialsubprocess.Popen = partial(subprocess.Popen, encoding="utf-8")import execjs
2022-04-15 10:22:38
606
1
原创 树莓派安装nodejs和npm
安装nodejs和npm本教程只安装LTS版本设置代理（如果要安装10，就把12改成10即可）curl -sL https://deb.nodesource.com/setup_12.x | sudo bash -安装nodejssudo apt-get install -y nodejs gcc g++ make python测试是否安装成功node -v升级npmsudo npm i -g npm测试node -vnpm -v更换源换成淘宝源npm install
2022-04-08 16:04:13
2823
1
原创 vscode编写frida之代码提示
在编写frida过程中，为了增加编写效率，就有大神写出来了这么一个插件使用方法：先将vscode安装好，然后将nodejs安装好，接着就是使用命令，如果不想安装全局那就使用npm i @types/frida-gum如果想随便那个文件夹都有这个提示，那就npm i -g @types/frida-gum...
2022-04-07 15:16:03
2622
3
原创 CSS反爬获取伪元素的值
目标网站红薯中文网获取网页源代码也获取不了这些动态渲染的数据所以用简单的，但是有点麻烦的方法使用selenium执行js，或者直接在浏览器里面执行jsfunction kkk(){var myIdElement = document.getElementsByClassName("context_kw11");var beforeStyle = window.getComputedStyle(myIdElement[0], "::before");return beforeStyle.con
2022-03-28 15:56:05
21261
原创 python 使用node_vm2执行js
有时候，一些js需要调用，之前都是用nodejs比较多，但是有些js会验证是否使用的是node就比如某头条的加密。为了能本地调用扣下来的js，这里就不能用nodejs或者execjs，需要用到vm2步骤：1、下载vm2pip install node_vm2 -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com加载方式如下：大多数 API 都绑定到vm2。简单评估：from node_vm2 import eva
2022-03-25 14:42:06
5272
1
原创 python连接wss走自己的代理
**我开了一个vpn 然后用py写wss连接 怎么才能让他这个连接走我系统代理呢vpn 开9090端口set https_proxy=socks5://127.0.0.1:9090set http_proxy=socks5://127.0.0.1:9090def get_ip(): proxies = { "http": '127.0.0.1:9090', "https": '127.0.0.1:9090', }
2022-03-20 19:08:44
2367
原创 时,天,周,月,年日期转换案例
# -*- coding:utf-8 -*-# @Time : 2022/1/28 13:38# @Author : huoyu# @File : data_times.py# @Software: PyCharmimport reimport timedef get_times(Upload_time): hous = re.compile('.*?(\d+)小时前', re.S) days = re.compile('.*?(\d+)天前', re.S) we
2022-01-28 14:56:35
261
原创 pychrm设置全局代理
以设置proxy ip 为示例os.environ[‘ALL_PROXY’]=‘http://127.0.0.1:10809’
2021-12-31 16:52:40
1710
原创 整理mitmproxy安装报错所有问题
记得点赞收藏问题：ModuleNotFoundError: No module named ‘thread’，原因及解决办法。python中mitmproxy启动报ModuleNotFoundError: No module named 'brotli._brotli'错误可能会报error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools"错误你遇到的所有问题
2021-08-04 14:31:14
2680
原创 利用js去除无限debugger
极简壁纸F12后悔无限debug，还会一直增加内存，导致卡机将下面的代码放到开发者选项的Console里面，回车，就可以终止debug了//去除无限debuggerFunction.prototype.__constructor_back = Function.prototype.constructor ;Function.prototype.constructor = function() { if(arguments && typeof arguments[0]==='s
2021-07-31 15:00:34
2132
1
转载 Python3读取、写入、追加写入Excel文件
自用一、需要用到的库：1.操作xls格式的表格文件：读取：xlrd写入：xlwt修改（追加写入）：xlutils2.操作xlsx格式的表格文件：读取/写入：openpyxl二、实现代码1.操作xls格式的表格文件# coding=UTF-8import xlrdimport xlwtfrom xlutils.copy import copy def write_excel_xls(path, sheet_name, value): index = len(value
2021-07-29 19:29:23
424
原创 获取本地计算机网络的所有映射方法
获取本地计算机网络的所有映射方法win+R打开命令行命令：systeminfo主机名: HUOYUOS 名称: Microsoft Windows 10 家庭版OS 版本: 10.0.18362 暂缺 Build 18362OS 制造商: Microsoft CorporationOS 配置: 独立工作站OS 构建类型: Multiprocessor Free注册的所有人: 23198
2021-07-24 19:28:54
833
原创 Python调用抓包获取的js代码
这里没有提供js代码，只提供思路和python代码首先需要在本机安装node.js环境，接着就是安装python所需要的包pip install PyEExecJsimport execjs#实例化一个node对象node = execjs.get()#js源文件编译ctx = node.compile(open('./wechat.js',encoding='utf-8').read())#执行js函数 getPwd("{0}")是js函数名 {0}是第一个参数的意思funcName =
2021-06-19 19:10:41
123
原创 Python_存储
1）写入图片#传入图片地址，文件名，保存单张图片def saveImg(self,imageURL,fileName): u = urllib.urlopen(imageURL) data = u.read() f = open(fileName, 'wb') f.write(data) f.close()2）写入文本def saveBrief(self,content,name): fileName = name + "/" + na
2021-04-30 18:16:00
53
2
原创 Python使用Mysql增删改查
Python如何连接Mysql及基本操作什么要做python连接mysql，一般是解决什么问题的 做自动化测试时候，注册了一个新用户，产生了多余的数据，下次同一个账号就无法注册了，这种情况怎么办呢？自动化测试都有数据准备和数据清理的操作，如果因此用例产生了多余数据，就需要清理数据，可以用Pyhthon连接Mysql直接删除多余的数据就可以了。Python3如何连接Mysql呢？PyMySQL是在Py3版本用于连接Mysqlpython连接mysql的模块安装在线安装pip install Py
2021-04-29 00:13:13
85
原创 scrapy_补充_headers/超时
scrapy_补充内容设置headers进一步模拟自然访问设置settings在爬虫文件里面，导入然后在request里面添加抓取超时设置应用场景设置爬虫超时机制设置headers进一步模拟自然访问设置settingsDEEAULT_REQUEST_HEADERS ={'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,applicati
2021-04-19 16:52:47
136
原创 scrapy_cookie的设置_1
这里是固定cookie设置方法、在settings.py里面添加这个里面的数据直接去网站获取DEFAULT_COOKIE={ # 在这里，有多少个等号就有多少个键值对 'key':'value'}然后回到爬虫项目里面先导入from …settings import DEFAULT_COOKIE然后在request的时候参数里面加一个cookies=DEFAULT_COOKIE这样就是携带cookies进行访问注意! ! ! ! ! ! !如果是一开始就要进行cooki
2021-04-19 16:03:26
345
2
原创 scrapy_设置随机UA头
编写UserAgentMiddleware类# 随机请求头class UserAgentMiddleware(object): def __init__(self): self.user_agent_list=[ "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1" ,
2021-04-19 11:50:27
324
原创 scrapy_分布式_reids
进阶式练习CrawlSpider:类，Spider的一个子类全站数据爬取的方式基于Spider：手动请求基于CrawlSpiderCrawlSpider的使用：创建一个工程cd XXX创建爬虫文件（CrawlSpider）：scrapy genspider -t crawl xxx www.xxxx.com链接提取器：作用：根据指定的规则（allow）进行指定链接的提取规则解析器：作用：将链接提取器提取到的链接进行指定规则（callback）的解析#需求：
2021-04-17 23:44:02
108
1
原创 scrapy爬取阳光热线问政平台
这章我们主要学习爬取列表页和详情页的数据爬取数据的一致性首先还是settingsLOG_LEVEL = 'ERROR'ROBOTSTXT_OBEY = FalseITEM_PIPELINES = { 'sunPro.pipelines.SunproPipeline': 300,}sun.py# -*- coding: utf-8 -*-import scrapyfrom scrapy.linkextractors import LinkExtractorfrom scrapy
2021-04-16 22:51:57
490
原创 scrapy对糗百语句进行爬取
在这里我们讲两种，基于终端和基于管道爬取，存储为txt和csvsettings.py在这里我们依旧先配置文件ROBOTSTXT_OBEY = False# 显示指定类型的日志信息LOG_LEVEL = 'ERROR'# 开启管道ITEM_PIPELINES = {#使用了两个管道数字越小，优先级越高 'qiubaiPro.pipelines.QiubaiproPipeline': 300, 'qiubaiPro.pipelines.mysqlPileLine': 301
2021-04-16 22:06:50
84
原创 基于scrapy对网站的图片进行爬取
创建项目的过程我们这里就不讲了，上一篇讲了ImagesPipeline特点：将下载图片转换成通用的JPG和RGB格式避免重复下载缩略图生成图片大小过滤这里我直接给大家看一下，项目的目录结构在爬取之前我们需要将settings里面的数据修改一下settings.py#在设置里面添加 不用打印所有的日志，只打印报错信息LOG_LEVEL='ERROR'#将这个的True改成FalseROBOTSTXT_OBEY = False#将管道传递出去存储数据的注释
2021-04-16 16:11:56
429
原创 初识scrapy
初识scrapy如何学习框架？什么是scrapy？scrapy结构的框架scrapy框架的基本使用环境的安装：创建一个工程：**scrapy startproject xxxPro**scrapy持久化存储基于管道：基于Spider的全站数据爬取实现方式：五大核心组件引擎(Scrapy)调度器(Scheduler)下载器(Downloader)爬虫(Spiders)项目管道(Pipeline)请求传参ImagesPipeline：中间件作用：批量拦截到整个工程中所有的请求和响应拦截请求：拦截响应：-# 什
2021-04-16 15:28:36
162
原创 selenium对12306进行登录
#!user/bin/env python3# -*- coding:utf-8 -*-# Email 2319899766@QQ.com# Time : 2021/3/16 22:47from selenium import webdriverfrom selenium.webdriver import ActionChainsimport requestsimport timefrom PIL import Imagefrom hashlib import md5class Ch
2021-04-16 14:34:51
155
原创 selenium模拟登陆请求空间
selenium模拟登陆请求空间#!user/bin/env python3# -*- coding:utf-8 -*-# Email 2319899766@QQ.com# Time : 2021/3/16 16:45from selenium import webdriverfrom time import sleepbro = webdriver.Chrome(executable_path='./chromedriver.exe')bro.get('https://qzone.q
2021-04-16 14:30:00
70
原创 selenium的的动作链
selenium的的动作链遇到长按拉动的验证码就用动作链解决#!user/bin/env python3# -*- coding:utf-8 -*-# Email 2319899766@QQ.com# Time : 2021/3/15 23:36from selenium import webdriver# 导入动作链对应的类from selenium.webdriver import ActionChainsfrom time import sleepbro = webdriver
2021-04-16 14:29:05
369
原创 selenium淘宝自动化操作
selenium淘宝自动化操作#!user/bin/env python3# -*- coding:utf-8 -*-# Email 2319899766@QQ.com# Time : 2021/3/15 22:47from selenium import webdriverfrom time import sleepbro = webdriver.Chrome(executable_path='./chromedriver.exe')bro.get('https://www.taob
2021-04-16 14:25:45
266
原创 selenium的操作
selenium的操作（展示）from selenium import webdriverfrom time import sleep# 后面是你的浏览器驱动位置，记得前面加r'','r'是防止字符转义的driver = webdriver.Chrome(r'./chromedriver')# 用get打开百度页面driver.get("http://www.baidu.com")# 查找页面的“设置”选项，并进行点击driver.find_elements_by_link_text('设置
2021-04-16 11:41:13
79
原创 协程_async 修饰函数_回调
协程_async 修饰函数_回调#!user/bin/env python3# -*- coding:utf-8 -*-# Email 23198899766@QQ.com# Time : 2021/3/14 13:17import asyncio# async 修饰函数async def request(url): print('正在请求的url是',url) print('请求成功',url) return url# async修饰的函数，调用之后返回的一
2021-04-15 23:15:09
120
原创 Flask服务_了解
Flask服务_了解from flask import Flaskimport timeapp = Flask(__name__)@app.route('/bobo')def index_bobo(): time.sleep(2) return 'Hello bobo'@app.route('/jay')def index_jay(): time.sleep(2) return 'Hello jay'@app.route('/tom')def in
2021-04-15 23:14:00
325
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人