Python
火浴R
这个作者很懒,什么都没留下…
展开
-
【window 安装多环境python冲突 -已解决】
解决python多个版本 环境冲突问题原创 2022-11-16 18:59:26 · 1492 阅读 · 1 评论 -
【python 多线程存数据lock(锁)】
解决在多线程存数据时,没有用队列的时候,数据缺失的问题原创 2022-11-16 18:38:08 · 530 阅读 · 0 评论 -
pychrom优化打印_表格
rich库,美化打印原创 2022-10-25 15:52:28 · 188 阅读 · 0 评论 -
Python Rpc模式调用(两种方法)
单独是python的Rpc,不用flask等web框架原创 2022-09-05 18:49:24 · 729 阅读 · 0 评论 -
运行ddddocr项目,报错 DLL load failed: 找不到指定的模块
解决ddddocr运行报错问题原创 2022-06-23 15:48:13 · 3963 阅读 · 0 评论 -
python接收易语言数据中文乱码
易语言代码# {"book_name":"发送到发.txt"}提交信息 = “{” + #引号 + “book_name” + #引号 + “:” + #引号 + 编辑框_下载.内容 + #引号 + “}” 到文本 (网页_访问_对象 (“http://127.0.0.1:8000/download”, 1, 提交信息, , , "Content-Type: application/json", , , , , , , , , , , , , ))python代码@app.route("/do原创 2022-05-08 23:40:07 · 452 阅读 · 0 评论 -
解决execjs经典的 gbk报错问题,不用修改底层源码。
import subprocessfrom functools import partialsubprocess.Popen = partial(subprocess.Popen, encoding="utf-8")import execjs原创 2022-04-15 10:22:38 · 585 阅读 · 1 评论 -
CSS反爬获取伪元素的值
目标网站红薯中文网获取网页源代码也获取不了这些动态渲染的数据所以用简单的,但是有点麻烦的方法使用selenium执行js,或者直接在浏览器里面执行jsfunction kkk(){var myIdElement = document.getElementsByClassName("context_kw11");var beforeStyle = window.getComputedStyle(myIdElement[0], "::before");return beforeStyle.con原创 2022-03-28 15:56:05 · 20645 阅读 · 0 评论 -
python 使用node_vm2执行js
有时候,一些js需要调用,之前都是用nodejs比较多,但是有些js会验证是否使用的是node就比如某头条的加密。为了能本地调用扣下来的js,这里就不能用nodejs或者execjs,需要用到vm2步骤:1、下载vm2pip install node_vm2 -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com加载方式如下:大多数 API 都绑定到vm2。简单评估:from node_vm2 import eva原创 2022-03-25 14:42:06 · 5151 阅读 · 1 评论 -
python连接wss走自己的代理
**我开了一个vpn 然后用py写wss连接 怎么才能让他这个连接走我系统代理呢vpn 开9090端口set https_proxy=socks5://127.0.0.1:9090set http_proxy=socks5://127.0.0.1:9090def get_ip(): proxies = { "http": '127.0.0.1:9090', "https": '127.0.0.1:9090', }原创 2022-03-20 19:08:44 · 2269 阅读 · 0 评论 -
时,天,周,月,年日期转换案例
# -*- coding:utf-8 -*-# @Time : 2022/1/28 13:38# @Author : huoyu# @File : data_times.py# @Software: PyCharmimport reimport timedef get_times(Upload_time): hous = re.compile('.*?(\d+)小时前', re.S) days = re.compile('.*?(\d+)天前', re.S) we原创 2022-01-28 14:56:35 · 251 阅读 · 0 评论 -
关于pychram 本地编码问题的情况subprocess.py
将None设置成“utf-8”就是,将全部都设置成了utf-8原创 2022-01-13 17:56:27 · 317 阅读 · 0 评论 -
pychrm设置全局代理
以设置proxy ip 为示例os.environ[‘ALL_PROXY’]=‘http://127.0.0.1:10809’原创 2021-12-31 16:52:40 · 1628 阅读 · 0 评论 -
整理mitmproxy安装报错所有问题
记得点赞收藏问题:ModuleNotFoundError: No module named ‘thread’,原因及解决办法。python中mitmproxy启动报ModuleNotFoundError: No module named 'brotli._brotli'错误可能会报error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools"错误你遇到的所有问题原创 2021-08-04 14:31:14 · 2615 阅读 · 0 评论 -
利用js去除无限debugger
极简壁纸F12后悔无限debug,还会一直增加内存,导致卡机将下面的代码放到开发者选项的Console里面,回车,就可以终止debug了//去除无限debuggerFunction.prototype.__constructor_back = Function.prototype.constructor ;Function.prototype.constructor = function() { if(arguments && typeof arguments[0]==='s原创 2021-07-31 15:00:34 · 2042 阅读 · 1 评论 -
Python3读取、写入、追加写入Excel文件
自用一、需要用到的库:1.操作xls格式的表格文件:读取:xlrd写入:xlwt修改(追加写入):xlutils2.操作xlsx格式的表格文件:读取/写入:openpyxl二、实现代码1.操作xls格式的表格文件# coding=UTF-8import xlrdimport xlwtfrom xlutils.copy import copy def write_excel_xls(path, sheet_name, value): index = len(value转载 2021-07-29 19:29:23 · 415 阅读 · 0 评论 -
Python调用抓包获取的js代码
这里没有提供js代码,只提供思路和python代码首先需要在本机安装node.js环境,接着就是安装python所需要的包pip install PyEExecJsimport execjs#实例化一个node对象node = execjs.get()#js源文件编译ctx = node.compile(open('./wechat.js',encoding='utf-8').read())#执行js函数 getPwd("{0}")是js函数名 {0}是第一个参数的意思funcName =原创 2021-06-19 19:10:41 · 119 阅读 · 0 评论 -
Python_存储
1)写入图片#传入图片地址,文件名,保存单张图片def saveImg(self,imageURL,fileName): u = urllib.urlopen(imageURL) data = u.read() f = open(fileName, 'wb') f.write(data) f.close()2)写入文本def saveBrief(self,content,name): fileName = name + "/" + na原创 2021-04-30 18:16:00 · 49 阅读 · 2 评论 -
Python使用Mysql增删改查
Python如何连接Mysql及基本操作什么要做python连接mysql,一般是解决什么问题的 做自动化测试时候,注册了一个新用户,产生了多余的数据,下次同一个账号就无法注册了,这种情况怎么办呢?自动化测试都有数据准备和数据清理的操作,如果因此用例产生了多余数据,就需要清理数据,可以用Pyhthon连接Mysql直接删除多余的数据就可以了。Python3如何连接Mysql呢?PyMySQL是在Py3版本用于连接Mysqlpython连接mysql的模块安装在线安装pip install Py原创 2021-04-29 00:13:13 · 78 阅读 · 0 评论 -
scrapy_分布式_reids
进阶式练习CrawlSpider:类,Spider的一个子类全站数据爬取的方式基于Spider:手动请求基于CrawlSpiderCrawlSpider的使用:创建一个工程cd XXX创建爬虫文件(CrawlSpider):scrapy genspider -t crawl xxx www.xxxx.com链接提取器:作用:根据指定的规则(allow)进行指定链接的提取规则解析器:作用:将链接提取器提取到的链接进行指定规则(callback)的解析#需求:原创 2021-04-17 23:44:02 · 105 阅读 · 1 评论 -
基于scrapy对网站的图片进行爬取
创建项目的过程我们这里就不讲了,上一篇讲了ImagesPipeline特点:将下载图片转换成通用的JPG和RGB格式避免重复下载缩略图生成图片大小过滤这里我直接给大家看一下,项目的目录结构在爬取之前我们需要将settings里面的数据修改一下settings.py#在设置里面添加 不用打印所有的日志,只打印报错信息LOG_LEVEL='ERROR'#将这个的True改成FalseROBOTSTXT_OBEY = False#将管道传递出去存储数据的注释原创 2021-04-16 16:11:56 · 422 阅读 · 0 评论 -
协程_async 修饰函数_回调
协程_async 修饰函数_回调#!user/bin/env python3# -*- coding:utf-8 -*-# Email 23198899766@QQ.com# Time : 2021/3/14 13:17import asyncio# async 修饰函数async def request(url): print('正在请求的url是',url) print('请求成功',url) return url# async修饰的函数,调用之后返回的一原创 2021-04-15 23:15:09 · 117 阅读 · 0 评论 -
Flask服务_了解
Flask服务_了解from flask import Flaskimport timeapp = Flask(__name__)@app.route('/bobo')def index_bobo(): time.sleep(2) return 'Hello bobo'@app.route('/jay')def index_jay(): time.sleep(2) return 'Hello jay'@app.route('/tom')def in原创 2021-04-15 23:14:00 · 320 阅读 · 0 评论 -
aiohttp实现多任务异步协程
aiohttp实现多任务异步协程#!user/bin/env python3# -*- coding:utf-8 -*-# Email 2319899766@QQ.com# Time : 2021/3/14 20:45# 环境的安装 pip install aiohttp# 使用该模快中的ClientSessionimport requestsimport asyncioimport timeimport aiohttpstart = time.time()urls=[原创 2021-04-15 23:13:06 · 136 阅读 · 0 评论 -
多任务协程2
多任务协程2#!user/bin/env python3# -*- coding:utf-8 -*-# Email 2319899766@QQ.com# Time : 2021/3/14 20:24import requestsimport asyncioimport timestart = time.time()urls=[ 'http://127.0.0.1:5000/bobo','http://127.0.0.1:5000/jay','http://127.0.0.1:5原创 2021-04-15 23:11:50 · 43 阅读 · 0 评论 -
多任务协程
多任务协程#!user/bin/env python3# -*- coding:utf-8 -*-# Email 2319899766@QQ.com# Time : 2021/3/14 20:08import asyncioimport timeasync def request(url): print('正在下载',url) # 在异步协程中如果出现了同步模块相关的代码,那么久无法是实现异步。 # time.sleep(2) #当asyncio中遇到阻塞操原创 2021-04-15 23:11:13 · 46 阅读 · 0 评论 -
Requests_线程池的基本使用
Requests_线程池的基本使用#!user/bin/env python3# -*- coding:utf-8 -*-# Email 23198899766@QQ.com# Time : 2021/3/12 23:29# import time# #单线程串行方式执行# def get_page(str):# print("正在下载 :",str)# time.sleep(2)# print("下载成功",str)# name_list = ['xiaoz原创 2021-04-15 23:08:06 · 298 阅读 · 0 评论 -
Requests的同步爬取
Requests的同步爬取同步爬取同步爬取#!user/bin/env python3# -*- coding:utf-8 -*-# Email 23198899766@QQ.com# Time : 2021/3/12 21:37import requestsheaders = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko)原创 2021-04-15 23:06:33 · 183 阅读 · 0 评论 -
古诗词破解验证码二次登录
古诗词破解验证码二次登录登录后用二次登录操作将页面下载下来登录后用二次登录操作将页面下载下来#!user/bin/env python3# -*- coding:utf-8 -*-# Email 23198899766@QQ.com# Time : 2021/3/9 16:45import requestsfrom lxml import etreefrom PIL import Imageimport pytesseract# 获取登录页面HTML代码def html(ses原创 2021-04-15 23:05:01 · 248 阅读 · 0 评论 -
Request_https_ip_用代理访问
Request_https_ip_用代理访问使用代理ip去爬取使用代理ip去爬取#需求:import requestsurl = 'https://www.baidu.com/s?wd=ip'headers = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'}原创 2021-04-15 23:01:22 · 1242 阅读 · 0 评论 -
Request_xpath_json_同花财经新闻下载
Request_xpath_json_同花财经新闻下载直接丢代码直接丢代码#!user/bin/env python3# -*- coding:utf-8 -*-# Email 2319899766@QQ.com# Time : 2021/3/28 15:38import requestsimport jsonimport base64headers ={'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.原创 2021-04-09 14:05:00 · 65 阅读 · 0 评论 -
Requset_xpath_实例_4K图片
Requset_xpath_实例_4K图片导包所有代码导包from lxml import etreeimport requestsimport os所有代码if __name__ == '__main__': url='https://pic.netbian.com/4kmeinv/' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36原创 2021-04-09 13:59:35 · 55 阅读 · 0 评论 -
Python_xpath_基础
Python_xpath_基础导包属性定位索引定位,索引是从1开始的取文本取属性导包from lxml import etree# 实例化一个retree对象,且将被解析的源码加载到了该对象虫tree = etree.parse('test.html')r = tree.xpath('/html/head/div')r = tree.xpath('/html//div')r = tree.xpath('//div')属性定位r = tree.xpath('//div[@class="原创 2021-04-09 13:52:44 · 84 阅读 · 0 评论 -
Python_request_re-正则_分页爬取
Python_request_re-正则_分页爬取在上一篇文章的基础上加一个分页爬取设置一个通用url模板这个就提一下数据解析的操作图片存储的路径保存起来在上一篇文章的基础上加一个分页爬取设置一个通用url模板url='https://www.qiushibaike.com/imgrank/page/%d/'for pageNum in range(1,3): # 对应页码的url new_url = format(url%pageNum)这个就提一下数据解析的操作# 生成图片原创 2021-04-09 13:49:39 · 99 阅读 · 0 评论 -
Request_get_re-正则_图片
Request_get_re-正则_图片 第一先导包创建一个文件夹,存放所有的图片所有代码第一先导包import re创建一个文件夹,存放所有的图片#开头先判断有无文件夹if not os.path.exists('./qiutuLibs'): os.mkdir('./qiutuLibs')所有代码#定义链接url='https://www.qiushibaike.com/imgrank/page/2/'# 加UA伪装headers = { 'User-Agent':'原创 2021-04-09 13:46:06 · 92 阅读 · 0 评论 -
Python_request_get_爬取图片并保存
Python_request_get_爬取图片并保存下载图片下载图片# 图片地址url='https://pic.qiushibaike.com/system/pictures/12411/124114399/medium/JR1XH1VPM30KO105.jpg'#content返回的是二进制形式的图片数据#text(字符串) content(二进制) json(对象)img_data = requests.get(url=url).content#图片保存用wbwith open('./原创 2021-04-09 13:42:42 · 1604 阅读 · 0 评论 -
Python__request__post__json
Python__request__post__json提交有参数的信息,一定要注意,有时候提交的不止你看到的数据,还有些是表单数据构造参数获取数据获取企业详情数据持久化存储提交有参数的信息,一定要注意,有时候提交的不止你看到的数据,还有些是表单数据构造参数headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.42原创 2021-04-09 13:41:15 · 82 阅读 · 0 评论 -
Python__request__get__json
Python__request__get__json如果网站返回的内容是通过json返回的如果网站返回的内容是通过json返回的#一样的,提交参数data ={ 'kw':word}# 请求发送reseponse = requests.post(url=post_url,data=data,headers=headers)# 获取响应数据:json方法返回的是obj(如果确认响应数据是json类型的,才能使用json())dic_obj=reseponse.json()储存方式:原创 2021-04-09 13:36:53 · 1275 阅读 · 0 评论 -
Python__Request__get_html
Python__Request__get_html前言网站如果是response返回的数据前言网站如果是response返回的数据定义提交数据headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4292.2 Safari/537.36'}url='https://www.xxx.com/'如果遇到get原创 2021-04-09 11:19:01 · 92 阅读 · 0 评论 -
Python Pillow批量转换tif格式到jpg
Python Pillow批量转换tif格式到jpg也可以自定义多种格式转化清晰度依旧哦最近有个任务就是将tif转成jpg的,但是呢,一张一张去photoshop里面转太慢了,所以就想着用python写一个吧直奔主题#!user/bin/env python3# -*- coding:utf-8 -*-# Email 2319899766@QQ.com# Time : 2021/3/29 14:57# 此脚本是为了将tif图片转成jpg,并且像素没什么变化pythonimport o原创 2021-03-29 16:31:38 · 1230 阅读 · 0 评论