Python
文章平均质量分 51
python常用方法及常见问题的工作记录
什么都干的派森
满招损 谦受益
展开
-
centos7安装python3.10
【代码】centos7安装python3.10。原创 2024-07-02 18:32:41 · 884 阅读 · 0 评论 -
Python封装cryptography对称加密方法
【代码】Python封装cryptography对称加密方法。原创 2024-06-19 17:15:15 · 153 阅读 · 0 评论 -
期刊issn清洗方法
该代码用于统一期刊不规范的issn格式,并筛选出错误的issn。原创 2024-05-28 15:44:06 · 149 阅读 · 0 评论 -
python获取安装路径盘符
盘符存在盘符有权限尽量不放C盘具体实现方法如下 ↓。原创 2024-05-25 17:31:01 · 173 阅读 · 0 评论 -
git分支开发主干合并流程
分支和主干合并后可以继续保留,如果确信合并结果正确无误的话也可以直接删掉分支。原创 2024-05-21 16:21:22 · 695 阅读 · 0 评论 -
PySide QWebChannel实现Python与JS双向通信的前后端分离桌面应用
以往开发桌面应用通常都是页面接口一起写,这样开发周期比较长,且页面样式不灵活,如果能把页面交给前端写的话,就可前后端并行开发桌面应用了,并且css语言灵活好用样式丰富。下面介绍一种 Python + vue 的桌面应用开发模式(之前我有讲过另一种也是 python + vue 的桌面应用开发,但那种不能双向通信,详情可参考这篇文章。原创 2024-04-16 19:14:40 · 804 阅读 · 0 评论 -
Python防止打包后的exe重复执行
pyinstaller打包的exe如果被连续点击的话,会启动多个程序,对于复杂的程序来说,同时运行可能会造成严重的后果,因此需要一个程序锁,保证单次仅启动一个exe。原创 2024-04-11 16:38:50 · 2692 阅读 · 0 评论 -
Python操作Sqlite的简单封装
二、配置文件utils.config.py三、实现类utils.PostGreOp.py原创 2024-03-25 17:23:00 · 931 阅读 · 0 评论 -
Python操作PostGre的简单封装
【代码】Python操作PostGre的简单封装。原创 2024-03-25 16:51:10 · 295 阅读 · 0 评论 -
pandas无法读取/保存xls格式的excel的解决办法
安装 1.5.0 版本的 pandas。安装 xlrd>=2.0.1 的版本。xls xls xls原创 2024-03-19 17:21:34 · 1293 阅读 · 0 评论 -
Python获取本机内外网ip地址
【代码】Python获取本机内外网ip地址。原创 2024-02-29 10:10:17 · 83 阅读 · 0 评论 -
Fastapi打包exe后无限启动导致死机的解决办法
直接运行 python 脚本不会报错,也不会导致无限启动的问题,不过一旦打包成 exe 就会无限启动子进程。将 fastapi 服务打包成 exe 后双击执行,命令行中不断创建服务导致cpu吃满,最后死机。这样再打包 exe 执行,就不会无限启动子进程撑爆 cpu 啦。fastapi 启动时指定了多个 workers 进程。该方法作用是阻止子进程运行其后面的代码。main 方法下加入这两行代码。原创 2024-01-18 20:34:31 · 938 阅读 · 2 评论 -
Fastapi+Jsonp实现前后端跨域请求
随便找个网页打开控制台,将前端 js 部分复制上去回车,可以看到如下返回结果。原创 2024-01-18 19:52:40 · 321 阅读 · 0 评论 -
python pip安装第三方包时报错 error: Microsoft Visual C++ 14.0 or greater is required.
当前安装包依赖 Visual C++,这个东西没法用pip安装需要自己手动安装。这样选择安装即可,记得把安装位置换到系统盘以外的地方(毕竟这玩意有5个G)报错的这段话最后给出了官方下载地址,直接点进去就行,或者点我这个地址。pip install 的时候报错一大堆,其中有这么一段话 👇。原创 2023-11-25 22:14:45 · 2246 阅读 · 11 评论 -
python pdf转txt文本、pdf转json
此方法只能转文本格式的pdf,如果是图片格式的pdf需要用到ocr包,以后如果有这方面需求再加这个方法。原创 2023-11-24 15:35:43 · 1619 阅读 · 3 评论 -
centos7安装cuda和nvidia-driver
安装步骤如下检查系统有没有cuda支持的GPU检查系统是否支持检查ggc是否安装。原创 2023-11-15 21:35:42 · 401 阅读 · 0 评论 -
构建Docker基础镜像(ubuntu20.04+python3.9.10+pytorch-gpu-cuda11.8)
ps:创建镜像名为 baseIMG_ub2004py3910pytorchgpucuda118 标签为 latest 的镜像,从当前路径下的 DockerFile 文件打包。下拉选择 Gzipped 包。原创 2023-11-13 15:51:43 · 1960 阅读 · 3 评论 -
centos7 yum安装python3.9时报错【没有可用软件包 python3.9。 错误:无须任何处理】
在 centos 中用 yum 命令安装 python3.9。原创 2023-11-13 15:00:08 · 1507 阅读 · 0 评论 -
Python Fastapi+Vue+JWT实现注册、登录、状态续签【登录保持】
登录路由方法 server_router/admin.py。根路由方法 server_main.py。原创 2023-11-11 14:15:44 · 1229 阅读 · 2 评论 -
Kmeans特征降维方法
用到的数据集:各国发展水平统计信息↓字段解释:country : 国名child_mort : 每1000个婴儿的5年死亡率exports : 人均商品和服务出口,以人均国内生产总值的百分比给出health : 人均卫生支出总额,以人均国内生产总值的百分比给出imports : 人均商品和服务进口,以人均国内生产总值的百分比给出Income : 人均净收入Inflation : 国内生产总值年增长率的测算(通货膨胀率)原创 2023-11-06 15:11:17 · 272 阅读 · 17 评论 -
Kmeans算法的K值选择技巧【Elbow Method + Silhouette Score Method】
具体来说,Silhouette Score 是一种衡量聚类结果质量的指标,它结合了聚类内部的紧密度和不同簇之间的分离度。这是一种绘制k值范围的平方和的方法。如果此图看起来像一只手臂,则k是选择的类似肘部的值。这是一种根据数据点与彼此相似的其他数据点的聚类程度来评估聚类质量的方法。使用距离公式计算该分数,并且选择具有最高分数的k值用于建模。该值的范围在 -1 到 1 之间,越接近 1 表示数据点聚类得越好,越接近 -1 则表示聚类结果较差。1.紧密度:数据点到同簇其他点的平均距离。上图的最佳值为2,3,4。原创 2023-10-28 17:21:52 · 2352 阅读 · 12 评论 -
Kmeans算法实现目标客户聚类分析【2维特征】
Kmeans是聚类算法中较为简单的一种,简单但实用,有如下优势和缺点:优势算法简单,便于使用(算法仅需要考虑一个分类数量K即可)适合常规数据集(最好是线性可分的数据集)适合不适合缺点K值难以确定(因为是无监督训练,没有标签,所以难以确定最终要聚成几个类,不过还是有一个方法可以尽可能的确定大致的聚类数量,就是通过k值增加时,所有数据点跟其质心的距离平方总和的变化趋势来确定——后续代码中有详细讲解。同时聚类的最终结果还需要人为给出合理的解释,如果解释不通,那这个聚类结果多半没有什么意义)原创 2023-10-25 00:24:23 · 346 阅读 · 13 评论 -
KNN实现鸢尾花分类
常规训练的话需要自己去试那个K的值,一般试个 3、5、7、9 就行网格搜索训练可以让机器自己去试这个K的值,训练结束后使用最好的模型预测即可N折交叉验证训练会让训练量提升N倍,但是会最大化的利用已有数据进行训练和验证,一般来说折数多一些训练结果会变好,但也不宜过多,该方法常用在数据量较少或者获取训练数据成本较高的情况。原创 2023-10-16 09:03:40 · 241 阅读 · 5 评论 -
归一化与标准化的区别与实现方法
而不是归一化去解决问题(ps:要把训练集和测试集分开后再分别标准化,否则会将测试集的信息引入到训练集中从而影响训练结果)在需要进行特征缩放的数据集上。原创 2023-10-11 18:19:15 · 308 阅读 · 8 评论 -
Pyhton压缩JS代码
【代码】Pyhton压缩JS代码。原创 2023-09-18 11:36:05 · 636 阅读 · 14 评论 -
python内网环境安装第三方包【内网搭建开发环境】
内网安装第三方包的应用场景,一般是一些需要在没网的环境下进行开发的情况。这些环境一般仅支持本地局域网访问,所以只能在不下载任何第三方包的情况下艰难开发。将当前应用依赖的第三方包提前下载到本地,拷贝到单机环境下安装,但是不能一个个下载安装,那样效率很低,具体参考以下代码,如有更好的办法希望大佬指点。原创 2023-09-02 18:11:59 · 2787 阅读 · 32 评论 -
随机森林的相关理论知识
随机森林是由多个决策树组成的bagging算法,bagging是集成学习的一种,集成学习是有监督学习的一种。原创 2023-07-31 17:30:25 · 831 阅读 · 20 评论 -
Python获取文件路径的父级目录、文件名、扩展名
【代码】Python获取文件路径的父级目录、文件名、扩展名。原创 2023-06-27 10:42:11 · 1346 阅读 · 18 评论 -
pytorch房价预测(线性回归)
任务目标:根据统计在csv中的房屋属性相关数据,预测房屋最终成交价格数据集:《住宅属性数据集》,自取3.数据集字段解释:这个文件中有字段详细说明。原创 2023-05-24 19:01:31 · 648 阅读 · 37 评论 -
pytorch泰坦尼克号幸存者预测(二分类)
任务目标:根据《泰坦尼克号登船人员名单》上的个人信息预测其是否生还数据集:《泰坦尼克号登船人员名单》,自取数据集解释:第一列age ,表示的是年龄(数值数据)第二列cabin,表示客舱号(分类数据 :字符串类型)第三列embarked表示登船港口,S是Southampton南安普顿,C是Cherbourg法国瑟堡,Q是Queenstown爱尔兰昆士敦(分类数据:直接类别)第四列fare,表示船票价格(数值数据)第五列name,表示的是名字(分类数据:字符串类型)原创 2023-04-28 17:34:49 · 1589 阅读 · 28 评论 -
pytorch手写数字识别(CNN)
数据集是 MNIST手写数字 数据集,自取网络结构为两层卷积两层线性层# 定义数据读取类 ------------------------------------------ class MNISTDataset(Dataset) : def __init__(self , data_type) : self . data_type = data_type if self . data_type not in [ 'train' , 'test' ] : raise Exception('数据集类型有误。原创 2023-04-20 16:57:34 · 1318 阅读 · 25 评论 -
python校验图片是否损坏【完全损坏或部分像素缺失】
图片数据训练时如果遇到图片损坏的情况可能会导致训练终止,可以加入这个方法进行处理检查图片是否损坏:损坏返回True, 没坏返回False:param img_path: 图片路径:return:''' break_flag = False # 判断图片是否完全损坏 if not imghdr . what(img_path) : # raise Exception(123) print(f'图片完全损坏: {原创 2023-03-30 10:09:09 · 1585 阅读 · 16 评论 -
python下载图片保存时,自动以指定比例保存到训练、验证、测试目录中
datasets 包的 load_dataset 方法可以直接从目录下加载数据集并分成训练、验证load_dataset 很好用,但是对加载的目录有层级要求,如下上面这个结构就可以直接使用 load_dataset 加载并训练,非常方便速度也快,但是唯一的难处就是这个结构有些复杂,要把图片存成对应目录其实很费劲,于是针对这个问题,原创 2023-03-29 16:12:27 · 476 阅读 · 1 评论 -
Python等比例缩放图片并填充为正方形
实现三个功能:1. 图片按指定大小等比缩放2. 图片转为RGB三通道3. 图片短边用黑色补齐原创 2023-03-28 12:02:32 · 859 阅读 · 2 评论 -
pytorch手动实现线性回归
简单的使用pytorch拟合一条直线。原创 2023-03-21 17:20:43 · 435 阅读 · 13 评论 -
深度学习知识点简单概述【更新中】
人工神经网络(英语:Artificial Neural Network,ANN),简称神经网络(Neural Network,NN)或类神经网络,是一种模仿生物神经网络(动物的中枢神经系统,特别是大脑)的结构和功能的数学模型,用于对函数进行估计或近似。ps:和其他机器学习方法一样,神经网络已经被用于解决各种各样的问题,例如机器视觉、自然语言处理 和 多模态。这些问题都是很难被传统基于规则的编程所解决的,也是神经网络大展宏图的地方在生物神经网络。原创 2023-03-11 21:17:43 · 711 阅读 · 15 评论 -
Pytorch安装时死机(内存溢出)的解决办法
查阅资料后发现应该是pip在首次下载pytorch时进行了缓存,但是由于用户权限原因,再次下载安装时无法执行,也许某个方法是递归执行的,最终导致了内存溢出(如有不对希望指正)在pip install命令中添加 --no-cache-dir,这样就不会使用本地缓存过的pytorch,重新下载文件并安装。ps:如果项目没有使用虚拟环境命(virtualenv、venv),令结尾还要加上 --user,如下。运行这条命令后1分钟就死机,打开任务管理器发现内存溢出了。ps:最新安装命令可以参考官网。原创 2023-03-08 10:56:58 · 3534 阅读 · 9 评论 -
构建Docker基础镜像(ubuntu20.04+python3.7.1+chrome101+chromedriver101)
ps:创建镜像名为 ub2004py371chm101chmdr101 标签为 latest 的镜像,从当前路径下的 DockerFile 文件打包。要先下载一个支持 linux 的 浏览器 和 浏览器驱动,我这里下载 chrome+chromedriver。原创 2023-02-25 10:53:48 · 1153 阅读 · 19 评论 -
python定时任务实现
【代码】python定时任务实现。原创 2023-02-14 11:32:59 · 502 阅读 · 8 评论 -
python+vue的windows桌面应用实现方式
会使用 electron 将 vue 项目打包成 exe【参考文章】会使用 python 的 fastpai 编写服务【参考文章】原创 2023-01-10 16:11:17 · 5068 阅读 · 10 评论