自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

什么都干的派森

常见工作问题记录

  • 博客(233)
  • 资源 (8)
  • 收藏
  • 关注

原创 Vue常用方法汇总【更新中】

https://blog.csdn.net/weixin_43721000/article/details/125017785https://blog.csdn.net/weixin_43721000/article/details/125527254https://blog.csdn.net/weixin_43721000/article/details/123684151https://blog.csdn.net/weixin_43721000/article/details/128629382http

2023-04-11 14:27:39 2030 55

原创 机器学习相关知识点整理【更新中】

如果要在CSDN博客中输入数学公式又不知道那些奇奇怪怪的符号应该怎么写,那么可以参考KaTeX库的文档ps:KaTeX库是一个快速的,为网站呈现 Tex 科学公式 的简单易用的 javascript 库下面整理了一些机器学习相关的常用公式写法,以供参考。

2022-09-17 15:07:53 1489 83

原创 FastAPI使用教程【更新中】

二、模板创建 main.py 文件,内容如下三、启动命令ps:127.0.0.1:8000127.0.0.1:8000/docs【Swagger UI 提供的api文档】127.0.0.1:8000/redoc【ReDoc 提供的api文档】代码调用方法2.指定数据类型的路径参数代码调用方法3.枚举路径参数代码调用方法4.匹配所有路径代码调用方法5.普通传参代码调用方法6.必备参数代码调用....................................

2022-06-27 19:20:29 4361 14

原创 Docker常用命令【更新中】

常用命令一、服务1.启动docker服务2.设置docker服务开机自启动3.关闭docker服务4.禁止docker服务开机自启动二、镜像1.查看镜像列表2.打包镜像3.加载镜像4.创建镜像5.删除所有镜像6.直接从镜像启动容器并进入容器继续执行命令7.打包容器成镜像8.打包镜像成压缩包9.解压镜像压缩包并加载到本地镜像列表三、容器1.查看容器列表及运行状态2.创建并启动容器3.启动已创建的容器4.停止容器5.删除容器6.删除镜像7.打印容器日志8.暂停容器

2022-03-16 11:16:50 5901 16

原创 Pyhton压缩JS代码

【代码】Pyhton压缩JS代码。

2023-09-18 11:36:05 136 8

原创 python内网环境安装第三方包【内网搭建开发环境】

内网安装第三方包的应用场景,一般是一些需要在没网的环境下进行开发的情况。这些环境一般仅支持本地局域网访问,所以只能在不下载任何第三方包的情况下艰难开发。将当前应用依赖的第三方包提前下载到本地,拷贝到单机环境下安装,但是不能一个个下载安装,那样效率很低,具体参考以下代码,如有更好的办法希望大佬指点。

2023-09-02 18:11:59 1611 32

原创 随机森林的相关理论知识

随机森林是由多个决策树组成的bagging算法,bagging是集成学习的一种,集成学习是有监督学习的一种。

2023-07-31 17:30:25 387 20

原创 sklearn房价预测(随机森林)

任务目标:根据统计在csv中的房屋属性相关数据,预测房屋最终成交价格数据集:《住宅属性数据集》,自取数据集字段解释:这个文件中有字段详细说明↓。

2023-07-07 16:42:09 962 44

原创 Python获取文件路径的父级目录、文件名、扩展名

【代码】Python获取文件路径的父级目录、文件名、扩展名。

2023-06-27 10:42:11 272 18

原创 pytorch房价预测(线性回归)

任务目标:根据统计在csv中的房屋属性相关数据,预测房屋最终成交价格数据集:《住宅属性数据集》,自取3.数据集字段解释:这个文件中有字段详细说明。

2023-05-24 19:01:31 330 37

原创 pytorch泰坦尼克号幸存者预测(二分类)

任务目标:根据《泰坦尼克号登船人员名单》上的个人信息预测其是否生还数据集:《泰坦尼克号登船人员名单》,自取数据集解释:第一列age ,表示的是年龄(数值数据)第二列cabin,表示客舱号(分类数据 :字符串类型)第三列embarked表示登船港口,S是Southampton南安普顿,C是Cherbourg法国瑟堡,Q是Queenstown爱尔兰昆士敦(分类数据:直接类别)第四列fare,表示船票价格(数值数据)第五列name,表示的是名字(分类数据:字符串类型)

2023-04-28 17:34:49 1116 28

原创 Mysql group by 查询报错 1055 this is incompatible with sql_mode=only_full_group_by

1055 - Expression #1 of SELECT list is not in GROUP BY clause and contains nonaggregated column ‘dkia_quality_db.b.id’ which is not functionally dependent on columns in GROUP BY clause; this is incompatible with sql_mode=only_full_group_by

2023-04-28 12:41:47 427 4

原创 pytorch手写数字识别(CNN)

数据集是 MNIST手写数字 数据集,自取网络结构为两层卷积两层线性层# 定义数据读取类 ------------------------------------------ class MNISTDataset(Dataset) : def __init__(self , data_type) : self . data_type = data_type if self . data_type not in [ 'train' , 'test' ] : raise Exception('数据集类型有误。

2023-04-20 16:57:34 289 25

原创 python校验图片是否损坏【完全损坏或部分像素缺失】

图片数据训练时如果遇到图片损坏的情况可能会导致训练终止,可以加入这个方法进行处理检查图片是否损坏:损坏返回True, 没坏返回False:param img_path: 图片路径:return:''' break_flag = False # 判断图片是否完全损坏 if not imghdr . what(img_path) : # raise Exception(123) print(f'图片完全损坏: {

2023-03-30 10:09:09 725 16

原创 python下载图片保存时,自动以指定比例保存到训练、验证、测试目录中

datasets 包的 load_dataset 方法可以直接从目录下加载数据集并分成训练、验证load_dataset 很好用,但是对加载的目录有层级要求,如下上面这个结构就可以直接使用 load_dataset 加载并训练,非常方便速度也快,但是唯一的难处就是这个结构有些复杂,要把图片存成对应目录其实很费劲,于是针对这个问题,

2023-03-29 16:12:27 247 1

原创 Python等比例缩放图片并填充为正方形

实现三个功能:1. 图片按指定大小等比缩放2. 图片转为RGB三通道3. 图片短边用黑色补齐

2023-03-28 12:02:32 380 2

原创 pytorch手动实现线性回归

简单的使用pytorch拟合一条直线。

2023-03-21 17:20:43 157 13

原创 深度学习知识点简单概述【更新中】

人工神经网络(英语:Artificial Neural Network,ANN),简称神经网络(Neural Network,NN)或类神经网络,是一种模仿生物神经网络(动物的中枢神经系统,特别是大脑)的结构和功能的数学模型,用于对函数进行估计或近似。ps:和其他机器学习方法一样,神经网络已经被用于解决各种各样的问题,例如机器视觉、自然语言处理 和 多模态。这些问题都是很难被传统基于规则的编程所解决的,也是神经网络大展宏图的地方在生物神经网络。

2023-03-11 21:17:43 536 15

原创 Pytorch安装时死机(内存溢出)的解决办法

查阅资料后发现应该是pip在首次下载pytorch时进行了缓存,但是由于用户权限原因,再次下载安装时无法执行,也许某个方法是递归执行的,最终导致了内存溢出(如有不对希望指正)在pip install命令中添加 --no-cache-dir,这样就不会使用本地缓存过的pytorch,重新下载文件并安装。ps:如果项目没有使用虚拟环境命(virtualenv、venv),令结尾还要加上 --user,如下。运行这条命令后1分钟就死机,打开任务管理器发现内存溢出了。ps:最新安装命令可以参考官网。

2023-03-08 10:56:58 1739 8

原创 构建Docker基础镜像(ubuntu20.04+python3.7.1+chrome101+chromedriver101)

ps:创建镜像名为 ub2004py371chm101chmdr101 标签为 latest 的镜像,从当前路径下的 DockerFile 文件打包。要先下载一个支持 linux 的 浏览器 和 浏览器驱动,我这里下载 chrome+chromedriver。

2023-02-25 10:53:48 826 19

原创 081200计算机科学与技术——301数学,知识点整理【更新中】

函数函数的有界性函数的单调性函数的奇偶性函数的周期性取整函数反函数复合函数

2023-02-14 16:14:21 414 10

原创 python定时任务实现

【代码】python定时任务实现。

2023-02-14 11:32:59 282 8

原创 Vue父组件数据变化子组件不能及时响应的解决办法【watch监听】

针对子组件不跟随父组件的值进行更新的这个问题,根据父组件传入的是值还是对象,可以分成以下两种解决办法。

2023-01-17 16:25:57 2526 23

原创 081200计算机科学与技术——408计算机学科专业基础——操作系统,知识点整理【更新中】

操作系统(Operating System,os)是指控制和管理整个计算机系统的硬件和软件资源,并合理地组织调度计算机的工作和资源的分配,以提供给用户和其他软件方便的接口和环境,它是计算机系统中最基本的系统软件。负责管理协调硬件、软件等计算机资源的工作为上层应用程序、用户提供简单易用的服务操作系统是系统软件,而不是硬件进程就是正在执行的程序,程序执行前需要将该程序放到内存中,才能被cpu处理。

2023-01-13 17:24:25 449 1

原创 python+vue的windows桌面应用实现方式

会使用 electron 将 vue 项目打包成 exe【参考文章】会使用 python 的 fastpai 编写服务【参考文章】

2023-01-10 16:11:17 3026 10

原创 multiprocessing打包exe后启动崩溃内存溢出解决办法

使用 pyinstaller 打包 python 程序时,发现只要程序引入了 multiprocessing 包,那么打包好的exe执行文件启动后就会无限创建子进程导致系统崩溃,内存溢出。创建多进程前执行此方法。

2023-01-10 10:14:04 237 2

原创 使用electron将vue项目打包成exe

node.js 版本要在 17+建议使用 17.9.1 的 node 和 8.11.0 的 npmnode和npm的版本对应关系如下。

2023-01-09 20:18:27 1069 7

原创 pyinstaller打包fastapi后启动报错 Error loading ASGI app. Could not import module “main“.

pyinstaller打包fastapi后,启动报错。再次双击main.exe就可以了。

2023-01-09 10:11:10 1983 10

原创 基于huggingface的文本N分类问题finetune

定义标签与对应结果互相转换的字典【分类数量有变化时此处相应的跟着修改】 id2label = {"NEGATIVE" : 0 , "POSITIVE" : 1 } # 指定微调模型结构,num_labels指定几分类 from transformers import AutoModelForSequenceClassification , TrainingArguments , Trainer。

2022-12-22 15:56:09 273 6

原创 Python罗马数字和阿拉伯数字互转

【代码】Python罗马数字和阿拉伯数字互转。

2022-12-12 10:49:57 322 6

原创 Python安装配置apache-superset

2.启动容器ps:注意端口占用,当前部署在 8080 端口上了,确保宿主机端口未被占用,不行就换其他端口ps:用户名和密码都是 admin,一会用于登录,其他随便填5.下载一个官方提供的样例数据库【可跳过】ps:此步国内无法访问,一般下载不了,能下的就下,不能下的跳过就行了,一会配置自己的数据库7.访问登录页面ps:注意端口是上面自己配置的端口,账号密码是 admin依次点击 Settings → Database Connections点击 DATABASE 就可以配置自己的数据库了

2022-12-06 17:29:41 1161 17

原创 Python多线程模块concurrent.futures使用方法

1. python3.2之后可以使用concurrent.futures这个很方便的多线程模块,官网文档在这[https://docs.python.org/3.7/library/concurrent.futures.html#module-concurrent.futures](https://docs.python.org/3.7/library/concurrent.futures.html#module-concurrent.futures)但文档写的不太通俗,于是总结了一个通用的案例,如下3

2022-12-04 21:05:22 743 10

原创 FastApi+Vue实现WebSockets服务端推送

费老鼻子劲了main.js 导入 websocket 方法app.vue的 2.FastApi部分创建 /utils/WebSocketManager.py创建 /server.py三、测试启动vue项目,访问 http://127.0.0.1:8010/ 【根据vue具体启动路径决定,也可能不是8010端口】F12打开控制台可看到如下内容每五秒钟会打印一次心跳检测结果【前后端通过websocket完成一次信息传递与接收】打开python控制台,

2022-12-03 17:05:45 1376 5

原创 Python3使用jwt的方法

安装jwt依赖pyjwt2+的版本兼容python3+pyjwt1+的版本兼容python2+pyjwt2+和pyjwt1+的使用方法有差异,本人写的是pyjwt2+的使用方法,如果使用pyjwt1+的话本方法应该跑不通。

2022-12-02 11:14:13 636 3

原创 Python在字典中获取带权重的随机值

python在数组中随机取值有现成的方法,但是要给每个随机值被取到的概率加权重的话,可以参考下面这个方法。

2022-11-30 10:03:12 549 10

原创 Fastapi接口路由【模块化、去耦合】

Fastapi 中有个 APIRouter 类,可以将从属不同功能api接口分离到多个文件中,降低系统耦合度。这样多个系统之间如果有重复的模块,就可以拖拖拽拽复制粘贴了。

2022-11-26 14:41:45 1585 14

原创 Vue 配置全局变量

文章目录1.创建config文件2.挂载到全局3.使用变量

2022-11-18 17:20:41 943 15

原创 Python 修改pip缓存目录

安装好python后尽量将修改一下pip的缓存目录,否则pip就会将安装包都缓存在C:\Users\你的用户名\AppData\Local\pip\cache 下,大量占用C盘空间。

2022-11-17 14:07:45 3279 5

原创 Python查询mysql返回序列化数据

pymysql 查询返回的数据是 tuple 格式的,取的时候只能用下标取,有点麻烦,下面提供一种牺牲了一些查询速度但是可以直接返回序列化数据的方法当然 peewee 更好用,只是数据表更新后还需要更新 peewee 的模型MysqlOp 是根据 pymysql 封装的简单查询方法,代码在这里。

2022-11-09 17:12:17 1158 7

原创 Python操作ES的封装

【代码】Python操作ES的简单封装。

2022-11-09 14:39:49 1076 4

住宅属性数据集【房屋价格预测-线性回归】

住宅包括如下属性: SalePrice - the property's sale price in dollars. This is the target variable that you're trying to predict. MSSubClass: The building class MSZoning: The general zoning classification LotFrontage: Linear feet of street connected to property LotArea: Lot size in square feet Street: Type of road access Alley: Type of alley access LotShape: General shape of property LandContour: Flatness of the property Utilities: Type of utilities available LotConfig: Lot configuration .......

2023-05-15

坦尼克号登船人员名单数据集(生还预测 二分类问题)

第一列age ,表示的是年龄 第二列cabin,表示客舱号 第三列embarked表示登船港口,S是Southampton南安普顿,C是Cherbourg法国瑟堡,Q是Queenstown爱尔兰昆士敦 第四列fare,表示船票价格 第五列name,表示的是名字 第六列parch,船上父母数/子女数,不同代的直系亲属数,比如某人和他的女儿及父亲同在这个船上,则他的这个数值就是父母数(1)+子女数(1)=2 第七列passengerId,表示乘船编号 第八列pclass,表示客舱等级,这里有三级,1为一等舱,2为二等舱,3为三等舱 第九列sex,表示性别male为男性,famale为女性 第十列sibsp,表示兄弟姐妹数/配偶数,同一代的直系亲属人数,比如某人和他的弟弟及妻子同在这个船上,则他的这个数值就是兄妹数(1)+配偶数(1)=2 第十一列surverved,表示是否存活,1为生存,2为死亡 第十二列ticket,表示船票编号

2023-04-28

MNIST手写数字 数据集

1. 数据文件 train.csv 和 test.csv 包含手绘数字的灰度图像,从0到9 2.train.csv 有 label, test.csv 没有 3.每幅图像高28像素,宽28像素,总共784像素 4.每个像素都有一个与之关联的像素值,表示该像素的亮度或暗度,数字越大表示越暗 5.该像素值是0到255之间的整数,包括0和255

2023-04-20

squad数据集(qa任务 )

加载方式: from datasets import load_dataset raw_datasets = load_dataset("squad", cache_dir='F:/datasets') # F:/datasets 为数据集下载后的本地目录

2023-03-07

猫狗二分类数据集【训练集+测试集共37500张图】

训练集共25000张,猫狗各12500张,前一半是猫后一半是狗 测试集共12500张,猫狗参半

2022-08-11

500条WAV格式的中文语音数据集,可用于中文语音识别模型的测试集

500条WAV格式的中文语音数据集,可用于中文语音识别模型的测试集,好的一批

2022-07-26

nvidia/stt_zh_citrinet_1024_gamma_0_25 语音识别模型

stt_zh_citrinet_1024_gamma_0_25 语音识别模型,包含中英等16种语言的语音识别,hugface上的模型名叫 nvidia/stt_zh_citrinet_1024_gamma_0_25

2022-07-26

Davlan/bert-base-multilingual-cased-ner-hrl NER命名实体识别模型

huggingface上的Davlan/bert-base-multilingual-cased-ner-hrl命名实体识别模型,包含中英等16种语言的人名、地名、组织识别

2022-07-25

FashionMNIST单通道十分类图片数据集【测试集+训练集】

FashionMNIST这是一个单通道的十分类图片数据集,初学机器学习时的常用数据集,包括了六万张图片的训练集和一万张图片的测试集

2022-07-16

sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 模型

这是一个句子转换器模型,它将句子和段落映射到 384 维密集向量空间,可用于聚类或语义搜索等任务,是 sentence_transformers 库的模型之一,官网下载速度缓慢,容易被墙,下载解压后,可以参考此文章进行模型本地加载 https://blog.csdn.net/weixin_43721000/article/details/125507996

2022-06-30

sentence-transformers/allenai-specter 模型

可用于语义聚合任务中的文本编码器,它将句子和段落映射到 768 维密集向量空间,是 sentence_transformers 库的模型之一,官网下载速度缓慢,容易被墙,下载解压后,可以参考此文章进行模型本地加载 https://blog.csdn.net/weixin_43721000/article/details/125507996

2022-06-28

emnlp2016-2018.json

包含 标题 和 摘要 等信息的数据集,适用于文本分类、相似度计算等任务,资源来自https://sbert.net/datasets/emnlp2016-2018.json,但是被墙了资源不太好找

2022-06-28

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除