自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(90)
  • 收藏
  • 关注

原创 使用Resnet进行图像分类训练

本文仅给出最基础的baseline进行图像分类训练,后续可在此代码基础上对模型结构进行修改。

2023-10-08 11:16:56 414

原创 YOLOv5训练自己的数据集并测试(以及踩坑记录)

YOLOv5是一个非常流行的图像识别框架,这里介绍一下使用YOLOv5给自己的数据集进行训练和测试下面逐步来演示一下

2023-08-31 10:32:02 5861

原创 【已解决】激活虚拟环境报错:此时不应有Anaconda3\envs\[envs]\Library\ssl\cacert.pem。

此时不应有Anaconda3 envs yolov5 Library ssl cacert.pem。但是之前装的虚拟环境也还能再次激活,base环境也无任何问题,仅新装的虚拟环境无法激活。

2023-08-30 10:33:19 3797 12

原创 【已解决】qt.qpa.plugin: Could not load the Qt platform plugin “windows“ in ““ even though it was found.

翻译:Qt .qpa.plugin:无法在“”中加载Qt平台插件“windows”,即使它被找到。这个应用程序启动失败,因为没有Qt平台插件可以初始化。重新安装应用程序可以解决此问题。查看是否还有PyQt5的库,如果没有的话则表明已清除干净。接下来就是重装PyQt5了。安装成功后,输入labelimg,就可以弹出软件了。

2023-08-30 10:09:59 10522 5

原创 【已解决】Windows10 pip安装报错:UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte 0x98

在Pycharm安装YoloV5的依赖包时出现报错:UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0x98。的报错一般是因为读取文件出现编码问题导致没法读取文件

2023-08-28 17:46:40 1028

原创 Crontab定时任务运行Docker容器(Ubuntu 20)

对于一些离线预测任务,或者D+1天的预测任务,可以简单地采用Crontab做定时调用项目代码运行项目

2023-08-24 15:52:35 2251

原创 Linux虚拟机安装(Ubuntu 20)

最近这段时间使用VMWare安装了一下Ubuntu版本的Linux虚拟机,在这里记录一下安装时参考的文章以及需要注意的细节。

2023-08-24 10:35:22 2335

原创 使用Docker进行模型部署

多个项目部署到一个服务器上的部署方式:使用Docker将项目封装在独立的容器中。

2023-08-24 09:26:24 1141

原创 【解决】Python数据保存为csv再读取后部分数据的格式被更改

我们可以在每次读取数据之后加多一步,将所有非数字列转换为全字符串类型。这是一开始读取出来的数据,全部都是字符串。调用一下这个函数即可解决这个问题。

2023-06-16 20:55:07 1247 1

原创 CNN实现手写数字识别(Pytorch)

CNN(卷积神经网络)主要包括卷积层、池化层和全连接层。输入数据经过多个卷积层和池化层提取图片信息后,最后经过若干个全连接层获得最终的输出。以下基于Pytorch框架搭建一个CNN神经网络实现手写数字识别。

2023-05-04 15:57:09 8855 17

原创 Anaconda安装nbextensions

nbextensions 是 Jupyter 非常好的插件,它是将一系列 js 脚本嵌入到 Jupyter 中,增强 Jupyter 的交互式体验,可以让你的 Jupyter 变得非常强大。

2023-04-28 12:50:14 2596 1

原创 Python连接SQL Server

使用Python连接SQL Server进行取数操作。输出:DataFrame。

2023-03-24 03:39:25 637

原创 Pandas计算历史均值

在用Python进行时间序列分析时,我们可能经常需要计算历史的一些特征。一般会使用rolling()函数,这里介绍一下计算包括当前行的历史特征和不包括当前行的历史特征。

2022-12-26 23:54:30 902

原创 SQL开窗函数之percent_rank、first_value、nth的用法

本文主要讲解了SQL开窗函数中percent_rank(), cume_dist(), first_value(), last_value(), nth_value(), ntile() 一共六个函数的用法

2022-12-11 19:34:13 3465

原创 SQL开窗函数之前后函数(LEAD、LAG)

本文主要关于SQL开窗函数之LEAD和LAG的用法

2022-12-11 17:28:22 12611 1

原创 SQL开窗函数之排序函数

当我们需要进行一些比较复杂的子查询时,聚合函数就会非常的麻烦,因此可以使用开窗函数进行分组再运用函数查询。

2022-12-11 16:43:51 2682

原创 SQL开窗函数之基本用法和聚合函数

当我们需要进行一些比较复杂的子查询时,聚合函数就会非常的麻烦,因此可以使用开窗函数进行分组再运用函数查询

2022-12-10 23:04:47 1967

原创 DataFrame删除全是某个数值的行或列

DataFrame删除全为某个数值的行或列

2022-12-10 00:19:25 1026

原创 【报错】cannot import name ‘DistanceMetric‘ from ‘sklearn.metrics‘

翻了一下网上的资料,其中一种解决方法是sklearn库版本太低,可以更新库或重装库。

2022-11-22 15:01:43 3245 2

原创 DataFrame缺失值判断和填充

缺失值的判断和填充

2022-11-20 05:35:53 2532

原创 使用groupby统计不同组的缺失值

我们希望统计出a列中不同组(A、B)的各自的缺失值数量。

2022-11-19 07:51:17 620

原创 MySQL的CASE WHEN用法

MySQL的CASE WHEN THEN END用法。

2022-08-19 21:17:17 942

原创 MySQL奇偶数判断

MySQL有几种判断奇偶数的方式,下面来介绍一下。

2022-08-18 22:04:19 4471

原创 MySQL字符串合并

MySQL有几种合并字符串的方式,下面来介绍一下

2022-08-17 19:06:51 4505

原创 MySQL字符串提取

MySQL字符串切分有两种方式,一个是substring函数,一个是substring_index函数,下面来介绍一下两种切分的用法。

2022-08-16 21:35:11 2812

原创 DataFrame在指定位置插入行和列

DataFrame在指定位置插入行和列

2022-08-04 19:02:26 3601

原创 TensorFlow安装步骤

anaconda安装tensorflow

2022-08-02 14:09:34 18679 9

原创 Typora报错:This beta version of Typora is expired

Typora是一个非常好用的markdown编辑器,但最近开始老版本也需要收费了。网上找了好多解决方法,大佬们都在修改电脑时间,这边找到了一个最简单无脑的解决方法。

2022-07-28 19:18:33 2112 8

原创 Python读取 xlsb 文件格式

xlsb格式是Binary格式存储的excel文件,比普通的xlsx文件的体积要小很多,在数据量极大的场景比较多用。目前有两种方式读取.xlsb格式的文件。

2022-07-27 21:16:23 1759

原创 dataframe统计某列包含某个字符串的个数

有时候需要统计dataFrame里包含某一列某个元素的数量Example此时我们想筛选标签包含商业、关注和引流的名称数量

2022-07-07 12:15:46 2111

原创 获取两个dataframe的交并差集

Python DataFrame获取交并差集

2022-06-23 15:09:28 651

原创 TGI关联指数 + Python

关联指数定义、TGI定义计算和优缺点、TGI Python代码

2022-06-07 19:13:10 532

原创 pandas+sklearn数据预处理之缺失值处理

1. 查找缺失值df.isnull() # 查看空缺值,可以识别 null / None / Nandf.isnull().any(axis=0) # 查看每行是否有空缺值df.isnull().any(axis=1) # 查看每列是否有空缺值df.isnull().sum() # 统计每行空缺值的个数df.isnull().sum(axis=1) # 统计每列有空缺值的个数df.isnull().sum().sum() # 统计整个df的缺失值df['列名'].isnull().sum(a

2022-05-09 01:54:51 1417

转载 Python-pandas.DataFrame-找出有空值的行

0.摘要pandas中DataFrame类型中,找出所有有空值的行,可以使用.isnull()方法和.any()方法。1.找出含有空值的行方法:DataFrame[DataFrame.isnull().T.any()]其中,isnull()能够判断数据中元素是否为空值;T为转置;any()判断该行是否有空值。import pandas as pdimport numpy as npn = np.arange(20, dtype=float).reshape(5,4)n[2,3] = np.n

2022-04-28 17:51:45 6335

转载 [Pyhton·Pandas]关于pandas使用groupby后apply报错TypeError: unhashable type: ‘list‘这件事

我有一个DataFrame,如下df = pd.DataFrame(data=[[[1,2],[3,4],5,6],[[1,2],[0,0],0,0]],columns=['a','b','c','d'])df输出: a b c d 0 [1,2] [3,4] 5 6 1 [1,2] [0,0] 0 0然后我groupby再applydf.groupby('a').apply(lambda g:g)报错!......pandas\_libs\hashtable_c

2022-04-16 16:21:52 812

原创 DataFrame groupby含重复数据的计算

需求:想计算每个brand有几种type如果直接用groupby().count(), 则会把type里的重复值也一起算了进去。data.groupby(['brand'])[['type']].count().reset_index()因此我们在计算之前要先去一次重# 两种写法都可以data.groupby(['brand']).nunique().reset_index()# data.groupby(['brand']).agg({'type':pd.Series.nunique})

2022-04-16 15:49:03 988

原创 df分割中英文字符串

需求:有时候我们想把一串带有中英文的字符分成中文和英文部分具体思路:使用中英文正则识别,用re.findall找出来中文识别编码:[\u4e00-\u9fa5]英文识别编码:[a-zA-Z]代码实现import reimport pandas as pd# 中英文编码en = re.compile(r'[a-zA-Z]')cn = re.compile(r'[\u4e00-\u9fa5]')# 提取中英文for i in data.index: data.loc[i,'c

2022-04-16 02:33:34 338

原创 df两列值替换

需求:有时候我们想用右边品牌那列的行业词替换掉,但有可能行业那列的变量较多无法直接使用行业词替代这里介绍两种方法第一种,使用list去循环替换# 先把行业词转换成list, 再用列表推导式循环替代# 这个在面对大量数据的时候效率较慢hy_ls = list(map(str, data['brand'].to_list()))data['brand']=data['brand'].replace([hy for hy in hy_ls], '', regex=True)第二种, 使用lamb

2022-04-16 02:20:29 639

原创 df显示多行结果

df数据框一般最多只能显示60行数据,再多的话中间会出现省略但有时我们想看到更多的结果来对我们的数据进行判断,因此我们可以用下面这一句代码来实现展示较多行的数据结果# 200为可以显示的行数,可以自行更换import pandas as pdpd.set_option('display.max_rows',200)...

2022-04-16 01:49:22 1003

原创 Python数据预处理之数据规范化

数据规范化数据标准化(归一化)处理是数据挖掘的一项基础工作,不同评价指标往往具有不同的量纲和量纲单位,这样的情况会影响到数据分析的结果,为了消除指标之间的量纲影响,需要进行数据标准化处理,以解决数据指标之间的可比性。 原始数据经过数据标准化处理后,各指标处于同一数量级,适合进行综合对比评价。数据规范化的意义:提高模型精度:规范化可以让不同维度之间的特征在数值上有一定比较性,可以大大提高分类器的准确性。提升收敛速度:数据规范化后,最优解的寻优过程明显会变得平缓,更容易正确的收敛到最优解。哪些

2022-04-11 03:08:13 3603 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除