python实践
文章平均质量分 75
python接触以来的点点滴滴实践记录,包括:常用算法、机器学习等学习记录
Together_CZ
欲戴其冠,必承其重
展开
-
python模块PIL Image对象与Base64 String模块的互相转换
python模块PIL Image对象与Base64 String模块的互相转换原创 2023-02-13 14:20:37 · 948 阅读 · 0 评论 -
基于PyTorch的图像数据归一化min-max normalization和zero-mean normalization操作实践对比分析
基于PyTorch的图像数据归一化min-max normalization和zero-mean normalization操作实践对比分析原创 2022-12-26 16:37:29 · 1331 阅读 · 0 评论 -
python基于不同方法实现特征工程常用的归一化技术Normalization对比分析
python基于不同方法实现特征工程常用的归一化技术Normalization对比分析原创 2022-12-26 16:00:53 · 486 阅读 · 0 评论 -
酷炫多彩的个性化词云可视化
酷炫多彩的个性化词云可视化原创 2022-10-30 11:32:53 · 581 阅读 · 0 评论 -
基于滑动窗口的时间序列数据相关性分析计算
还是能够看到跟整体序列计算结果上面的差异的。原创 2022-10-25 16:03:12 · 3591 阅读 · 3 评论 -
OSError: [WinError 1455] 页面文件太小,无法完成操作 报错解决
6、跳转到了虚拟内存窗口,选中自己要设置的盘符,我这里选中的是D盘,点击【自定义大小】,设置【初始大小】和【最大值】,之后一定要点击右下角的【设置】选项,我前面好几次都操作完了但是程序还是依旧运行失败了,最终发现是这里没有点击【设置】,这些设置也都没有生效,自然也就没有设置成功。今天在windows本地以CPU模式来运行CV深度学习项目的时候报出来了这个错误,在之前的一些项目运行的过程中是没有报这个错误的,所以我最开始怀疑的是代码有问题,但是整体检查了一遍后发现并没有异常,就开始查这个问题。...原创 2022-08-26 16:42:42 · 24223 阅读 · 19 评论 -
Python实用功能之pdf文件转png图片数据
我有一张图片,我手工操作将其转为了pdf文件,同时还有一个pdf文件,想要把这两个pdf文件进行合并,最开始我觉得我的查询思路错了,我一开始是想着怎么样一步到位将两个pdf文件合并,但是却没有想到,我本身第一个pdf文件就是一个图片,如果我可以将第二个pdf文件转化为图片,这时候两张图片转化为pdf文件岂不是很简单了吗?这是一款多功能的PDF处理工具,它不仅支持Word、Excel、PPT、图片等多种文件格式与PDF格式之间的转换,还支持PDF合并、PDF分割、PDF加解密、PDF压缩、PDF编辑等功能。.原创 2022-08-14 20:25:57 · 1326 阅读 · 0 评论 -
Python基于HOG+RF模型实现Rotor转子检测
HOG+SVM这种目标检测的方法是比较早期的基于机器学习模型构建的目标检测方法,事实证明:他很有效,最早期的时候解决了很多的问题,随着深度学习的发展,算力、数据和算法的快速迭代更新,越来越多的目标检测需求都开始基于深度学习来构建算法模型了,在我的目标检测专栏里面介绍了很多不用场景的检测应用,本文主要是实践HOG+RF的组合方法来实现目标检测,其实,在这种组合模式中,HOG扮演的就是特征提取算子,RF也好,SVM也好扮演的就是级联分类器。在之前的文章中,我已经做过相关的工作了,只不过做的是行人检测,感兴趣的话原创 2022-07-02 16:31:44 · 364 阅读 · 0 评论 -
Python实现将人脸表情数据集fer2013转化为图像形式存储本地
fer2013数据集由35886张人脸不同表情图片组成,其中训练集28708张,验证集和测试集各3589张。每张图片的大小是48*48像素大小,表情分为7种:网上下载的数据集是一个csv文件,这里对其进行转化解析处理,将原始的数值型数据转化为图像数据存储本地,方便直观查看。我从网上下载下载了fer2013.csv数据集,截图如下所示:单个样本数据实例如下所示:可以看到:每行共有三个字段,以逗号隔开,分别是:表情类别、图像像素串、数据类型。这里直接给出来代码实现: 这里我提供了两种不同的原创 2022-06-21 19:44:10 · 1211 阅读 · 0 评论 -
好用全面的电商评论文本情感分析实战教程
这个是一个帮弟弟调试的项目,调试过程中觉得这个还是比较全面的,文本数据的基础处理、分词、词云可视化、LDA主题挖掘、分类模型构建等等都包括,对于学习或者入门来说还是不错的。项目全貌:项目中使用到的文本评论数据截图如下所示:首先加载数据:删除数据记录中所有列值相同的记录 通过人工观察数据发现,评论中夹杂着许多数字与字母,对于本案例的挖掘目标而言,这类数据本身并没有实质性帮助。另外,由于该评论文本数据主要是围绕京东商城中美的电热水器进行评价的,其中“京东”“京东商城”“美的”“热水器”“电热水器”等词出现的频数原创 2022-06-21 13:27:47 · 2505 阅读 · 9 评论 -
AI项目开发实践记录【满满的回忆杀】
闲暇的时间里面基于一些特定场景中的数据集做了一下有意思的应用,零零散散、断断续续的也都没有一个整体的汇总,到底做了哪些内容,这会正好在清理磁盘,很多东西都删除了,整理的时候顺便回忆了一下一共做的应用。 后续有时间会持续更新记录!...原创 2022-06-17 19:47:52 · 889 阅读 · 5 评论 -
Python基于Matplotlib实现双Y轴绘图——图书销售数据可视化分析
今天遇上一个小的需求就是需要绘制双轴的图,这个之前使用excel的话是可以很快绘制出来的,但是基于代码实现的话好像还么怎么用过,所以这里研究了下,绘制好后,分享记录一下,首先看下数据: 主要是不同种类的编程开发相关的书籍的销售数据,首先加载数据: 之后对读取的数据进行解析处理: 最后是结果数据的可视化: 我们看下效果图: 看上去有点花里胡哨,当然了也可以去掉不需要的背景色: 这样看上去就好多了,可以看到:这原创 2022-06-16 14:12:25 · 513 阅读 · 0 评论 -
Python实现将emnist数据集转化为图像进行存储
虽然很多时候一些模块内置的数据集使用起来非常的方便,搭建模型,做实例项目非常快,但是这种形式的数据建模本质上并不通用,我们使用模型大多是要解决现实生活中的很多实际问题,在不同的应用场景和业务问题中都会遇上各式各样的数据集,没有办法像那些使用起来很方便的内置数据集一样直接导入使用,这时候我们就要把问题的处理过程抽象成一个标准的数据流程,抽象出来标准流程的好处就是,之后任何问题我们都可以将其朝着标准流程的形式进行转化,从而讲一个复杂的问题标准化,就像很多时候搭建模型一样,明确需要定义的部分就是输入...原创 2022-05-09 19:30:54 · 1806 阅读 · 1 评论 -
Python实现将Keras内置的mnist数据集转化为图像进行存储
虽然很多时候一些模块内置的数据集使用起来非常的方便,搭建模型,做实例项目非常快,但是这种形式的数据建模本质上并不通用,我们使用模型大多是要解决现实生活中的很多实际问题,在不同的应用场景和业务问题中都会遇上各式各样的数据集,没有办法像那些使用起来很方便的内置数据集一样直接导入使用,这时候我们就要把问题的处理过程抽象成一个标准的数据流程,抽象出来标准流程的好处就是,之后任何问题我们都可以将其朝着标准流程的形式进行转化,从而讲一个复杂的问题标准化,就像很多时候搭建模型一样,明确需要定义的部分就是输入层的shape原创 2022-05-07 08:53:13 · 834 阅读 · 1 评论 -
Python实现将tensorflow内置的二进制格式的mnist数据集转化为图像进行存储
虽然很多时候一些模块内置的数据集使用起来非常的方便,搭建模型,做实例项目非常快,但是这种形式的数据建模本质上并不通用,我们使用模型大多是要解决现实生活中的很多实际问题,在不同的应用场景和业务问题中都会遇上各式各样的数据集,没有办法像那些使用起来很方便的内置数据集一样直接导入使用,这时候我们就要把问题的处理过程抽象成一个标准的数据流程,抽象出来标准流程的好处就是,之后任何问题我们都可以将其朝着标准流程的形式进行转化,从而讲一个复杂的问题标准化,就像很多时候搭建模型一样,明确需要定义的部分就是输入层...原创 2022-05-07 08:40:06 · 1379 阅读 · 4 评论 -
Python实现将scikit-learn内置的mnist数据集转化为图像进行存储
虽然很多时候一些模块内置的数据集使用起来非常的方便,搭建模型,做实例项目非常快,但是这种形式的数据建模本质上并不通用,我们使用模型大多是要解决现实生活中的很多实际问题,在不同的应用场景和业务问题中都会遇上各式各样的数据集,没有办法像那些使用起来很方便的内置数据集一样直接导入使用,这时候我们就要把问题的处理过程抽象成一个标准的数据流程,抽象出来标准流程的好处就是,之后任何问题我们都可以将其朝着标准流程的形式进行转化,从而讲一个复杂的问题标准化,就像很多时候搭建模型一样,明确需要定义的部分就是输入层的shape原创 2022-05-06 19:38:50 · 1592 阅读 · 0 评论 -
Python基于face-alignment实现2D/3D人脸关键点检测
今天在调试一个项目的时候报错缺少face-alignment模块,查询一下发现这个模块号称是世界上精度最高的检测器,瞬间来了兴致,从Git上下载下来学习一下。 仓库地址在这里。 安装方式也很简单pip即可:pip install face-alignment 可以看到:这里官方已经给出来了不错的代码实例,方便直接去使用,对于我来讲官方给的代码实例不太能满足我的需求,因为检测到的68个关键点没有存储下来,另外检测到的关...原创 2022-05-05 16:52:06 · 3573 阅读 · 16 评论 -
基于OpenPose的人体关键点检测与骨架识别
之前做的一部分的工作正好现在放假有机会重新捡起来了,关键点检测相关的任务已经有很多的工作成果了,我在这块还是一个新手,所以最开始的接触学习选择了基于OpenPose来入门,就像图像处理最开始选择学习了解OpenCV是一个道理。使用的数据集截图如下所示: 随便看张图片内容: 图像本身的画质还是很高,对于精细化的计算比较友好。 今天使用的模型来自于COCO数据集训练出来的模型,如下所示: 导入配置如下:...原创 2022-05-01 19:40:46 · 5140 阅读 · 8 评论 -
sklearn 自定义函数转化器FunctionTransformer使用
今天一个项目模型编译转化的过程中使用到了sklearn的函数转化器,之前虽也有接触过,但是使用频率可以说是非常低了,今天既然接触到了,就正好再详细看下。 FunctionTransformer官方文档地址在这里。 对应的介绍我都在代码中,就不啰嗦了,直接贴出来,如下所示:#!usr/bin/env python#encoding:utf-8from __future__ import division '''__Author__: 沂水寒城sklea...原创 2022-04-26 15:49:07 · 2066 阅读 · 0 评论 -
PIL图像处理时使用np.unit8转化报错: Cannot handle this data type: (1, 1), |O
今天遇上了一个错误,让我折腾了许久: 详情如下:Traceback (most recent call last): File "F:\python36\lib\site-packages\PIL\Image.py", line 2772, in fromarray mode, rawmode = _fromarray_typemap[typekey]KeyError: ((1, 1), '|O')The above exception was th...原创 2022-04-24 19:06:31 · 2864 阅读 · 0 评论 -
keras activation 报错 ‘_OverloadedFunction‘ object has no attribute ‘__name__‘
今天在训练模型的时候报错如下:详细信息如下所示:Traceback (most recent call last): File "/usr/local/lib64/python3.6/site-packages/keras/legacy/interfaces.py", line 91, in wrapper return func(*args, **kwargs) File "/usr/local/lib64/python3.6/site-packages/keras/engi原创 2022-04-16 14:00:25 · 456 阅读 · 0 评论 -
别样的唐诗宋词汇——基于Python的量化分析挖掘尝试
提起唐诗宋词,想必所有人都不会陌生,这些内容陪伴了我们走过了那个曾经的青春岁月啊,最近接触到了一个关于唐诗宋词的分析挖掘问题,自己从不同的角度做了一些尝试,这里简单分享一些,能够做的还有很多,欢迎大家继续尝试。 我用到数据来自于这个项目,感谢作者的努力付出。 可以自行下载项目获取所需的数据集,我的数据集如下: 接下来简单看下对应的数据样例,首先看下唐诗的样例: 接下来是宋词的样例,如下所示:...原创 2022-04-12 16:51:19 · 2158 阅读 · 0 评论 -
‘SentencePieceProcessor‘ object has no attribute ‘encode‘ 报错解决
今天遇上了一个报错,查了好多资料都没有看到一模一样错误的,后来转向版本的核查,在升级版本之后问题得以解决,记录一下备忘。原始sentencepiece版本为 0.1.8 升级到sentencepiece==0.1.96问题解决。...原创 2022-03-22 16:49:42 · 1562 阅读 · 4 评论 -
基于迁移学习的mini-imagenet数据分类实践
imagenet在图像识别领域里面有着很高地知名度,数据量大,数据类别多,很多比赛也都是围绕着这个数据集展开的,我们今天并不是要使用这么大的数据集,因为的确是算力不太能达到要求,这里就退而求其次,使用网上公开的mini-imagenet数据集来进行实验,这个数据集里面一共有6w张图片,共分为100个类别,每个类别里面有600张图片。数据集截图如下所示:接下来随便看几个类别的数据集。 n01981276: n02099601: ...原创 2022-04-24 19:09:18 · 2653 阅读 · 0 评论 -
pybaobabdt 推荐一款超高颜值的模型可视化库
可视化的工具有很多,应用的场景领域也各有不同,在深度学习领域里面已经有很多可视化的技术和工具用于尝试从某个维度来对模型进行解释,但是在机器学习领域里面对于模型进行可视化的工作还比较少,能做的东西相对也比较原始。就我个人而言,做过的比较多的机器学习模型可视化的内容就是决策树的可视化,相信绝大多数同学做出来的效果图应该都是类似下面风格的: 这个是我们借助于graphviz模块进行的可视化,最早期的时候觉得还是很有意思的,做的多了感觉这个显得就比较原始了,最近找到一款颜值、功能、实用...原创 2022-03-04 18:29:50 · 1660 阅读 · 4 评论 -
在 Keras 模型中使用预训练的词嵌入
原文地址在这里。什么是词嵌入? “词嵌入”是一系列旨在将语义映射到几何空间的自然语言处理技术。这是通过将数字向量与字典中的每个单词相关联来完成的,这样任何两个向量之间的距离(例如 L2 距离或更常见的余弦距离)将捕获两个相关单词之间的部分语义关系。这些向量形成的几何空间称为嵌入空间。 例如,“椰子”和“北极熊”是语义完全不同的词,因此合理的嵌入空间会将它们表示为相距很远的向量。但是“厨房”和“晚餐”是相关词,因此应该彼此靠近嵌入。 ...翻译 2022-01-28 14:25:10 · 907 阅读 · 0 评论 -
deepsort报错 No module named ‘sklearn.utils.linear_assignment_‘ 问题解决
最近需要搞跟踪相关的内容,这块的技术研究相对比较少一点,正好这两天有时间我就想着做入门学习了解,顺道跑一些Demo项目加深了解。 在实际运行官方Demo项目deep_sort_app.py目标跟踪实例的时候直接就报错了,报错如下所示: 具体报错内容如下所示:ModuleNotFoundError: No module named 'sklearn.utils.linear_assignment_' 如果是入门新手的话相信这个...原创 2022-01-22 10:59:57 · 2375 阅读 · 6 评论 -
cv2.error: OpenCV(4.5.3) :-1: error: (-5:Bad argument) in function ‘line‘ 报错解决
今天在使用OpenCV开发的绘图脚本的时候出现了上述的报错,最开始的时候我以为是因为版本不兼容,导致我用的版本没有line这个方法,但是实际查询过之后发现是有这个line方法的,那么问题就不会是版本的问题了,报错截图如下: 下面的报错: Can't parse 'pt1'. Sequence item with index 0 has a wrong type 引起了我的注意,让我开始核对数据,后面发现是因为传入line方法里面的坐标点数据类型不是int类型而是...原创 2022-01-20 09:53:05 · 18585 阅读 · 4 评论 -
pip安装环境报错[Errno 99] Cannot assign requested address问题解决
今天在一个新的环境里面安装包的时候报错[Errno 99] Cannot assign requested address,具体如下所示:网上也查了一些资料,发现跟我问题相关的几乎没有,我就开始想这个问题应该不是很复杂的报错,就尝试升级pip试一下:升级之后重新安装环境就可以了,记录一下吧,希望能帮到遇上同样问题的人。...原创 2022-01-18 13:39:31 · 1385 阅读 · 0 评论 -
No module named ‘google.rpc‘ 报错解决
这个报错的出现也是莫名其妙,这个报错的产生是在安装KFP模块之后导入kfp模块的时候报错的,但是本身的安装过程却没有出现任何错误。 打开kfp,定位报错位置: 按照以往的经验全部排查了一圈之后依旧是没有找到错误的原因,这个时候我只好打开本地google的安装目录,截图如下: 发现的确是没有rpc这个目录,原因找到了,由于实在是没有心思去过多研究,我就新建了一个虚拟环境,然后安装了一下,之后,将google里面的所有模块都copy出来了,复...原创 2021-12-08 18:37:33 · 3152 阅读 · 4 评论 -
Keras基础项目实践
【翻译自 :Your First Deep Learning Project in Python with Keras Step-By-Step 】 【说明:Jason BrownleePhD大神的文章个人很喜欢,所以闲暇时间里会做一点翻译和学习实践的工作,这里是相应工作的实践记录,希望能帮到有需要的人!】 Keras 是一个功能强大且易于使用的免费开源 Python 库,用于开发和评估深度学习模型。它封装了高效的数值计算库 T...翻译 2021-11-08 16:15:08 · 382 阅读 · 0 评论 -
在 Keras 中为循环神经网络添加自定义注意层
【翻译自 :Adding A Custom Attention Layer To Recurrent Neural Network In Keras】 【说明:Jason BrownleePhD大神的文章个人很喜欢,所以闲暇时间里会做一点翻译和学习实践的工作,这里是相应工作的实践记录,希望能帮到有需要的人!】 深度学习网络在过去几年中广受欢迎。 “注意力机制”与深度学习网络相结合以提高其性能。 向网络添加注意力组件在机器翻译、图像识别、文...翻译 2021-11-04 21:27:09 · 1809 阅读 · 12 评论 -
使用主成分分析进行人脸识别
【翻译自 : Face Recognition using Principal Component Analysis 】 【说明:Jason BrownleePhD大神的文章个人很喜欢,所以闲暇时间里会做一点翻译和学习实践的工作,这里是相应工作的实践记录,希望能帮到有需要的人!】 机器学习的最新进展使人脸识别不再是一个难题。 但在以前,研究人员进行了各种尝试,开发了各种技能,使计算机能够识别人。 早期取得的成功之一是基于线性代数技术的 ...翻译 2021-11-04 20:28:01 · 1627 阅读 · 0 评论 -
如何在 Keras 中开发具有注意力的编码器-解码器模型
【翻译自 :How to Develop an Encoder-Decoder Model with Attention in Keras】 【说明:Jason BrownleePhD大神的文章个人很喜欢,所以闲暇时间里会做一点翻译和学习实践的工作,这里是相应工作的实践记录,希望能帮到有需要的人!】 事实证明,循环神经网络的编码器-解码器架构在自然语言处理领域(例如机器翻译和字幕生成)中的许多序列到序列预测问题上非常强大。 ...翻译 2021-11-04 20:08:53 · 905 阅读 · 0 评论 -
fer2013人脸表情数据实践
Fer2013人脸表情数据集由35886张人脸表情图片组成,每张图片是由大小固定为48×48的灰度图像组成,共有7种表情,分别对应于数字标签0-6,具体表情对应的标签和中英文如下:0 anger 生气1 disgust 厌恶2 fear 恐惧3 happy 开心4 sad 伤心5 surprised 惊讶6 normal 中性 但是,数据集并没有直接给出图片,而是将表情、图片数据、用途的数据保存到csv文件中,如下图所示, 这些数值型的数据...原创 2021-10-24 10:14:14 · 2348 阅读 · 0 评论 -
Python 读取/存储 yaml 文件
YAML 是 "YAML Ain't a Markup Language"(YAML 不是一种标记语言)的递归缩写。在开发的这种语言时,YAML 的意思其实是:"Yet Another Markup Language"(仍是一种标记语言)。 YAML 的语法和其他高级语言类似,并且可以简单表达清单、散列表,标量等数据形态。它使用空白符号缩进和大量依赖外观的特色,特别适合用来表达或编辑数据结构、各种配置文件、倾印调试内容、文件大纲(例如:许多电子邮件标题格式和YAML非...原创 2021-10-15 16:22:06 · 3465 阅读 · 2 评论 -
基于YOLO的目标检测系统实践
最近做了不少目标检测的项目,对于理论、实践的掌握程度也更深了,今天突然想到做个简易的界面来辅助使用目标检测程序,在我之前的文章里面也有类似的实现,如有兴趣可以自行前去月度。 上面是我目前做出来的效果图,在具体使用上面还有少量问题没来得及去解决,先占坑,后面找时间全部处理好了再详细介绍。...原创 2021-10-13 19:01:26 · 740 阅读 · 2 评论 -
python读取mat文件报错【NotImplementedError: Please use HDF reader for matlab v7.3 files】
之前在操作mat格式的数据文件的时候我都是使用scipy来处理的,今天依旧是这么处理的时候报错了,查了下原因发现报错是提示当前的mat文件实际上是需要按照h5文件的格式来处理的,原始代码为:import scipy.io as siodata_file = 'data.mat'data = sio.loadmat(data_file)print(type(data))print(data.keys()) 修改为:import h5pydata=h5py.F...原创 2021-10-11 19:11:24 · 2710 阅读 · 4 评论 -
Python基于OpenCV实现视频数据切割为图像数据
在图像处理领域里面OpenCV是一款很强大的开源软件了,最近正好有一个需求就是需要将给定的视频切分为单帧的图像数据,之后对图像数据进行处理,这里我选择的是OpenCV来完成这项工作,代码实现如下所示:def video2Frames(vedio_path='a.mp4',picDir='images/',delta=10,h=416,w=416): ''' 视频数据切割为图像数据 ''' if not os.path.exists(picDir): ...原创 2021-09-14 21:07:01 · 464 阅读 · 0 评论 -
OpenCV+dlib+Python实现人体五官检测
在以前的文章里面我有写过人脸识别相关的项目实践,基本的路线是:1、开发摄像头人脸数据采集模块,快速采集批量的包含人脸的图像数据2、人脸区域切割提取,构建数据集3、CNN模型训练,测试4、调用摄像头加载离线模型实时人脸识别 在这里其实有两块是跟OpenCV密不可分的,第二步里面的人脸区域切割提取需要借助于OpenCV的级联分类器实现人脸区域的定位,完成模型的训练之后第四步里面,调用摄像头加载离线模型实时人脸识别的时候也是需要借助于OpenCV的级联分类器才能实现人脸R...原创 2021-08-21 14:57:43 · 2553 阅读 · 4 评论