Together_CZ的博客

python模块PIL Image对象与Base64 String模块的互相转换

基于PyTorch的图像数据归一化min-max normalization和zero-mean normalization操作实践对比分析

python基于不同方法实现特征工程常用的归一化技术Normalization对比分析

酷炫多彩的个性化词云可视化

还是能够看到跟整体序列计算结果上面的差异的。

6、跳转到了虚拟内存窗口，选中自己要设置的盘符，我这里选中的是D盘，点击【自定义大小】，设置【初始大小】和【最大值】，之后一定要点击右下角的【设置】选项，我前面好几次都操作完了但是程序还是依旧运行失败了，最终发现是这里没有点击【设置】，这些设置也都没有生效，自然也就没有设置成功。今天在windows本地以CPU模式来运行CV深度学习项目的时候报出来了这个错误，在之前的一些项目运行的过程中是没有报这个错误的，所以我最开始怀疑的是代码有问题，但是整体检查了一遍后发现并没有异常，就开始查这个问题。...

我有一张图片，我手工操作将其转为了pdf文件，同时还有一个pdf文件，想要把这两个pdf文件进行合并，最开始我觉得我的查询思路错了，我一开始是想着怎么样一步到位将两个pdf文件合并，但是却没有想到，我本身第一个pdf文件就是一个图片，如果我可以将第二个pdf文件转化为图片，这时候两张图片转化为pdf文件岂不是很简单了吗？这是一款多功能的PDF处理工具，它不仅支持Word、Excel、PPT、图片等多种文件格式与PDF格式之间的转换，还支持PDF合并、PDF分割、PDF加解密、PDF压缩、PDF编辑等功能。.

HOG+SVM这种目标检测的方法是比较早期的基于机器学习模型构建的目标检测方法，事实证明：他很有效，最早期的时候解决了很多的问题，随着深度学习的发展，算力、数据和算法的快速迭代更新，越来越多的目标检测需求都开始基于深度学习来构建算法模型了，在我的目标检测专栏里面介绍了很多不用场景的检测应用，本文主要是实践HOG+RF的组合方法来实现目标检测，其实，在这种组合模式中，HOG扮演的就是特征提取算子，RF也好，SVM也好扮演的就是级联分类器。在之前的文章中，我已经做过相关的工作了，只不过做的是行人检测，感兴趣的话

fer2013数据集由35886张人脸不同表情图片组成，其中训练集28708张，验证集和测试集各3589张。每张图片的大小是48*48像素大小，表情分为7种：网上下载的数据集是一个csv文件，这里对其进行转化解析处理，将原始的数值型数据转化为图像数据存储本地，方便直观查看。我从网上下载下载了fer2013.csv数据集，截图如下所示：单个样本数据实例如下所示：可以看到：每行共有三个字段，以逗号隔开，分别是：表情类别、图像像素串、数据类型。这里直接给出来代码实现： 这里我提供了两种不同的

这个是一个帮弟弟调试的项目，调试过程中觉得这个还是比较全面的，文本数据的基础处理、分词、词云可视化、LDA主题挖掘、分类模型构建等等都包括，对于学习或者入门来说还是不错的。项目全貌：项目中使用到的文本评论数据截图如下所示：首先加载数据：删除数据记录中所有列值相同的记录 通过人工观察数据发现，评论中夹杂着许多数字与字母，对于本案例的挖掘目标而言，这类数据本身并没有实质性帮助。另外，由于该评论文本数据主要是围绕京东商城中美的电热水器进行评价的，其中“京东”“京东商城”“美的”“热水器”“电热水器”等词出现的频数

闲暇的时间里面基于一些特定场景中的数据集做了一下有意思的应用，零零散散、断断续续的也都没有一个整体的汇总，到底做了哪些内容，这会正好在清理磁盘，很多东西都删除了，整理的时候顺便回忆了一下一共做的应用。 后续有时间会持续更新记录！...

今天遇上一个小的需求就是需要绘制双轴的图，这个之前使用excel的话是可以很快绘制出来的，但是基于代码实现的话好像还么怎么用过，所以这里研究了下，绘制好后，分享记录一下，首先看下数据： 主要是不同种类的编程开发相关的书籍的销售数据，首先加载数据： 之后对读取的数据进行解析处理： 最后是结果数据的可视化： 我们看下效果图： 看上去有点花里胡哨，当然了也可以去掉不需要的背景色： 这样看上去就好多了，可以看到：这

虽然很多时候一些模块内置的数据集使用起来非常的方便，搭建模型，做实例项目非常快，但是这种形式的数据建模本质上并不通用，我们使用模型大多是要解决现实生活中的很多实际问题，在不同的应用场景和业务问题中都会遇上各式各样的数据集，没有办法像那些使用起来很方便的内置数据集一样直接导入使用，这时候我们就要把问题的处理过程抽象成一个标准的数据流程，抽象出来标准流程的好处就是，之后任何问题我们都可以将其朝着标准流程的形式进行转化，从而讲一个复杂的问题标准化，就像很多时候搭建模型一样，明确需要定义的部分就是输入...

虽然很多时候一些模块内置的数据集使用起来非常的方便，搭建模型，做实例项目非常快，但是这种形式的数据建模本质上并不通用，我们使用模型大多是要解决现实生活中的很多实际问题，在不同的应用场景和业务问题中都会遇上各式各样的数据集，没有办法像那些使用起来很方便的内置数据集一样直接导入使用，这时候我们就要把问题的处理过程抽象成一个标准的数据流程，抽象出来标准流程的好处就是，之后任何问题我们都可以将其朝着标准流程的形式进行转化，从而讲一个复杂的问题标准化，就像很多时候搭建模型一样，明确需要定义的部分就是输入层的shape

虽然很多时候一些模块内置的数据集使用起来非常的方便，搭建模型，做实例项目非常快，但是这种形式的数据建模本质上并不通用，我们使用模型大多是要解决现实生活中的很多实际问题，在不同的应用场景和业务问题中都会遇上各式各样的数据集，没有办法像那些使用起来很方便的内置数据集一样直接导入使用，这时候我们就要把问题的处理过程抽象成一个标准的数据流程，抽象出来标准流程的好处就是，之后任何问题我们都可以将其朝着标准流程的形式进行转化，从而讲一个复杂的问题标准化，就像很多时候搭建模型一样，明确需要定义的部分就是输入层...

虽然很多时候一些模块内置的数据集使用起来非常的方便，搭建模型，做实例项目非常快，但是这种形式的数据建模本质上并不通用，我们使用模型大多是要解决现实生活中的很多实际问题，在不同的应用场景和业务问题中都会遇上各式各样的数据集，没有办法像那些使用起来很方便的内置数据集一样直接导入使用，这时候我们就要把问题的处理过程抽象成一个标准的数据流程，抽象出来标准流程的好处就是，之后任何问题我们都可以将其朝着标准流程的形式进行转化，从而讲一个复杂的问题标准化，就像很多时候搭建模型一样，明确需要定义的部分就是输入层的shape

今天在调试一个项目的时候报错缺少face-alignment模块，查询一下发现这个模块号称是世界上精度最高的检测器，瞬间来了兴致，从Git上下载下来学习一下。 仓库地址在这里。 安装方式也很简单pip即可：pip install face-alignment 可以看到：这里官方已经给出来了不错的代码实例，方便直接去使用，对于我来讲官方给的代码实例不太能满足我的需求，因为检测到的68个关键点没有存储下来，另外检测到的关...

之前做的一部分的工作正好现在放假有机会重新捡起来了，关键点检测相关的任务已经有很多的工作成果了，我在这块还是一个新手，所以最开始的接触学习选择了基于OpenPose来入门，就像图像处理最开始选择学习了解OpenCV是一个道理。使用的数据集截图如下所示： 随便看张图片内容： 图像本身的画质还是很高，对于精细化的计算比较友好。 今天使用的模型来自于COCO数据集训练出来的模型，如下所示： 导入配置如下：...

今天一个项目模型编译转化的过程中使用到了sklearn的函数转化器，之前虽也有接触过，但是使用频率可以说是非常低了，今天既然接触到了，就正好再详细看下。 FunctionTransformer官方文档地址在这里。 对应的介绍我都在代码中，就不啰嗦了，直接贴出来，如下所示：#!usr/bin/env python#encoding:utf-8from __future__ import division '''__Author__: 沂水寒城sklea...

今天遇上了一个错误，让我折腾了许久： 详情如下：Traceback (most recent call last): File "F:\python36\lib\site-packages\PIL\Image.py", line 2772, in fromarray mode, rawmode = _fromarray_typemap[typekey]KeyError: ((1, 1), '|O')The above exception was th...

今天在训练模型的时候报错如下：详细信息如下所示：Traceback (most recent call last): File "/usr/local/lib64/python3.6/site-packages/keras/legacy/interfaces.py", line 91, in wrapper return func(*args, **kwargs) File "/usr/local/lib64/python3.6/site-packages/keras/engi

提起唐诗宋词，想必所有人都不会陌生，这些内容陪伴了我们走过了那个曾经的青春岁月啊，最近接触到了一个关于唐诗宋词的分析挖掘问题，自己从不同的角度做了一些尝试，这里简单分享一些，能够做的还有很多，欢迎大家继续尝试。 我用到数据来自于这个项目，感谢作者的努力付出。 可以自行下载项目获取所需的数据集，我的数据集如下： 接下来简单看下对应的数据样例，首先看下唐诗的样例： 接下来是宋词的样例，如下所示：...

今天遇上了一个报错，查了好多资料都没有看到一模一样错误的，后来转向版本的核查，在升级版本之后问题得以解决，记录一下备忘。原始sentencepiece版本为 0.1.8 升级到sentencepiece==0.1.96问题解决。...

imagenet在图像识别领域里面有着很高地知名度，数据量大，数据类别多，很多比赛也都是围绕着这个数据集展开的，我们今天并不是要使用这么大的数据集，因为的确是算力不太能达到要求，这里就退而求其次，使用网上公开的mini-imagenet数据集来进行实验，这个数据集里面一共有6w张图片，共分为100个类别，每个类别里面有600张图片。数据集截图如下所示：接下来随便看几个类别的数据集。 n01981276： n02099601： ...

可视化的工具有很多，应用的场景领域也各有不同，在深度学习领域里面已经有很多可视化的技术和工具用于尝试从某个维度来对模型进行解释，但是在机器学习领域里面对于模型进行可视化的工作还比较少，能做的东西相对也比较原始。就我个人而言，做过的比较多的机器学习模型可视化的内容就是决策树的可视化，相信绝大多数同学做出来的效果图应该都是类似下面风格的： 这个是我们借助于graphviz模块进行的可视化，最早期的时候觉得还是很有意思的，做的多了感觉这个显得就比较原始了，最近找到一款颜值、功能、实用...

原文地址在这里。什么是词嵌入？ “词嵌入”是一系列旨在将语义映射到几何空间的自然语言处理技术。这是通过将数字向量与字典中的每个单词相关联来完成的，这样任何两个向量之间的距离（例如 L2 距离或更常见的余弦距离）将捕获两个相关单词之间的部分语义关系。这些向量形成的几何空间称为嵌入空间。 例如，“椰子”和“北极熊”是语义完全不同的词，因此合理的嵌入空间会将它们表示为相距很远的向量。但是“厨房”和“晚餐”是相关词，因此应该彼此靠近嵌入。 ...

最近需要搞跟踪相关的内容，这块的技术研究相对比较少一点，正好这两天有时间我就想着做入门学习了解，顺道跑一些Demo项目加深了解。 在实际运行官方Demo项目deep_sort_app.py目标跟踪实例的时候直接就报错了，报错如下所示： 具体报错内容如下所示：ModuleNotFoundError: No module named 'sklearn.utils.linear_assignment_' 如果是入门新手的话相信这个...

今天在使用OpenCV开发的绘图脚本的时候出现了上述的报错，最开始的时候我以为是因为版本不兼容，导致我用的版本没有line这个方法，但是实际查询过之后发现是有这个line方法的，那么问题就不会是版本的问题了，报错截图如下： 下面的报错： Can't parse 'pt1'. Sequence item with index 0 has a wrong type 引起了我的注意，让我开始核对数据，后面发现是因为传入line方法里面的坐标点数据类型不是int类型而是...

今天在一个新的环境里面安装包的时候报错[Errno 99] Cannot assign requested address，具体如下所示：网上也查了一些资料，发现跟我问题相关的几乎没有，我就开始想这个问题应该不是很复杂的报错，就尝试升级pip试一下：升级之后重新安装环境就可以了，记录一下吧，希望能帮到遇上同样问题的人。...

这个报错的出现也是莫名其妙，这个报错的产生是在安装KFP模块之后导入kfp模块的时候报错的，但是本身的安装过程却没有出现任何错误。 打开kfp，定位报错位置： 按照以往的经验全部排查了一圈之后依旧是没有找到错误的原因，这个时候我只好打开本地google的安装目录，截图如下： 发现的确是没有rpc这个目录，原因找到了，由于实在是没有心思去过多研究，我就新建了一个虚拟环境，然后安装了一下，之后，将google里面的所有模块都copy出来了，复...

【翻译自 ：Your First Deep Learning Project in Python with Keras Step-By-Step 】 【说明：Jason BrownleePhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】 Keras 是一个功能强大且易于使用的免费开源 Python 库，用于开发和评估深度学习模型。它封装了高效的数值计算库 T...

【翻译自 ：Adding A Custom Attention Layer To Recurrent Neural Network In Keras】 【说明：Jason BrownleePhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】 深度学习网络在过去几年中广受欢迎。 “注意力机制”与深度学习网络相结合以提高其性能。 向网络添加注意力组件在机器翻译、图像识别、文...

【翻译自 ： Face Recognition using Principal Component Analysis 】 【说明：Jason BrownleePhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】 机器学习的最新进展使人脸识别不再是一个难题。 但在以前，研究人员进行了各种尝试，开发了各种技能，使计算机能够识别人。 早期取得的成功之一是基于线性代数技术的 ...

【翻译自 ：How to Develop an Encoder-Decoder Model with Attention in Keras】 【说明：Jason BrownleePhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】 事实证明，循环神经网络的编码器-解码器架构在自然语言处理领域（例如机器翻译和字幕生成）中的许多序列到序列预测问题上非常强大。 ...

Fer2013人脸表情数据集由35886张人脸表情图片组成，每张图片是由大小固定为48×48的灰度图像组成，共有7种表情，分别对应于数字标签0-6，具体表情对应的标签和中英文如下：0 anger 生气1 disgust 厌恶2 fear 恐惧3 happy 开心4 sad 伤心5 surprised 惊讶6 normal 中性 但是，数据集并没有直接给出图片，而是将表情、图片数据、用途的数据保存到csv文件中，如下图所示， 这些数值型的数据...

YAML 是 "YAML Ain't a Markup Language"（YAML 不是一种标记语言）的递归缩写。在开发的这种语言时，YAML 的意思其实是："Yet Another Markup Language"（仍是一种标记语言）。 YAML 的语法和其他高级语言类似，并且可以简单表达清单、散列表，标量等数据形态。它使用空白符号缩进和大量依赖外观的特色，特别适合用来表达或编辑数据结构、各种配置文件、倾印调试内容、文件大纲（例如：许多电子邮件标题格式和YAML非...

最近做了不少目标检测的项目，对于理论、实践的掌握程度也更深了，今天突然想到做个简易的界面来辅助使用目标检测程序，在我之前的文章里面也有类似的实现，如有兴趣可以自行前去月度。 上面是我目前做出来的效果图，在具体使用上面还有少量问题没来得及去解决，先占坑，后面找时间全部处理好了再详细介绍。...

之前在操作mat格式的数据文件的时候我都是使用scipy来处理的，今天依旧是这么处理的时候报错了，查了下原因发现报错是提示当前的mat文件实际上是需要按照h5文件的格式来处理的，原始代码为：import scipy.io as siodata_file = 'data.mat'data = sio.loadmat(data_file)print(type(data))print(data.keys()) 修改为：import h5pydata=h5py.F...

在图像处理领域里面OpenCV是一款很强大的开源软件了，最近正好有一个需求就是需要将给定的视频切分为单帧的图像数据，之后对图像数据进行处理，这里我选择的是OpenCV来完成这项工作，代码实现如下所示：def video2Frames(vedio_path='a.mp4',picDir='images/',delta=10,h=416,w=416): ''' 视频数据切割为图像数据 ''' if not os.path.exists(picDir): ...

在以前的文章里面我有写过人脸识别相关的项目实践，基本的路线是：1、开发摄像头人脸数据采集模块，快速采集批量的包含人脸的图像数据2、人脸区域切割提取，构建数据集3、CNN模型训练，测试4、调用摄像头加载离线模型实时人脸识别 在这里其实有两块是跟OpenCV密不可分的，第二步里面的人脸区域切割提取需要借助于OpenCV的级联分类器实现人脸区域的定位，完成模型的训练之后第四步里面，调用摄像头加载离线模型实时人脸识别的时候也是需要借助于OpenCV的级联分类器才能实现人脸R...