- 博客(44)
- 资源 (6)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 [ KO机器学习] Day9 模型评估：余弦距离的应用
本章的主题是模型评估，但其实在模型训练过程中，我们也在不断地评估着样本间的距离，如何评估样本距离也是定义优化目标和训练方法的基础。在机器学习问题中，通常将特征表示为向量的形式，所以在分析两个特征向量之问的相似性时，常使用余弦相似度来表示。余弦相似度的取值范围是 [-1,11，相同的两个向量之间的相似度为 1。如果希望得到类似于距离的表示，将1减去余弦相似度即为余弦距离因此，余弦距离的取值范围为[0,2]，相同的两个向量余弦距离为 0。
2022-05-07 17:27:39
461
1
原创 [KO机器学习] Day8 模型评估：ROC曲线
场景描述二值分类器（Binary Classifier）是机器学习领域中最常见也是应用最广泛的分类器。评价二值分类器的指标有很多。比如精确率、召回率、F1 score、P-R曲线等。上一篇已经对这些指标做了一定的介绍，但也发现这些指标或多或少只能反映模型在某一方面的性能。相比而言，ROC曲线则有很多优点、经常作为评估二值分类器最重要的指标之一。下面我们一起来详细了解一下ROC曲线的绘制方法和特点知识点：ROC曲线、曲线下的面积（Area Under Curve，AUC）、P - R曲线问题1：什
2022-05-06 18:31:54
1493
原创 [KO机器学习] Day 7 模型评估：评估指标的局限性
“没有测量，就没有科学。。” 这是科学家门捷列夫的名言。在计算机科学特别是机器学习领域中，对模型的评估同样至关重要。只有选择与问题相匹配的评估方法，才能快速地发现模型选择或训练过程中出现的问题，迭代地对模型进行优化。模型评估主要分为离线评估和在线评估两个阶段。针对分类排序、回归、序列预测等不同类型的机器学习问题，评估指标的选择也有所不同。知道每种评估指标的精确定义、有针对性地选择合适的评估指标、根据评估指标的反馈进行模型调整，这些都是机器学习在模型评估阶段的关键问题，也是一名合格的算法工程师应当具备的基本功
2022-05-05 16:12:08
1037
1
原创 图像分割与提取：交互式前景提取（附OpenCV代码实现）
一、简介经典的前景提取技术主要使用纹理（颜色）信息，如魔术棒工具，或根据边缘（对比度）信息，如智能剪刀等完成。2004 年，微软研究院(剑桥）的 Rother 等人在论文 GrabCut: Interactive Foreground Exiraction Using lrerated Graph Cuts 中提出了交互式前景提取技术。他们提出的算法，仅需要做很少的交互操作，就能够准确地提取出前景图像。二、前景提取 在开始提取前景时，先用一个矩形框指定前景区域所在的大...
2022-05-05 12:38:19
4107
1
原创 [KO机器学习] Day6：特征工程 图像数据不足时的处理方法
在机器学习中，绝大部分模型都需要大量的数据进行训练和学习（包括有监督学习和无监督学习），然而在实际应用中经常会遇到训练数据不足的问题。比如图像分类、作为计算机视觉最基本的任务之一，其目标是将每幅图像划分到指定类别集合中的一个或者多个类别中。当训练一个图像分类模型时，如果训练样本比较少，该如何处理呢？知识点：迁移学习（Transfer Learning），生成对抗网络，图像处理，上采样技术，数据扩充。
2022-05-04 15:15:16
350
2
原创 （附代码）ResNet网络架构搭建以及基于数据集CIFAR-10对ResNet进行训练
何凯明大神在CVPR 2016上发表的《Deep Residual Learning for Image Recognition 图像识别中的深度残差学习网络》深受工业界的欢迎，自提出以来已经成为工业界最受欢迎的卷积神经网络结构。在coco目标检测任务中提升28%的精度，并基于ResNet夺得ILSVRC的检测、定位，COCO 的检测和分割四大任务的冠军。接下来就一起来看这个广受好评的Resnet
2022-05-03 13:47:00
1838
原创 [KO机器学习] Day5 特征工程：文本表示模型和Word2Vec
文本是一类非常重要的非结构化数据，如何表示文本数据一直是机器学习领域的一个重要研究方向。谷歌2013年提出的Word2Vec是目前最常用的词嵌入模型之一，Word2Vec 实际是一种浅层的神经网络模型，它有两种网络结构，分别是CBOW（ Continues Bags Of Words）和 Skip-gram。知识点难度：★★☆☆☆ 词袋模型（Bag of Words），TF-IDF（Term Frequency - Inverse Document Frequency），主题模型（Topic Mod
2022-05-03 10:44:41
425
原创 OpenCV进行图像分割：分水岭算法（相关函数介绍以及项目实现）
在图像处理的过程中，经常需要从图像中将前景对象作为目标图像分割或者提取出来。图像分割是图像处理过程中一种非常重要的操作。分水岭算法将图像形象地比喻为地理学上的地形表面，实现图像分割，该算法非常有效。二、算法原理任何一幅灰度图像，都可以被看作是地理学上的地形表面，灰度值高的区域可以被看成是山峰，灰度值低的区域可以被看成是山谷。如下图所示，其中左图是原始图像，右图是其对应的“地形表面”。如果我们向每一个山谷中“灌注”不同颜色的水（这里采用了OpenCV官网的表述，冈萨雷斯将灌注表述为在山谷中打洞
2022-05-02 17:21:27
7710
4
原创 [KO机器学习] Day4 特征工程：如何有效地找到组合特征？
本文介绍一种基于决策树的特征组合寻找方法（关于决策树的详细内容过段时间为大家更新）。以点击预测问题为例，假设原始输入特征包含年龄、性别、用户类型（试用期、付费）、物品类型（护肤、食品等）4个方面的信息，并且根据原始输入和标签（ 点击 / 未点击 ）构造出了决策树，如下图所示。
2022-05-02 09:35:10
1073
3
原创 深度学习图像分类网络(二)：GoogLeNet（V1-V4）模型搭建解读（附代码实现）
GoogLeNetV1-V4的模型结构都不是很简洁，参数设置上也没有什么规律可循，都是他们从大量实验中证明得到的。整体架构但是不难理解，都是重复的模块进行堆叠，所以理解了每一块的作用，整体来看就很简单。希望大家保持头脑清醒，否则觉得这一块的东西很混乱。V1、V2目前很少使用，V3、V4是使用最多的，本文主要讲解GoogLeNet - V4。正式介绍V4之前，一起回顾GoogLeNet V1-V3。
2022-05-01 16:20:08
2743
9
原创 [KO机器学习] Day3 特征工程： 什么是组合特征？如何处理高维组合特征？
什么是组合特征？如何处理高维组合特征？难度：★★☆☆☆分析与解答：为了提高复杂关系的拟合能力，在特征工程中经常会把一阶离散特征两两组合，构成高阶组合特征。以广告点击预估问题为例，原始数据有语言和类型两种离散特征。表1.2是语言和类型对点击的影响。为了提高拟合能力，语言和类型可以组成二阶特征，表1.3是语言和类型的组合特征对点击的影响。
2022-05-01 14:40:02
574
1
原创 图像处理：Canny边缘检测原理（附代码实现）
Canny 边缘检测是一种使用多级边缘检测算法检测边缘的方法OPENCV提供了函数cv2.Canny（ ）实现Canny边缘检测，虽然opencv为我们提供了很方便的使用，但是我们还是要理解Canny边缘检测的原理。Canny边缘检测分为如下几个步骤：步骤1：去噪。噪声会影响边缘检测的准确性，因此首先要将噪声过滤掉。 步骤2：计算梯度的幅度与方向。 步骤3：非极大值抑制，即适当的让边缘变瘦。 步骤4：确定边缘。使用双阈值算法确定最终的边缘信息。下面对上述步..
2022-05-01 11:21:48
3645
2
原创 [KO机器学习] Day2 特征工程：数据预处理：序号编码、独热编码、二进制编码
类别型特征（categorical feature）主要是指性别（男女）、血型（A,B,AB,O）等只在有限选项内取值的特征。类别型特征原始输入通常是字符串形式，除了决策树等少数模型能直接处理字符串形式的输入，对于逻辑回归、支持向量机等模型来说，类别型特征必须经过处理转换成数值型特征才能正确工作。
2022-04-30 11:23:32
955
原创 [KO机器学习] Day1 特征工程：数据特征归一化以归一化原因
为了消除数据特征之间的量纲影响，我们需要对特征进行归一化处理，使得不同指标之间具有可比性。例如，分析一个人的身高和体重对健康的影响，如果使用米（m) 和千克（kg）作为单位，那么身高特征会在1.6 - 1.8m的数值范围内，体重特征会在50 - 100kg的范围内，分析出来的结果显然会倾向于数值差别比较大的体重特征。想要得到更为准确的结果，就需要进行特征归一化（normalization）处理，使得各指标处于同一数值量级，以便于分析。
2022-04-29 21:55:32
650
3
原创 解读混淆矩阵在语义分割FCN指标计算中的应用（含代码实现）
混淆矩阵也称误差矩阵，是表示精度评价的一种标准格式，用n行n列的矩阵形式来表示。具体评价指标有总体精度、制图精度、用户精度等，这些精度指标从不同的侧面反映了图像分类的精度。在人工智能中，混淆矩阵（confusion matrix）是可视化工具，特别用于监督学习，在无监督学习一般叫做匹配矩阵。在图像精度评价中，主要用于比较分类结果和实际测得值，可以把分类结果的精度显示在一个混淆矩阵里面。混淆矩阵是通过将每个实测像元的位置和分类与分类图像中的相应位置和分类相比较计算的。...
2022-04-28 09:25:25
3381
5
原创 图像去噪、增强、边缘检测----两种方法实现傅里叶变换Numpy和OpenCV
傅里叶变换是应用最广泛的一种频率变换，它能够将图像从空间域变换到频率域，而傅里叶反变换能够将频率域信息变换到空间域内。在数学界的含义是任何周期函数都可以表示为不同频率的正弦函数和的形式。在图像处理过程中，傅里叶变换就是将图像分解为正弦分量和余弦分量两部分。数字图像经过傅里叶变换后，得到的频域值是复数。因此，显示傅里叶变换的结果需要使用实数图像（real image）加虚数图像（complex image），或者幅度图像（magnitude image）加相位图像（phase image）的形式。
2022-04-26 16:31:33
4789
2
原创 opencv形态学操作--腐蚀、膨胀、开/闭运算、礼帽运算、黑帽运算、核函数
形态学，即数学形态学，是图像处理过程中一个非常重要的研究方向。形态学主要从图像内提取分量信息，该分量信息通常对于表达和描绘图像的形状具有重要意义，通常是图像理解时所使用的最本质的形状特征。形态学操作主要包含：腐蚀、膨胀、开运算、闭运算、形态学梯度运算、礼帽运算、黑帽运算等。
2022-04-25 21:16:28
3754
2
原创 为什么ResNet深度残差网络广受好评呢？（附代码实现）
何凯明大神在CVPR 2016上发表的《Deep Residual Learning for Image Recognition 图像识别中的深度残差学习网络》深受工业界的欢迎，自提出以来已经成为工业界最受欢迎的卷积神经网络结构。在coco目标检测任务中提升28%的精度，并基于ResNet夺得ILSVRC的检测、定位，COCO 的检测和分割四大任务的冠军。接下来就一起来看这个广受好评的Resnet
2022-04-25 17:18:22
3019
4
原创 opencv阈值处理-threshold函数、自适应阈值处理和Ostu处理
阈值处理是指剔除图像内像素值高于一定值或者低于一定值的像素点。本文内容作为学习笔记整理使用，如有侵权，立刻删除
2022-04-24 22:38:30
5975
4
原创 VGG16、VGG19网络架构及模型训练 tricks ：训练技巧、测试技巧
在Vgg文章的基础之上，总结一下论文中提出的训练技巧和测试技巧，以及相关实验结果的分析。
2022-04-23 14:45:00
2335
7
原创 深度学习图像分类网络(一)：VGG VGGNet16/19网络架构演变以及模型搭建
论文名称：VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION 翻译：大规模图像识别的深度卷积神经网络。作者：Karen Simonyan & Andrew Zisserman。单位：VGG（牛津大学视觉几何组）发表会议及时间：ICLR 201介绍一下ILSVRC：大规模图像识别挑战赛 ImageNet Large Scale Visual Recognition Challenge 是李飞飞等人于2010年创办的图
2022-04-22 17:47:59
3346
原创 FCN应用：利用FCN全卷积网络实现语义分割 CamVid数据集
语义分割，简单地说，分割就是抠图。语义分割，就是按图像中物体表达的含义进行抠图。相比传统的目标识别，语义分割它更强大。语义分割模型不仅可以识别简单的类别，而且还可以进行多目标、多类别、复杂目标以及分割目标。截至到2017年底，我们已经分化出了数以百计的模型结构。当然，经过从技术和原理上考究，我们发现了一个特点，那就是当前最成功的图像分割深度学习技术都是基于一个共同的先驱：FCN（Fully Convolutional Network，全卷积神经网络）。
2022-04-21 10:11:18
2525
17
原创 FCN : 利用全卷积神经网络进行图像语义分割
语义分割，简单地说，分割就是抠图。语义分割，就是按图像中物体表达的含义进行抠图。相比传统的目标识别，语义分割它更强大。语义分割模型不仅可以识别简单的类别，而且还可以进行多目标、多类别、复杂目标以及分割目标。截至到2017年底，我们已经分化出了数以百计的模型结构。当然，经过从技术和原理上考究，我们发现了一个特点，那就是当前最成功的图像分割深度学习技术都是基于一个共同的先驱：FCN（Fully Convolutional Network，全卷积神经网络）。
2022-04-20 21:01:57
2153
2
原创 双重角度看语义分割：传统语义分割方法 对比 深度学习语义分割方法
语义分割（Semantic segmentatio）是计算机视觉中的关键任务之 一。现实中，越来越多的应用场景需要从影像中推理出相关的知识或语义（即由具体到抽象 的过程）。作为计算机视觉的核心问题，语义分割对于场景理解的重要性日渐突出。
2022-04-20 20:11:38
5916
原创 WGAN(Wasserstein GAN)看这一篇就够啦，WGAN论文解读
WGAN本作引入了Wasserstein距离，由于它相对KL散度与JS 散度具有优越的平滑特性，理论上可以解决梯度消失问题。接 着通过数学变换将Wasserstein距离写成可求解的形式，利用 一个参数数值范围受限的判别器神经网络来较大化这个形式， 就可以近似Wasserstein距离。WGAN既解决了训练不稳定的问题，也提供了一个可靠的训 练进程指标，而且该指标确实与生成样本的质量高度相关。
2022-04-18 20:50:47
38248
6
原创 GAN项目实战 使用CycleGAN将苹果变成橙子Pytorch版
目前关于GAN应用，比较有意思的应用就是GAN用在图像风格迁移，图像降噪修复，图像超分辨率了，都有比较好的结果，详见pix2pix GAN 和cycle GAN。pix2pixGAN参考：GAN系列之 pix2pixGAN 网络原理介绍以及论文解读。pix2pixGAN有一个明显的缺点就是，在进行训练的时候必须提供成对的数据集。比如当我们想生成梵高风格的画时，梵高本人画的作品肯定是相对较少的，这个时候就可以考虑使用cycleGAN。
2022-04-14 20:19:47
3591
2
原创 GANs系列：用于图像风格迁移的CycleGAN网络原理解读
目前关于GAN应用，比较有意思的应用就是GAN用在图像风格迁移，图像降噪修复，图像超分辨率了，都有比较好的结果，详见pix2pix GAN 和cycle GAN。pix2pixGAN有一个明显的缺点就是，在进行训练的时候必须提供成对的数据集。比如当我们想生成梵高风格的画时，梵高本人画的作品肯定是相对较少的，这个时候就可以考虑使用cycleGAN。
2022-04-13 19:31:48
8014
2
原创 深度学习入门实战----利用神经网络识别自己的手写数字
利用传统神经网络来加载自己的手写数字数据集，将自己的数据集作为测试集并进行识别识别准确率还可以！很适合新手入门学习
2022-04-09 21:50:14
4101
3
原创 GAN实战之Pytorch使用pix2pixGAN生成建筑物Label to Facade
pix2pix GAN主要用于图像之间的转换，又称图像翻译。图像处理的很多问题都是将一张输入的图片转变为一张对应的输出图片，端到端的训练。 如果要根据每个问题设定一个特定的loss function 来让CNN去优化，通常都是训练CNN去缩小输入跟输出的欧氏距离，但这样通常会得到比较模糊的输出。
2022-04-09 19:42:33
4124
3
原创 GAN系列之 pix2pixGAN 网络原理介绍以及论文解读
pix2pix GAN主要用于图像之间的转换，又称图像翻译。图像处理的很多问题都是将一张输入的图片转变为一张对应的输出图片，端到端的训练。 如果要根据每个问题设定一个特定的loss function 来让CNN去优化，通常都是训练CNN去缩小输入跟输出的欧氏距离，但这样通常会得到比较模糊的输出。
2022-04-07 21:36:43
11961
1
原创 GAN实战之Pytorch 使用CGAN生成指定MNIST手写数字
cGAN的中心思想是希望 可以控制 GAN 生成的图片，而不 是单纯的随机生成图片。 具体来说，Conditional GAN 在生成器和判别器的输入中 增加了额外的 条件信息，生成器生成的图片只有足够真实 且与条件相符，才能够通过判别器。cGAN将 无监督学习 转为 有监督学习 使得网络可以更好地在我们的掌控下进行学习！
2022-04-06 21:11:59
6045
4
原创 GANs系列：CGAN(条件GAN）原理简介以及项目代码实现
cGAN的中心思想是希望 可以控制 GAN 生成的图片，而不 是单纯的随机生成图片。 具体来说，Conditional GAN 在生成器和判别器的输入中 增加了额外的 条件信息，生成器生成的图片只有足够真实 且与条件相符，才能够通过判别器。
2022-04-05 17:23:06
30277
8
原创 Pytorch 使用DCGAN生成动漫人物头像 入门级实战教程
pytorch 使用DCGAN生成动漫人物头像 入门级实战教程，利用动漫人物数据集训练模型，来生成动漫人物头像。
2022-04-03 22:05:31
3101
2
原创 Pytorch 使用DCGAN生成MNIST手写数字 入门级教程
DCGAN实战，入门级别的深度卷积生成对抗网络实战，利用MNIST手写数据集进行生成手写数字。加深对相关原理的理解，并对比了与基础GAN的异同点
2022-04-03 13:12:22
4572
3
转载 Kaggle注册问题，不翻墙也能有人机验证
不用翻墙也能注册kaggle，在kaggle注册的时候，往往因为人机验证不显示而导致注册失败，本文提供了安装插件的方式，来进行人机验证的显示并顺利完成注册。
2022-04-02 19:20:30
19686
53
原创 GANs系列：DCGAN原理简介与基础GAN的区别对比
参考了DCGAN论文，对论文逐步解读，将论文精华部分进行了概括提取，包括原理、应用以及训练过程。在基础的生成式对抗神经网络的基础上，进一步介绍DCGAN深度卷积生成对抗神经网络。
2022-04-01 21:27:45
23914
4
原创 Pytorch GAN入门实战---生成MNIST手写数据集代码实现
大话超级火爆的GAN，对新手超级友好的实战入门小例子---利用GAN 生成MNIST手写数据集代码实现pytorch版，分享心得。基础GAN的原理还不懂的，先看：生成式对抗神经网络（GAN）原理给你讲的明明白白。
2022-03-30 19:23:29
3352
2
CamVid数据集，语义分割FCN训练数据集
2022-04-20
cycleGAN训练数据集，苹果橙子数据集 APPLE 2 ORANGE
2022-04-14
pix2pixGAN训练数据集，建筑物数据集
2022-04-05
动漫人物头像数据集 anime-face
2022-04-03
MNIST手写数字数据集及其csv格式MNIST数据集
2022-03-27
【Matlab仿真】基于贝叶斯准则和最小平均错误概率准则的二元信号检测及性能分析
2021-12-06
RandAugment对数据集进行数据增强
2022-10-27
用脚本下载数据集时，怎么更改数据集的下载位置啊？老是下载到C盘里面。
2022-07-22
TA创建的收藏夹 TA关注的收藏夹
TA关注的人