机器学习与深度学习理论1
文章平均质量分 66
wonengguwozai
欢迎爱技术的同行交流
展开
-
修改onnx模型node
修改onnx原创 2022-09-03 18:20:10 · 806 阅读 · 0 评论 -
世界坐标系、相机坐标系、图像坐标系之间的关系
转载文章:https://www.cnblogs.com/gary-guo/p/6553155.html?share_token=5d357f6f-8321-43ee-8e90-85636d472643&tt_from=copy_link&utm_source=copy_link&utm_medium=toutiao_android&utm_campaign=client_share?=一、四个坐标系简介和相互转换相机模型为以后一切标定算法的关键,只有透彻的理解了,对以后转载 2022-02-15 17:37:29 · 2303 阅读 · 0 评论 -
分类问题为什么要使用交叉熵而不是MSE损失函数
假设现在有一个分类问题:feature是2维的向量目标类别有3种一共有4个样本:上面虽然使用的是Sigmoid函数,其实分类问题使用的是softmax函数,softmax可以看做sigmoid在对分类问题上的推广。import matplotlib.pyplot as pltimport numpy as npA = np.linspace(0, 1, 100)plt.plot(A, A ** 2 * (1 - A))plt.xlabel("absolute error")p转载 2020-11-11 19:20:45 · 1496 阅读 · 0 评论 -
面试中值得关注的问题(项目+通用问题)
机器学习理论类:写出全概率公式&贝叶斯公式模型训练为什么要引入偏差(bias)和方差(variance)? 证CRF/朴素贝叶斯/EM/最大熵模型/马尔科夫随机场/混合高斯模型如何解决过拟合问题?One-hot的作用是什么?为什么不直接使用数字作为表示决策树和随机森林的区别是什么?朴素贝叶斯为什么“朴素naive”?kmeans初始点除了随机选取之外的方法LR明明是分类模型为什么叫回归梯度下降如何并行化梯度下降如何并行化LR中的L1/L2正则项是啥简述决策树构建过程解原创 2020-06-18 11:43:32 · 410 阅读 · 0 评论 -
朴素贝叶斯算法
朴素贝叶斯算法为传统的机器学习算法,之所以称之为“朴素”,即为简单:在计算过程中认为样本的每个属性是独立的,这一假设事计算更为简单。重要参考说明:目前笔者根据上方参考,基本旅顺了大致计算过程和代码实现过程,但对其中的先验与后验问题有些模糊,待后续明晰后再系统整理。...原创 2020-06-18 11:40:26 · 232 阅读 · 0 评论 -
K-Means聚类算法
引:K-Means算法作为经典且简单的聚类算法,在很多目标检测算法中使用(如YOLOv3)相关参考K-Means目标:对于给定的样本集,按照样本之间的距离大小,将样本集划分为K个簇。让簇内的点尽量紧密的连在一起,而让簇间的距离尽量的大K-Means目标公式化:E=Σi=1kΣxϵCi∣∣x−ui∣∣22E=\Sigma_{i=1}^k\Sigma_{x\epsilon C_i}||x-u_i||_2^2E=Σi=1kΣxϵCi∣∣x−ui∣∣22其中E为总平方误差,k为k个簇,C_i.原创 2020-06-17 10:31:23 · 284 阅读 · 0 评论 -
从YOLOv4看模型优化方法
YOLOv4中相关优化方法1.Bag of freebies(增加训练时间,不影响推理速度下提升性能)1.1 数据增强:亮度、对比度、色调、饱和度、噪音等随机缩放、裁剪、翻转、旋转等模拟遮挡random erase or CutOut: 随机将图像中的矩形区域随机填充像素值或置零MixUp:将两张图像按照一定比例因子进行叠加融合,该比例因子服从B分布。融合后的label包含两张图像的所有标签。CutMix:从一张图中crop一块矩形图像到另一张图中,对应融合后图像的label也原创 2020-06-16 12:08:47 · 3817 阅读 · 0 评论 -
KNN与KD树
前言:机器学习方法–knn(k紧邻算法)可分类、可回归。之前在面试中遇到过类似的问题,下面总结记录。重要的学习链接:点我正文原创 2020-06-10 11:35:41 · 139 阅读 · 0 评论 -
神经网络中参数及计算量的推导计算
不同类型卷积计算量的计算说明:假定输入Blob的shape为BxC1xHxW,输出Blob的shape为BxC2xHxW,卷积核大小为kxk。(这里假定输出的H,W与输入尺寸相同,当然也可通过计算公式计算, pad为pw与ph,stride为s)深度可分离卷积由:深度卷积(depthwise卷积)和点卷积(pointwise卷积)构成pointwise卷积属于2D卷积(卷积核为1X1);depthwise卷积属于分组卷积(组数G==输入通道数C1)分组卷积中组数G表示2D卷积计算量原创 2020-06-09 14:34:48 · 475 阅读 · 1 评论 -
PCA数据降维实例推导
缘起:在3DMM相关3D重建算法以及用于数据降维的机器学习算法中大量使用了主成分分析,在这里做了梳理和实例推导。 本文参考(非常精辟的分析):http://blog.codinglabs.org/articles/pca-tutorial.html 实例推导过程:...原创 2018-11-21 14:38:44 · 489 阅读 · 1 评论 -
深度学习中的各种卷积总结
现在随着深度学习的发展,应不同任务和条件的神经网络层的不断更新迭代,显著地如出现不同的激活函数、不同的卷积层类型,下面主要记录深度学习中的各种卷积层。由于是转载内容,就不贴人家的原内容啦,将原博主链接附在此,以便后期查阅:非常好的介绍普通卷积与可分离卷积(深度、空间) 非常全的各种卷积类型介绍 各种卷积汇总介绍...转载 2018-09-08 11:44:06 · 959 阅读 · 0 评论 -
关于python 在神经网络训练图像数据预处理时使用的transpose
这个源于本科同学一起讨论的问题。直接正文吧。先附上一个博主对该问题的总结:转置(transpose)和轴对换转置可以对数组进行重置,返回的是源数据的视图(不会进行任何复制操作)。转置有三种方式,transpose方法、T属性以及swapaxes方法。1 .T,适用于一、二维数组In [1]: import numpy as npIn原创 2018-01-12 16:09:32 · 2326 阅读 · 0 评论 -
Regularization(正则化)、Dropout和BatchNormalization(批规范化)
本文主要讲解神经网络中的正则化(Regularization)和Dropout,都是用了减小过拟合。正则化在机器学习领域中很重要。主要针对模型过拟合问题而提出来的。本文是观看麦子学院的视频整理而来。下面开始介绍。1 正则化机器学学习中的正则化相关的内容可以参见李航的书:统计学习方法。参阅者可以先了解有关的内容。正则化是用来降低overfitting(过拟合)的,减少过拟合的的其他方法有:增...原创 2017-10-16 19:26:00 · 1440 阅读 · 1 评论 -
Convolutional Neural Networks卷积神经网络 (该博主一系列都很好)
Deep Learning(深度学习)学习笔记整理系列[email protected]://blog.csdn.net/zouxy09作者:Zouxyversion 1.0 2013-04-08声明:1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参转载 2016-04-11 20:39:42 · 4196 阅读 · 0 评论 -
Deep Learning(深度学习)学习笔记整理系列(概括的很好)----之四(自编码)
Deep Learning(深度学习)学习笔记整理系列[email protected]://blog.csdn.net/zouxy09作者:Zouxyversion 1.0 2013-04-08声明:1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参转载 2016-09-11 17:13:30 · 1600 阅读 · 0 评论 -
深度学习模型、方法之稀疏编码
Deep Learning(深度学习)学习笔记整理系列[email protected]://blog.csdn.net/zouxy09作者:Zouxyversion 1.0 2013-04-08声明:1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。2)本文仅供学转载 2016-09-11 19:55:29 · 4642 阅读 · 0 评论 -
deep learning 中的正则化之drop
目录(?)[+]原文地址:http://blog.csdn.net/u010402786/article/details/46812677一:引言 因为在机器学习的一些模型中,如果模型的参数太多,而训练样本又太少的话,这样训练出来的模型很容易产生过拟合现象。在训练bp网络时经常遇到的一个问题,过拟合指的是模型在训练数据上损失函数比较小,预测准确率较高(如果通过转载 2016-10-13 09:41:51 · 780 阅读 · 1 评论 -
相对熵(互熵,交叉熵,鉴别信息,Kullback熵,Kullback-Leible散度即KL散度)的深入理解
今天开始来讲相对熵,我们知道信息熵反应了一个系统的有序化程度,一个系统越是有序,那么它的信息熵就越低,反之就越高。下面是熵的定义 如果一个随机变量的可能取值为,对应的概率为,则随机变量的熵定义为 有了信息熵的定义,接下来开始学习相对熵。 Contents 1. 相对熵的认转载 2016-10-14 16:58:22 · 5952 阅读 · 1 评论 -
自编码算法与稀疏性(KL散度诱导稀疏)
转自ufldl,原文地址:http://deeplearning.stanford.edu/wiki/index.php/%E8%87%AA%E7%BC%96%E7%A0%81%E7%AE%97%E6%B3%95%E4%B8%8E%E7%A8%80%E7%96%8F%E6%80%A7目前为止,我们已经讨论了神经网络在有监督学习中的应用。在有监督学习中,训练样本是有类别标签的。现在假设我们只转载 2016-10-14 14:28:52 · 5954 阅读 · 0 评论 -
充分解析:从自编码到栈式自编码
从自编码到栈式自编码原文地址:http://blog.csdn.NET/hjimce/article/details/49106869作者:hjimce一、什么是自编码 简单的自编码是一种三层神经网络模型,包含了数据输入层、隐藏层、输出重构层,同时它是一种无监督学习模型。在有监督的神经网络中,我们的每个训练样本是(X,y),然后y一般是我们人工标注的数据。比转载 2016-10-26 14:22:58 · 2210 阅读 · 0 评论 -
生成模型与判别模型
生成模型与判别模型[email protected]://blog.csdn.net/zouxy09 一直在看论文的过程中遇到这个问题,折腾了不少时间,然后是下面的一点理解,不知道正确否。若有错误,还望各位前辈不吝指正,以免小弟一错再错。在此谢过。 一、决策函数Y=f(X)或者条件概率分布P(Y|X) 监督学习的任务就是从数转载 2016-10-19 09:20:22 · 355 阅读 · 0 评论