机器学习概要
文章平均质量分 94
work_coder
这个作者很懒,什么都没留下…
展开
-
深度学习:加速训练的方法
https://blog.csdn.net/xuqiaobo/article/details/60769330加速训练的方法内部方法网络结构的选择 比如 CNN 与 RNN,前者更适合并行架构 优化算法的改进:动量、自适应学习率 减少参数规模 比如使用 GRU 代替 LSTM 参数初始化 Batch Normalization mini-batch 的调整外...原创 2019-01-05 12:02:06 · 3323 阅读 · 0 评论 -
机器学习:数据降维:PCA 、LDA
参考博文:https://www.cnblogs.com/xbinworld/archive/2011/11/24/pca.html一、数据预处理降维机器学习领域中所谓的降维就是指采用某种映射方法,将原高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数 f : x->y,其中x是原始数据点的表达,目前最多使用向量表达形式。 y是数据点映射后的低维向量表达,通常y的维...原创 2019-01-09 09:57:29 · 461 阅读 · 0 评论 -
深度学习:欠拟合、过拟合、正则化,BN ,L1/L2 范数正则化、bagging集成,dropout
https://github.com/imhuay/Algorithm_Interview_Notes-Chinese一、欠拟合、过拟合欠拟合指模型不能在训练集上获得足够低的训练误差;过拟合指模型的训练误差与测试误差(泛化误差)之间差距过大;反映在评价指标上,就是模型在训练集上表现良好,但是在测试集和新数据上表现一般(泛化能力差);降低过拟合风险的方法所有为了减少测试误差的...原创 2019-01-05 11:33:48 · 1799 阅读 · 0 评论 -
机器学习:偏差、方差,生成模型,判别模型,先验概率,后验概率
一、偏差、方差偏差与方差分别是用于衡量一个模型泛化误差的两个方面;模型的偏差,指的是模型预测的期望值与真实值之间的差;模型的方差,指的是模型预测的期望值与预测值之间的差平方和;在监督学习中,模型的泛化误差可分解为偏差、方差与噪声之和。偏差用于描述模型的拟合能力;方差用于描述模型的稳定性。导致偏差和方差的原因偏差通常是由于我们对学习算法做了错误的假设,或者模型...原创 2019-01-15 21:30:33 · 6703 阅读 · 16 评论 -
机器学习:超参数的选择,余弦距离vs欧式距离vs曼哈顿距离
一、超参数选择Grid Search网格搜索 在高维空间中对一定区域进行遍历Random Search在高维空间中随机选择若干超参数二、余弦相似度(Cos距离)与欧氏距离的区别和联系欧式距离和余弦相似度都能度量 2 个向量之间的相似度 放到向量空间中看,欧式距离衡量两点之间的直线距离,而余弦相似度计算的是两个向量之间的夹角 没有归一化时,欧式距离的范围是 (0, +∞],...原创 2019-01-15 21:36:06 · 6553 阅读 · 10 评论 -
机器学习:完整机器学习项目流程,数据清洗
一、完整机器学习项目流程 数学抽象--任务目标 明确问题是进行机器学习的第一步。机器学习的训练过程通常都是一件非常耗时的事情,胡乱尝试时间成本是非常高的。 这里的抽象成数学问题,指的是根据数据明确任务目标,是分类、还是回归,或者是聚类。 数据获取--数据集 数据决定了机器学习结果的上限,而算法只是尽可能逼近这个上限。 数据要有代表性,否则必然会过拟合。 对于分类...原创 2019-01-15 21:46:56 · 12457 阅读 · 17 评论 -
深度学习:tensorflow基础知识,损失函数
一、tensorflow的计算图Tensorflow是一个通过计算图的形式来表述计算的编程系统,计算图也叫数据流图,可以把计算图看做是一种有向图,Tensorflow中的每一个节点都是计算图上的一个Tensor, 也就是张量,而节点之间的边描述了计算之间的依赖关系(定义时)和数学操作(运算时)。a=x*y; b=a+z; c=tf.reduce_sum(b);二、tensorf...原创 2018-08-07 16:54:20 · 592 阅读 · 1 评论 -
深度学习:空洞卷积dilated convolution
https://zhuanlan.zhihu.com/p/43784441一、空洞卷积概念引入空洞卷积不得不提的是感受野,感受野就是卷积神经网络的每一层输出的特征图(fe ature map)上的像素点在原图像上映射的区域大小。空洞卷积主要为了解决图像分割中的一些问题而提出的,在FCN中通过pooling增大感受野缩小图像尺寸,然后通过upsampling还原图像尺寸,但是这个过程中造成了...原创 2019-02-25 12:03:50 · 1226 阅读 · 0 评论 -
深度学习:语义分割 FCN与Unet
参考:https://blog.csdn.net/wyzjack47/article/details/81107980图像分割:什么是图像分割问题呢? 简单的来讲就是给一张图像,检测是用框出框出物体,而图像分割分出一个物体的准确轮廓。也这样考虑,给出一张图像 I,这个问题就是求一个函数,从I映射到Mask。至于怎么求这个函数有多种方法。我们可以看到这个图,左边是给出图像,可以看到人和摩...原创 2019-02-25 15:29:15 · 17690 阅读 · 7 评论 -
深度学习:损失函数,平方差,交叉熵,指数,Hinge(SVM)
参考博文:https://blog.csdn.net/App_12062011/article/details/56276228一、损失函数 损失函数和代价函数是同一个东西,目标函数是一个与他们相关但更广的概念,对于目标函数来说在有约束条件下的最小化就是损失函数(loss function)。度量模型,指导模型训练,因此损失函数的设计和模型结构设计一样的重要,...原创 2018-11-07 19:15:24 · 5384 阅读 · 0 评论 -
深度学习:YOLO系列
一、YOLO v1 (CVPR2016, oral) 将检测作为回归问题基于end-to-end 网络设计(You Only Look Once: Unified, Real-Time Object Detection)可参考文章:https://zhuanlan.zhihu.com/p/27029015Faster R-CNN的方法目前是主流的目标检测方法,但是速度上并不能满足实时...原创 2018-11-04 18:34:31 · 5175 阅读 · 0 评论 -
机器学习:优化方式:梯度下降(随机,批量),动量,adagrad,Adam /未完
一、梯度下降 梯度下降是一种优化算法,通过迭代的方式寻找模型的最优参数; 所谓最优参数指的是使目标函数达到最小值时的参数; 当目标函数是凸函数时,梯度下降的解是全局最优解;但在一般情况下,梯度下降无法保证全局最优。 微积分中使用梯度表示函数增长最快的方向;因此,神经网络中使用负梯度来指示目标函数下降最快的方向。 梯度实际上是损失函数对网络中每个参数的偏导所组成的向量; 梯...原创 2018-11-07 19:14:58 · 873 阅读 · 0 评论 -
深度学习:感受野、卷积,反池化,反卷积,卷积可解释性,CAM ,G_CAM,为什么使用CNN替代RNN?
凭什么相信你,我的CNN模型?(篇一:CAM和Grad-CAM):https://www.jianshu.com/p/1d7b5c4ecb93凭什么相信你,我的CNN模型?(篇二:万金油LIME):http://bindog.github.io/blog/2018/02/11/model-explanation-2/卷积和反卷积 :https://blog.csdn.net/Fate_fj...原创 2018-10-16 16:43:07 · 11307 阅读 · 0 评论 -
机器学习:RNN
1、RNN基本机构 RNN 本质上是一个递推函数 考虑当前输入 x(t) 以上计算公式可展开为如下计算图(无输出单元) RNN 的前向传播公式一般 h(0) 会初始化为 0 向量;并使用 tanh 作为激活函数 f2、RNN常见的几种设计模式RNN 一般包括以下几种设计模式 每个时间步都有输出,且隐藏单元之间有...原创 2019-01-11 11:46:44 · 732 阅读 · 0 评论 -
机器学习:判别模型,生成模型,朴素贝叶斯,高斯生成模型
判别、生成区别:http://blog.sciencenet.cn/home.php?mod=space&uid=248173&do=blog&id=227964朴素贝叶斯和高斯判别分析:https://www.cnblogs.com/zyber/p/6490663.html一:判别、生成1、 生成模型:无穷样本==》概率密度模型 = 产生模型==》预测:隐马尔...原创 2018-12-24 17:49:42 · 801 阅读 · 0 评论 -
机器学习:SVM
https://blog.csdn.net/v_JULY_v/article/details/7624837一、SVM简介 支持向量机,因其英文名为support vector machine,故一般简称SVM,通俗来讲,它是一种二类分类模型,其基本模型定义为特征空间上的间隔最大的线性分类器,其学习策略便是间隔最大化,最终可转化为一个凸二次规划问题的求解。1.1、分类标准的起源...原创 2018-12-22 16:13:03 · 452 阅读 · 0 评论 -
机器学习:评价指标:分类问题、回归问题、排序问题
参考:链接:https://www.jianshu.com/p/4dde15a56d44https://blog.csdn.net/heyongluoyao8/article/details/49408319评价指标(Evaluation metrics) 评价指标是机器学习任务中非常重要的一环。不同的机器学习任务有着不同的评价指标,同时同一种机器学习任务也有着不同的评价指标,每个指...原创 2018-11-25 20:52:28 · 17709 阅读 · 0 评论 -
深度学习:经典网络模型lenet,alexnet,vggnet,googlenet,Resnet,densenet可解释性
在CNN网络结构的进化过程中,出现过许多优秀的CNN网络,如:LeNet,AlexNet,VGG-Net,GoogLeNet,ResNet,DesNet.提出年份主要方向:网络加深,增强卷积模块1、LeNet:LeNet诞生于1998年,网络结构比较完整,包括卷积层、pooling层、全连接层。被认为是CNN的鼻祖。输入32*32*1卷积层3个:卷积的主要目的是...原创 2018-11-07 17:03:49 · 15240 阅读 · 1 评论 -
深度学习:卷积神经网络,卷积,激活函数,池化,卷积问题
卷积神经网络——输入层、卷积层、激活函数、池化层、全连接层https://blog.csdn.net/yjl9122/article/details/70198357?utm_source=blogxgwz3一、卷积层特征提取输入图像是32*32*3,3是它的深度(即R、G、B),卷积层是一个5*5*3的filter(感受野),这里注意:感受野的深度必须和输入图像的深度相同。通...原创 2018-10-15 21:55:03 · 35955 阅读 · 1 评论 -
深度学习:batch normlization
https://www.zhihu.com/question/38102762/answer/607815171数据经过归一化和标准化后可以加快梯度下降的求解速度,这就是Batch Normalization等技术非常流行的原因,它使得可以使用更大的学习率更稳定地进行梯度传播,甚至增加网络的泛化能力.一、什么是归一化/标准化Normalization是一个统计学中的概念,我们可以叫它归...原创 2019-03-03 17:25:55 · 703 阅读 · 0 评论