g1162141320-CSDN博客

原创本周杂记

一、meta-learning 首先介绍上次组会提到的meta-learning 机器的学习过程需要大量的数据使机器学到输入数据对应的特征，而人在学习的过程中只需要看几张图片就可以分出猫和狗的区别，因此让机器只接触少量数据样本也能学到同样效果就是meta-learning想要学的。元学习希望学到的模型具有很好的泛化能力，即对于多种任务都能在经过少量数据学习后适应新的任务。这个适应的过程可以看作是机器调整模型让模型更适合学习这个任务的过程，也就是“学习如何去学习”。元学习应用有很多用途，比如

2020-09-01 16:51:58 380 1

原创 Non-local Neural Networks | 论文笔记

最近几次组会讲的论文都有用到non-local，所以对此进行记录。一、简述文中提到，卷积和循环算子都是对局部区域进行操作，而本文收到NL-means的启发，提出一种非局部计算方式来获取长距离依赖，这种依赖可以是图片中有一定距离的两个像素，可以是视频中的两帧，也可以是某段文字中的两个词语，所以他的计算是考虑特征图中所有信息的加权，时间或空间。二、思想本文的提出是受到NL-means的启发，所以对NL-means进行简要介绍。 NL-means：非局部均值在图像

2020-08-20 18:03:23 360

原创关于强化学习（Reinforcement Learning）

一、前述监督学习中，对于任意样本都提前给予了正确标签，但在实际生活中，很多情况无法给出正确的标签，需要机器自己去摸索学习得到一个好的“策略”，这一摸索的过程就可以称为强化学习。强化学习任务通常用马尔可夫决策过程（Markov Decision Process, MDP）描述。MDP具有无后效性，也就是说系统的下个状态只与当前状态信息有关，而与更早之前的状态无关。MDP在此基础上有些变化，不止与当前状态有关，还包括了当前要采取的动作。一个马尔可夫决策过程通常由四元组组成：M =（

2020-08-20 15:54:59 526

原创关于降维（(Dimensionality Reduction）

一、前言机器学习过程中都是根据特征进行学习，而每个机器学习的问题都可能包含成千上万的特征，训练时过多的特征数量会导致训练效率低下，这里引入了一个问题——维度灾难。维度灾难这里通过一个例子进行说明：假设一个三维立方体边长为1，那么它的体积为1，而他的内接球体积为43πr3\dfrac{4}{3}\pi r^{3}34πr3，其中r<1，而如果在高维空间（假设为K）中，高维立方体体积仍为1，但内接球体积变为43πrK\dfrac{4}{3}\pi r^{K}34πrK，因

2020-08-11 15:52:04 2066

原创关于聚类（Clustering）

聚类一、简介聚类即物以类聚，他是为了实现将数据按照某一标准（相似度）将整个数据集分为若干子集（簇），最终的分类结果要尽量保证组内相似度尽可能大，组间相似度尽可能小。聚类是典型的无监督学习（Unsupervised learning），它与分类问题最明显的区别就是分类问题有事先的标注，而聚类的分组是完全靠自己学习得来的。聚类可以作为一个单独的学习过程，为了寻找数据的内部分布结构，也可以作为其他任务的前驱过程。二、相似度度量上面提到聚类的分类需要按照某一标准进行分类，

2020-08-01 12:37:57 1094

原创 FCOS: Fully Convolutional One-Stage Object Detection | 论文笔记

论文地址FCOS: Fully Convolutional One-Stage Object Detection摘要本文提出了一个全卷积的单阶段目标检测算法FCOS，类似语义分割，是像素级的。时下应用比较广泛的效果比较好的诸如RetinaNet、SSD、YOLOv3、Faster R-CNN之类的目标检测算法，都使用到了预定义的anchor，但本文提出了anchor free和proposal free的FCOS。这样不仅避免了和anchor框相关的IoU的计算，降低了计算资源的占用，同时也避

2020-07-23 19:43:34 201

原创对Attention 机制的简单理解

参考文章浅谈 Attention 机制的理解attention机制原理及简单实现深度学习中的注意力机制Attention 机制是什么？对于注意力机制，单从名字上理解可以理解为生物观察事物时的注意点都着重在什么地方，比如当我们想看汽车的轮胎时，我们的注意力会向汽车的下半部分看，这就是注意力的焦点，这个机制正是想模仿这种行为，使机器的学习过程有侧重点。注意力的实现过程，简单说可以说是对一系列注意力分配系数，然后通过权重比例分配侧重点。详述根据所学习的博客，这里也使用Encoder-

2020-07-18 13:08:44 565

原创 Ensemble Learning

集成学习（Ensemble Learning），顾名思义就是将多个学习器集成为一个学习器，集百家之长来使最后的成果表现优异。集成学习的方法可以分为两类：一类是序列化集成：这一类学习器参与训练时需要之前的学习器的学习结果，利用了学习器之间的依赖关系，使其需要串行组合（如AdaBoost，GBM）。另一类是并行集成，这类学习器不像上一类有强依赖关系，利用其相互之间的独立性对学习器并行组合（如Bagging）。所以集成学习是一种学习器结合的方法，通常多个学习器的效果

2020-07-08 10:33:54 169

原创决策树

本文主要对有关决策树所学知识进行总结，其中包括简介、几个相关的算法介绍（ID3、C4.5、CART）和决策树的剪枝。一、决策树模型简介决策树的抉择过程，可以看作是一个if else的判断过程，通过判断不断向下分支最终使问题形象为一棵树。决策树学习本质上是从训练数据集中归纳出一组分类规则，我们需要的是一个与训练数据矛盾较小的决策树，同时具有很好的泛化能力。 1、决策树的结构决策树整体由结点和有向边组成。其中节点分为根节点、内部节点和叶节点。决策树最顶点是根节点，包含所有的

2020-07-04 19:04:47 810

原创 Machine Learning第六记——SVM

支持向量机（Support Vector Machine，SVM）是一类对数据进行二元分类的线性分类器，同时配合核函数，可以实现非线性分类。算法推导过程配合了复杂的数学理论，下面对此进行一一介绍，并通过介绍加深我对此算法的理解。一、最大间隔超平面在多维空间中，能将两类样本点A、B正确分开的 wx + b = 0即为一个超平面。为了使超平面具有更好的鲁棒性，需要找一个最佳超平面，这个超平面与距离它最近的样本点有最远的距离，即最大间隔超平面，如下图中间的实线所示。为了实现离最近的样本点最远，

2020-06-22 17:34:31 539

原创 Machine Learning第五记——HW3、HW4

HW3——Regularization 对于正则化的使用即是为了缓解训练过程中出现的过拟合现象。本实验即为验证正则化在训练过程中的实际效果。下面分别为无正则项的loss计算公式和有正则项的loss计算公式：后面带λ的项即为正则化项。这里计算时有一点需要注意，即正则项计算时不计算权重集θ的第一个权重。我理解的原因是：使用正则化来避免过拟合是为了使训练得到的模型不对训练集中的特征值过于拟合，而权重集第一个数值是偏执值，偏执值是不需要与训练样本的特征值进行乘积计算的，而是在特征与权

2020-06-12 17:21:46 1550

原创 Machine Learning第四记——Deep Learning部分知识简介

一、Deep Learning 有关发展历史不再一一赘述，看深度学习的发展过程，我理解的深度学习即为输入、输出、中间网络构成。其中中间网络通过多层的叠加实现不断地特征学习，学习出想要达到的目的的网络，这整个过程即可理解为深度学习。二、Why Deep 在为什么深度学习需要多层网络的解释上，李宏毅老师首先将其比作一个模块化的过程。首先看上面第一幅图，图中可以看出长发男这一样本集很少，但经过模块化之后可以获得较好的学习效果。这个过程可以从第二幅图中进行解释。首先我们训练过程中不去

2020-06-08 22:11:03 224

原创 Machine Learning第三记——HW_2---Logistic Regression

一、Classification 上一课学到了机器学习中传统的回归问题，类似根据已有数据预测未来数据的一些实验都可以用到回归。这次又进行了一个新的方向，分类问题。我们知道回归问题可以画出线性或者非线性的线在图像中表现出来，那么我们是否可以利用回归对分类做模型呢？下面看两张图：这两幅图是利用回归做出的模型效果，左图可以看出，对于十分理想的情况下，通过回归确实可以完成分类模型，但从右图中，可以发现，一旦出现极端数据，由于回归会为满足所有数据而摆动，所以会出现右图紫色线的情况。在这时，明明可以

2020-05-30 21:35:31 335

原创 Machine Learning第二记——Gradient Descent

一、Learning Rate 针对学习率首先看下面两幅图片：第一幅图显示了四种大小的学习率分别会如何走。从图中可以看出在学习率过小时，前进的步幅过小，如果要训练至损失最低点，需要过多的迭代次数；而对于过大的学习率存在两种可能，走至一定低点开始反复跳动，因为学习率过大，走不到再低的点。也有可能直接跑飞，如黄色线；只有在刚刚好时，才能得到很好的学习结果并且能快速得到，如红色线。因此对于梯度下降的过程来说，学习率的设置十分关键。（一）Adaptive Learning Rates

2020-05-28 20:28:47 183

原创 Machine Learning第一记——Regression

一、概述首先对于回归来说，有单变量线性回归，多变量线性回归，多项式回归等多种类型。单变量顾名思义，针对一个特征进行模型训练，获得一个针对这个特征的预测模型，但由于现实生活中的影响因素是多样的，单变量并不适用于现状，所以出现了多变量线性回归，模型可以在考虑多种影响特征的情况下进行预测，更符合实际。但是线性回归过于理想，在我们生活中不可能所有规律都是线性的，这时候，多项式回归就变得更为符合，这种依次递进的形式，使得回归模型越来越成熟。二、课程主要笔记点（一）Loss Function

2020-05-19 12:37:05 493

g1162141320的博客