gaotihong的博客

解析PCA算法

简单介绍了t-sne的无监督学习

迁移学习的概述，入门简介

教程

123

凸优化算法

1234

123

​​​​​​轻量级网络：NetAdapt算法_坚硬果壳_的博客-CSDN博客1. Choose Number of Filters:这一步的重点是确定有多少过滤器保存在一个特定的层基于经验的测量。NetAdapt逐渐减少目标层中的过滤器数量，并测量每个简单网络的资源消耗。将选择能够满足当前资源约束的最大过滤器数量。注意，当从一个层中删除一些过滤器时，也应该删除以下层中的关联通道。因此，需要考虑其他层的资源消耗变化。2. Choose Which Filters:此步骤根据...

I3D简介视频的模型，最好要在视频的数据集上进行预训练。I3D模型在现有的数据集上，效果不错。(在本数据集上训练，然后微调，结果很好)在视频中间选一帧，然后做动作分类。效果已经很好了。摘要（1）提出了新的数据集以前的数据集太小，因此无法区分算法的优劣。因此重新构造了数据集。每个视频clip有10s，并且精准的切割(标注)。在此大规模上训练过的数据集，在小数据上有很大的提升。（2）提出了新的模型I3D ：双流扩展的3D网络。其来自2D网络的扩展，将已经训练好的2D网络

Few-shot learninghttps://www.youtube.com/watch?v=UkQ2FVpDxHg&list=PLvOO0btloRnuGl5OJM37a8c6auebn-rH2&index=1&t=3s1.问题的引出通过很少的样本来进行分类/回归给你四张图像，人类大概可以知道，查询图像是什么。同样，机器也需要知道。Support set：很少的数据集，例如每类图像有2张。这么少的样本不足以训练一个模型。传统的监督学习：让机

视频理解视频分类，也叫做动作识别，或者视频理解。因此对人的动作感兴趣。概述单个cnn仅适合学习局部信息，不适合学习移动信息。因此，学习光流到动作的映射。时间流网络：一系列的光流。 光流 观察者和场景中各种物体的运动。描述视频中各个物体时如何运动的。背景没有动。越亮的地方，运动越厉害。光流是非常有效的表示物体之间运动的特征。光流可以忽略性别，穿着等，仅仅关注与动作本身。3. 摘要3.1 需要同时获取两种信息：（1）静止图像的外观信息：形状，大小，颜色，

​​​​​​https://www.youtube.com/watch?v=3zSYMuDm6RU&list=PLvOO0btloRnuGl5OJM37a8c6auebn-​​​​​​rH2&index=3预训练 + 微调在大规模数据集上预训练，在support set上微调。方法简单，准确率高。预备知识1.1 cosine similarity投影的长度，在-1 和1 之间。如果长度不同，则就进行归一化。 softmax function 可以将一个向

siamese network本文介绍两种不同的训练方法每次取两个样本，比较他们的相似度训练这类网络，需要大的数据集，需要标注，每一类有很多样本。构造正样本-负样本。正样本：随机取一张图像，然后从同类别中，随机选另一张图像；负样本：随机取一张图像，排除掉本类别的图像，随机选另一张图像。搭建一个神经网络，用于提取特征F共享参数再用fc来处理z，最终得到标量。最后再用sigmoid，来处理标量，得到相似度。训练时，准备相同数量的正样本-负样本。...

Few-shot learninghttps://www.youtube.com/watch?v=UkQ2FVpDxHg&list=PLvOO0btloRnuGl5OJM37a8c6auebn-rH2&index=1&t=3s1.问题的引出通过很少的样本来进行分类/回归给你四张图像，人类大概可以知道，查询图像是什么。同样，机器也需要知道。Support set：很少的数据集，例如每类图像有2张。这么少的样本不足以训练一个模型。传统的监督学习：让机

四，VIT概述需要在的数据集上进行预训练。Vit本质为 transformer encoder网络。算法Vit将图片划分为大小相同的patches，可以重叠划分，也可以不重叠划分。每个patches都是RGB的图像，属于张量。需要将张量拉伸为向量。Fc对向量x进行线性变化，注意不采用relu，得到z，此处WB为参数，需要训练得到，并且所有patch共享参数。Z不仅编码了内容表征，而且包含位置信息。如果不用位置信息，会掉点3%。一定要

三，BERT1.概述BERT:预训练transformer中的encoder网络，可以大幅增加模型的准确率。基本思想，增加两个任务：随机遮挡1个或多个单词，让encoder网络根据上下文，预测被遮挡的单词。 把两个句子放在一起，让encoder判断这两句话是否为相邻的对话。用这两个任务训练transformer中的encoder网络。2. 预测被遮挡的单词Transformer encoder网络，输入一句话，被分成很多个单词，embedding将单词映射为词向量

二，采用attention和self-attention搭建深度神经网络multi-head self-attention此时输出1个序列c1,c2,…cm.此时为single-headL个单头注意力网络组成，每个单头注意力网络由三个参数。每个单头自注意 不会共享参数。共3l个参数。multi-head attention搭建深度神经网络的encoder采用multi-head self-attention + fc 搭建encoder。注意：此处fc会

Transformer1.简介非rnn结构，仅仅基于attention + fc现在机器翻译，全部用transformer + bert2. 回顾attentionHm:对所有的输入的概括根据状态sj，生成单词。新生成的单词，作为xn每一个s计算一个c（context vector）Decoder 的当前状态与encoder的所有状态做对比，用align函数计算相关性alpha。此处，WK,WQ,WV均为attention的参数，需要从训练集中学习到。此处的at

上面的案例，仅仅考虑了准确率的问题。但是对于移动端部署的模型，虽然仅仅推理，但是不能仅仅推理几次，就没电了。因此，设备端应用，要考虑计算量的问题，需要权衡计算量和准确率。下面介绍，在搜索神经网络的时候，考虑到计算量。推理时间：latency.最好几百ms。NN搜索时考虑到latency，希望小的latency，达到近似的精度。做NN搜索，选出CNN的最优参数，然后训练CNN，部署到iphone12.不同的block有不同的latency，因此需要事前知道不同的bloc

之前的方法，采用RNN + RL，那个代价太大。本节介绍的方法，是常用的方法。Darts：目标函数是NN结构超参数的可微函数，于时可以对目标函数，关于超参数求梯度，直接用梯度来更新超参数。这样不用RL，更好的找到RL。FBNet：是Darts的特例。基本思想用户需要手动定义一些模块，作为候选方案，例如：9中候选模块，包含conv以及其他。《候选模块越多，计算量越大，搜索越慢》。图为9个候选框的一个。输入为张量；经过conv，输出张量，其维度和输入相同。然后采用直连。用户

DPG包含两个网络：策略网络：控制action运动，故为actor，根据状态s做出决策a；价值网络：不控制action，基于状态s，给a打分，从而指导决策网络做出改进。Critic/策略网络：属于确定性函数。Theta是网络函数。其输入为s，输出不是概率分布，而是一个具体的动作a。给定s，输出的a是确定的，没有随机性。本例中，a是二维的，自由度为2。注意，a，不是说有两个动作，而是有很多动作。可以为实数，或者向量。价值网络：w为参数。基于s评价a的好坏。输出为实数，对动作a

一．基础知识https://www.youtube.com/watch?v=voWgnMpFaW8参数 & 超参数参数：权重超参数：结构参数（卷积层数，卷积核数，卷积尺寸）& 优化参数（优化器类型，学习率，batchsize，epoch等）CNN结构NASNAS:最优验证集，对应的模型的最优结构。此处不一定是验证集的准确率，对于移动端设备，还可以是：计算量&存储开销。搜索空间超参数的搜索空间太大，不能一一搜索。因此，需要手动设置一些指.

MNasNet核心点机器学习搜索最优模型； 多目标优化：精度 速度（pixel1上实测） 分层搜索结构即：以前是搜索一个block，然后model对这个block重复；根据自然规律，浅层的block和深层的block不同，因此文本的假设：每个block有很多层，每一层相同。每个block各自搜索结构。此处的搜索空间，要兼顾：多样性和有限性。摘要Float只是一个代理指标，例如：mobilenetv1和nasnet的float差不多，但是其速度差距很大。 过去搜索基本...

给一个案例，学习crf怎么使用。CRF 中文分词解码过程理解https://www.52nlp.cn/%E5%88%9D%E5%AD%A6%E8%80%85%E6%8A%A5%E9%81%933-crf-%E4%B8%AD%E6%96%87%E5%88%86%E8%AF%8D%E8%A7%A3%E7%A0%81%E8%BF%87%E7%A8%8B%E7%90%86%E8%A7%A3一，标记问题解决分词：就是将 词语开始和结束的字标记出来，就能对一个句子完成分词，假设使用两个标记B (开始)，

https://zhuanlan.zhihu.com/p/23966698期末考完试啦，趁着过年有时间，搬砖搬砖！导语：在上一篇《kd 树算法之思路篇》中，我们介绍了如何用二叉树格式记录空间内的距离，并以其为依据进行高效的索引。在本篇文章中，我们将详细介绍 kd 树的构造以及 kd 树上的 kNN 算法。作者：肖睿编辑：宏观经济算命师本文由JoinQuant量

http://www.datakit.cn/blog/2017/02/05/t_sne_full.html一、Visualizing Data using t-SNE论文链接：http://www.jmlr.org/papers/volume9/vandermaaten08a/vandermaaten08a.pdf t-SNE(t-distributed stochastic neigh...

http://www.datakit.cn/blog/2017/02/05/t_sne_full.htmlt-SNE(t-distributed stochastic neighbor embedding)是用于降维的一种机器学习算法，是由 Laurens van der Maaten 和 Geoffrey Hinton在08年提出来。此外，t-SNE 是一种非线性降维算法，非常适用于高维数据...

https://blog.csdn.net/jasonding1354/article/details/46340729对于分类问题，评价测度是准确率，但这种方法不适用于回归问题。我们使用针对连续数值的评价测度(evaluation metrics)。下面介绍三种常用的针对回归问题的评价测度In [21]:# define true and predicted response ...

在机器学习中，特征经常不是数值型的而是分类型的。举个例子，一个人可能有 ["male", "female"] ， ["from Europe", "from US", "from Asia"] ，["uses Firefox", "uses Chrome", "uses Safari", "uses Internet Explorer&qu

https://zhuanlan.zhihu.com/p/26444240（2018/2/6 更新：修改了部分名词的翻译）与其说是教程类的科普，不如说是一篇经验向的个人笔记，所以细节上比较懒。其实，我更打算把这篇文章做成一个索引，能够引用原版文档的就引用文档，尽量不重复翻译，毕竟各类文档本身信息量最充足、更新最及时。简洁是本文的第一原则。一些基础的暂时就不补充了，主要涉及一些奇技淫巧。...

https://blog.csdn.net/baidu_28858149/article/details/50553414偏度偏度（Skewness）： 是对Sample构成的分布的对称性状况的描述。计算时间序列 xx 的偏度，偏度用于衡量 xx 的对称性。若偏度为负，则 xx 均值左侧的离散度比右侧强;若偏度为正，则 xx均值左侧的离散度比右侧弱。对于正态分布(或严格对称分布)偏度等...

转自：http://www.jianshu.com/p/55755fc649b1 理解条件随机场最好的办法就是用一个现实的例子来说明它。但是目前中文的条件随机场文章鲜有这样干的，可能写文章的人都是大牛，不屑于举例子吧。于是乎，我翻译了这篇文章。希望对其他伙伴有所帮助。 原文在这里[http://blog.echen.me/2012/01/03/introduction-to-condition...

问题：1.multi-loss是啥2.两者有啥区别。 摘要：      贡献：提出了一种新的方法，Relay Backpropagation,使得有效信息可以在训练阶段被传播，此方法获得了ILSVRC 2015 Scene Classification 挑战的第一名。一.介绍      随着近年来卷积神经网络CNN的应用，在许多计算机视觉任务中获得了巨大的突破；与此同时...

作者：露秋链接：https://zhuanlan.zhihu.com/p/44612080来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 此文承接《Faster R-CNN 论文阅读记录（一）：概览》。Faster R-CNN 论文是我目前阅读论文里面花费的时间最长的，前前后后差不多花费了一周的时间。被里面的训练细节、anchor 的挑选等困惑，在网上找...

https://www.joinquant.com/post/2627导语：kd 树是一种二叉树数据结构，可以用来进行高效的 kNN 计算。kd 树算法偏于复杂，本篇将先介绍以二叉树的形式来记录和索引空间的思路，以便读者更轻松地理解 kd 树。作者：肖睿编辑：宏观经济算命师本文由JoinQuant量化课堂退出，本文的难度属于进阶（上），深度为level-1。阅读