- 博客(34)
- 收藏
- 关注
RSS订阅原创 在本地使用远程服务器上的jupyter notebook服务（同时开启多个notebook）
因为服务器常常放置在远程，且没有显示器支持，因此我们需要在本地计算机显示和使用远程服务器（linux服务器）上的jupyter notebook服务。要实现此目的，需要进行三步操作：1. 在服务器端启动jupyter notebook，同时指定端口：即，cd到需要开启notebook的directory之中，然后jupyter notebook --no-browser --por...
2019-09-16 12:39:06
3574
原创 PyTorch使用tensorboard（远程服务器和本地计算机的联动）
本文基于Ubuntu16.04系统，Python3.7---------------------------------------------------------------------------------首先是配置PyTorch和tensorboard的版本1. PyTorch >= 1.1.0 版本，2. tensorboard版本 >= 1.1.15 (...
2019-08-23 18:36:58
4055
原创 Ubuntu16.04服务器上用conda安装PyTorch、torchvision、cuda
首先感叹，Firewall性能杠杠的！再简单谈一谈我对pip和conda这两个指令（即两个program，在系统的/bin directory中能找到对应的二进制可执行文件，且被添加在了系统的$PATH（路径）中）的认识。pip和conda这两个指令是在系统中安装python program（软件和工具包等）的工具。这两个指令的执行，均是先从其对应的config文件中找到相应待安装pr...
2019-08-23 15:55:57
7041
2
原创 Linux入门级概念理解和tips
Linux General Info: Linux OS is actually a combination of the GNU project (providing all the quirks and features wrapping around the kernel such as file systems and package managers) and the Linux ...
2019-08-18 21:07:33
242
原创 Jupyter Notebook 入门级shortcuts 和 tips
Jupyter notebook is a sequential collection of cells. Cell can be in either Edit (green colored) & Command (blue colored) mode, and cell has Raw(R), Markdown(M), and Code(Y) types.Cell types can...
2019-08-18 21:04:36
366
原创 Mac OS与Linux的关系，以及如何在Mac OS设备上管理Python多版本
Mac OS、GNU linux OS、Unix OS，似乎有着相似的指令行和shell功能，但却是完全不同的操作系统。只不过，linux和Mac OS，都有类Unix的性质。 Unix OS Unix出现的最早，所以似乎扮演了大家的爸爸的角色。Unix是由Bell lab开发的服务器级（不支持PC）、贼贵的操作系统。Unix使用X Window（一个跑在Unix内核外的应用）构...
2019-08-11 17:36:25
721
原创 Linux系统内基础知识的个人感悟
初入江湖，在下菜鸟，还请大佬指点。这里浅谈自己对一些linux常见概念的入门级感悟。----------------------------------------------------------------- 感 谢 大 佬 赏 脸 ------------------------------------------------------------------------我的理解...
2019-08-11 16:51:42
290
原创 续接上文，关于深度可分离卷积与传统卷积的一点思考
关于深度可分离卷积（DSC）与传统卷积间差别的一点点思考，望各位大佬指正。DSC是将Conv对spatial（receptive-field-wise）和semantic（channel-wise）的同时学习给一分为二了。在分开的这两个阶段中，Stage 1. depthwise conv用通道为1的多个“薄”卷积核仅学习各个input通道上的空间特征；Stage 2. pointwise...
2019-08-11 10:41:48
893
原创 关于卷积操作（Convolution）的理解（参数量和运算量计算），以及网络轻量化（MobileNet Inspired Depthwise Separable Conv深度可分离卷积）
深度学习，尤其是深度卷积网络的迅猛发展，使得其在存储和算力奢侈的GPU（多GPU）上的部属趋于成熟。然而，将基于深度CNN的方法有效移植到存储和算力有限的移动设备端（手机、Pad、嵌入式设备等）面临诸多挑战。核心挑战就是如何降低CNN对memory（存储）和FLOPS（算力）的要求，但又保持CNN的性能（相比于其在GPU端的原貌）没有显著衰减。为解决这一核心挑战，我们就需要研究网络轻量化，具体...
2019-08-10 18:51:41
4765
1
原创 在计算机视觉任务中摸索domain adaptation and transfer learning，新手入门浅谈心得
文中我们用DA代之domain adaptation，TL代指transfer learning。本人初涉这个领域，若下文心得有误，望各位看官老爷/娘娘海涵。read with caution ：）故事如何讲起呢？首先明确一个故事背景：我们有Source domain（S）和Target domain（T）这两个东西。domain这个概念太玄乎了，什么叫domain？domain就...
2019-03-12 20:30:05
2106
原创 关于导数（derivative），偏导数（partial derivative），梯度（gradient）的概念辨析
在研究深度学，尤其时back-propagation算法时，对梯度和偏导的概念有很多涉及。个人数学功底渣渣，通过多处求证，在这里简单回顾梳理一下，以避免混淆模糊，便于不时查阅。首先，导数仅定义在一元函数y = f(x)上，而偏导和梯度是定义在多元函数y = f(x1,x2,x3,..,xn)上；导数和偏导是实数，梯度是一个向量。导数：derivative：有一阶和高阶导数（high ord...
2018-12-09 17:20:26
6604
1
原创 关于focal loss和分类任务中的hard negative（positive）mining
深度学习，数据是关键。在训练一个分类器的时候，对数据的要求是class balance，即不同标签的样本量都要充足且相仿。然而，这个要求在现实应用中往往很难得到保证。下面我以基于检测的单目标跟踪举例分析这个问题。visual object tracking是在一段视频中跟踪一个特定目标。常见的方法有one-stage regression（比如correlation filter tr...
2018-12-09 17:09:59
3837
原创 关于Stochastic Gradient Descent和机器学习的优化问题
给定一个问题以及相应的data (是一个sample pair（x，y）)，若采用机器学习的手段来解决，那么要分两步走：1. 模型选择：即选定一族函数 F，这个大F可以是SVM，linear regression，boosting，或者nerual networks（neural network就是一个funciton approximator）等等。2. 模型参数估计：选定了模型即选定...
2018-12-05 18:17:36
1143
原创 关于神经网络的训练与优化的一些想法。Thoughts about optimization & training in Neural Networks--back propagation & SGD
一个神经网络是一个遵循连接原则级联构成的函数逼近器（function approximation）。这个function将输入x转化成输出y。以image classification为例，x是图片，y是labels。对于一个神经网络的训练，是指通过trail-and-error来获得网络中所有参数w的最优值。当网络中所有参数都取得最优值时，该网络针对某个损失函数可以在给定样本集上得到最低lo...
2018-12-05 15:59:28
593
原创 2017 NIPS《Deep Hyperspherical Learning》读后感
本文提出的是一个极其顶层的深度学习概念：Learning with angular information between w and x on Hyperspheres。本着这个精神，作者提出了SphereConve，depend on which SphereNet is established，which is then trained with Angualr Softmax loss。...
2018-12-01 21:25:47
685
原创 CVPR2018 Spotlight 《Decoupled Networks》读后感
首先要明确的最顶层的概念是：CNN是一个visual representation learning的过程，所有的convolutional filters wi是学到的features template，每一个convolutional操作就是一个template matching，通过dot-product这种计算方式来量化滑窗位置的image patch xi与convolutional f...
2018-12-01 16:32:18
764
原创 Tensorflow和PyTorch的浅解
下文简称Tensorflow为TF，PyTorch为PT。TF出自Google之手（2015年），而PT是来自Facebook AI的一个python package（2016）。两者皆是基于Python的深度学习开发平台。其中，TF较早于PT出现，且是最广为使用的平台。然而，近年来PT大有赶超之势。本文浅谈TF和PT的异同。首先，PT是Torch的Python再开发版。Torch本是就是一个基于...
2018-11-28 17:37:39
785
原创 机器学习之参数估计
万事皆有规律可循。学习就是去捕捉和掌握万事发生的规律。数学地说，给定一个x（事起之因），遵循一个规律 F（*），可得一个y（事终之果）。学习，无论人还是机器，就是去总结归纳这个F（*）。当这个规律异常复杂从而无法显式地用数学公式直接写出来或者编程，而同时我们又围绕这个规律掌握有大量的（x，y）因果样本时，就可以采取数据驱动的方式（data-driven），来“机器学习”这个规律F（*）...
2018-11-27 17:09:43
2469
原创 关于神经网络的capacity、regularization、generalization
以一个ANN（MLP，级联的FC网络）为例，每一层的每一个units（neurons）代表着这一层所构建的特征空间中的一维，或者是这一层所能代表类别的某一类别的confidence：（即若ANN中的某一层有3个neuron，后一层有5个neuron，y = W * x + b, 这两层之间的W是一个5*3的矩阵。那么这两层相当于把输入为3 * dim的一个feature map转换成5 * d...
2018-09-19 15:31:22
1693
原创 关于输入为graph的CNN：Graph CNN
大千世界，所有可见的数据可分为两类：Euclidean Data & Non-Euclidean Data。目前在Deep Learning的范畴里，CNN和RNN的世界里，广泛应用的images，sentences，waves，等等，都属于Euclidean data。欧式数据，直观理解为具有工整（栅格化的：grid-like）对称性的数据。然而，网络的概念在现实生活中也是普遍存...
2018-09-18 18:07:31
6877
原创 Neural Networks的regularization技巧：谈谈网络的泛化能力与noise、Inductive Bias的关系
一切要从overfitting（简称OF）和网络的generalization capability（简称GC）能力说起。overfitting是因为网络的繁华能力不足。从有限的训练集期待学到具有无限表达能力的网络，本来就是伪命题，“infinite use by finite means”，所以overfitting是一件不可根除，只能减轻的事情。因为相比于无穷的待测试空间，训练集空间总...
2018-08-31 18:52:55
2300
原创 关于Neural Network（MLPs）的训练前准备：数据预处理和网络初始化
训练一个的Neural Network（特指由FC层和non-linearity构成的MLP式网络），为了达到又快又好的convergence，训练前的准备非常重要。这里主要谈个主要的预训练措施：数据预处理 and 网络初始化。一. 数据预处理：本文还是以在CIFAR-10上做10分类任务为背景展开（训练集50000张32 * 32 * 3 = 3072dim的图片，X∈[N , D] =...
2018-08-31 16:51:38
1993
原创 关于MLP（FC layers based classifier，or ANNs in general）中matrix multiplication能够实现并行计算，提高effficiency的理解
在一个形如 y = W2 * α（W1 * x + b）的分类器中， W1参数矩阵（hidden layer L1）的行数代表着该层多个neuron的并行计算； x input矩阵的列数代表着一个mini-batch的所有samples的并行计算； ...
2018-08-30 18:39:04
1376
原创 浅谈线性多分类分类器（全连接层、SVM、Softmax classifier等）
本文在CIFAR-10数据集上举例。CIFAR-10的训练集有50000张32*32*3的图片，包括10个类别。因此形成一个32*32*3 = 3072维的样本空间，此空间中其中包括50000个样本点。一个机器学习（包括深度学习）多分类器的生命周期包括3大模块：1.Score Function：将3072维的input xi转化成一个10维的classfication score ve...
2018-08-30 11:28:35
20340
1
原创 贝叶斯分类器：机器学习背景下浅聊自己对先验、后验、likelihood、Evidence与贝叶斯公式的理解
贝叶斯分类器是传统机器学习模型的一种，是在概率框架下利用训练集D观测估计样本属性（feature）与分类结果之间的后验概率关系。后验概率，就是在观测过样本的属性（feature）之后对其分类情况的概率分布（比如0.3的概率是正类，0.7的概率是反类）。贝叶斯分类器直观看就是一个由在样本集D上学习到的后验概率和likelihood组成的计算公式，在测试阶段，将输入测试样本的feature带入可以计算...
2018-08-20 22:41:07
4345
原创 CVPR17论文有感：A-Fast-RCNN: Hard Positive Generation via Adversary for Object Detection
A-Fast-RCNN: Hard Positive Generation via Adversary for Object Detection还是那个老故事，即如何解决Deep检测跟踪器训练时正样本（尤其在occlusion和deformation情况下的hard positive）不足的问题。这个问题的紧迫性在于这样样本的缺失导致训练所得网络在occlusion、deformation等a...
2018-08-09 17:58:32
1230
3
原创 关于解决深度监测和跟踪器训练时hard postive样本不足的问题，三篇CVPR文章有感
还是那个老故事，即如何解决Deep检测跟踪器训练时正样本（尤其在occlusion和deformation情况下的hard positive）不足的问题。这个问题的紧迫性在于这样样本的缺失导致训练所得网络在occlusion、deformation等appearance variation情况下的鲁棒性不足。 传统解决此问题有两个方向的思路：1. 尽可能收集和建立越...
2018-08-09 12:06:53
571
原创 CVPR2018读文笔记：VITAL：VIsual Tracking via Adversarial Learning
CVPR2018一共有三篇用Adverarial思想做tracking的文章。VITAL和SINT++不约而同都是处于利用adverarial的概念对缺乏diversity的在线采集正样本进行增强。本文是UC Merced 大神Ming-Hsuan Yang与腾讯的强强联合，推出的一篇性能比肩ECO和MDNet的online trained two-stage T-by-D tracker。本...
2018-08-08 19:45:52
1688
1
原创 CVPR18读文笔记：SINT++：Robust Visual Tracking via Adversarial Postive Instance Generation
CVPR18一共出现了3篇将Adersarial概念应用于tracking，解决正样本弱的问题。VITAL是用了GAN，惊为天人。本文国产，索然性能不是最优，但是VAE+DRL+SINT的集大成之作，还是足够significant。本文主旨：Improve the robustness of visual tracking through the generation of hard pos...
2018-08-08 18:58:48
2488
原创 In Defense of MOT：读CVPR17《Deep Network Flow for Multi-Object Tracking》有感
多目标跟踪的帧间数据关联可以分为online（frame-by-frame）和offline（batch-by-batch）两类。前者讲究追求real-time tracking，跟踪结果的给出无时延，理论上讲可以拼Real-time（可惜往往没戏嘻嘻。。）；后者讲究利用前后帧更多的信息，即在一个time window中一次性实现多帧的关联，用精度换速度换时效性。不可避免地带了了输出的迟滞，而且关...
2018-08-07 10:42:40
2072
2
原创 多目标跟踪数据关联的二部图解：CVPR18多目标跟踪开创性深度端到端二部图匹配佳作《Deep Learning of Graph Matching》读后有感
多目标跟踪算法的核心以及瓶颈之处，即是在得到两个set的DR（detection response，其中一个前序set可能是tracklets，但也由DR来表征）之后如何实现二部图匹配。传统的Hungarian算法和Kuhn-Munkras算法可以在最理想情况下以O（n^2）时间复杂度求解。但是在深度学习的时代，如何由DL得方式解决多目标跟踪中的data association问题，也即一个类二部...
2018-08-07 10:14:11
6328
2
原创 GNN新作《Relational inductive biases，deep learning，and graph networks》读书笔记
当下AI的瓶颈：静观现有AI，尤其是Deep Learning的发展如火如荼，几大热炒的明星模型无非MLP，CNN，和RNN。这些模型更倾向于是对现实世界的representation learning，其最大的问题有二：Combinatorial Generalization （CG）：即泛化能力，如何解决利用有限样本学习无限可能的这个本质难点，即如何实现‘infinite use of ...
2018-08-07 09:51:30
7752
2
转载 解读tensorflow之rnn
from: http://lan2720.github.io/2016/07/16/%E8%A7%A3%E8%AF%BBtensorflow%E4%B9%8Brnn/这两天想搞清楚用tensorflow来实现rnn/lstm如何做，但是google了半天，发现tf在rnn方面的实现代码或者教程都太少了，仅有的几个教程讲的又过于简单。没办法，只能亲自动手一步步研究官方给出的代码了。
2017-09-22 15:06:02
835
转载 转载——correlation filter tracking，
Correlation Filter Object Tracking入门简介近期一直在研究相关滤波（Correlation filter）的东西，自己没啥地方记录的，本子也破的不行了，就这随便记录一下自己的感想，供以后回忆用！~这篇文章主要是讲一下最早应用的文章Minimum Output Sum of Squared Error(MOSSE)当中的一些思想和自己的一些基本理解。一
2017-09-20 10:00:55
2505
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人