John2King-CSDN博客

原创线代

1.矩阵就是映射1)mxn表示从n维空间到m维空间的一个映射而且矩阵的列向量就是原来该列基地被映射后到达的终点。（矩阵各列实际上是各个单位向量e1,…,en移动的目标点）(各个列向量的本质是各个坐标轴方向上的单位向量e,…,em经过映射后到达的目标点)考虑 A=[2,1;1,3], 则e1 = (1,0)' 被移动到(2,1)’, e2 = (0,1) 被移动到(1,3)’2)矩阵

2017-12-26 00:17:02 1821

转载 A Brief History of CNNs in Image Segmentation: From R-CNN to Mask R-CNN

At Athelas, we use Convolutional Neural Networks(CNNs) for a lot more than just classification! In this post, we’ll see how CNNs can be used, with great results, in image instance segmentation.

2017-04-25 13:29:09 3173

原创读书笔记：Deep Learning [Ada-Computation&ML series]--chapter10.Sequence Modeling:RNN

1.RNN的操作基于vecor X(t),长度从1->t,通常作用域这些序列组成的minibatch2.如果要求h(t)足够丰富，可以近似恢复输入序列，则相当于auto encoder.3.三种重要的RNN设计模式：1）每个时间步都有输出，且在隐单元间有循环链接2）每个时间步都有输出，且在当前时序的输出到下一时刻的隐单元之间有循环链接3）隐单元间有循环连接，全部序列只有一个输出

2016-12-15 04:04:56 813

原创读书笔记：Deep Learning [Ada-Computation&ML series]--chapter8.Optimization

part1.optimization1.为什么需要代理损失函数？因为我们真正关心的损失函数通常不容易优化，比如0-1期望loss。因此我们使用代理损失函数来近似，优势是可导，比如用负对数似然NLL。2.即使expected 0-1 loss 为0，但NLL还是会持续减小，即令类间的距离再被分的更大一些，从而更鲁棒。3.为了防止过拟合，通常会在梯度还比较大的时候停止early s

2016-12-01 11:06:23 509

原创读书笔记：Deep Learning [Ada-Computation&ML series]--chapter4.Numerical Computation

part1.overflow and underflow1.underflow：接近0的数被约等于0，overflow:很大的数被约等于正无穷或者负无穷2.在softmax很常见softmax(x)i = exp(xi)/sum (exp(xj))假设所有的xi都等于一个常数c，如果c为很大的负数，exp(c)会underflow,使得上述分母为0.如果c为很大的整数，exp(

2016-11-29 23:18:08 481

原创论文笔记：SqueezeNet

1.相同准确率下，参数更少的模型有三个好处： 1）高效的分布式训练 2）替换模型更容易 3）FPGA部署遍更便利2.本文三个策略： 1）用1*1的核来替换3*3的核，可以减少9倍参数 2）减少输入到3*3核的输入channel数量，因为参数由N*C*W*H决定 3）延后下采样，使得卷基层有较大的activtion maps

2016-11-28 21:17:56 3372 1

原创 Torch-nn学习: Simpley Layer

1.Linear:y = Ax + bmodule = nn.Linear(inputDimension, outputDimension, [bias = true]) module = nn.Linear(10, 5) -- 10 inputs, 5 outputs print(module.weight) //W print(module.bias) //

2016-11-15 16:58:01 4638

原创 Torch-nn学习：Tabel Layer

1.ConcatTable：对每个成员模块应用相同输入。如图： +-----------+ +----> {member1, |+-------+ | | || input +----+----> member2, |+-------+ | | |

2016-11-15 14:19:02 3543 1

原创论文笔记：CTC

1.label error rate：归一化的编辑距离。LER= 总ED/num2.pie关于x的条件概率:其中，y = Nw(x),是网络的输出序列，可以看做时刻t输出为k的概率。T是输出序列长度L+{blank} define as L’ 的长度.pie 是L’的元素，被称为path。3.指定label l 关于输入x的条件概率1) beta(-aa

2016-11-10 18:08:04 1576

原创读书笔记：Deep Learning [Ada-Computation&ML series]--chapter7.Regularization

part0.概述1.正则化的作用：降低泛化误差而不是训练误差。2.形式：1）约束或者惩罚，被设计用来编码某些先验知识。2）对简单模型表达一种通用的选择3）其他形式的，比如ensemble，结合对于数据的多种解释。3.一般来说，大多数是针对estimator做正则。通过增加偏差来降低方差。part1.参数范式惩罚1.一般只对放射变换的weight做惩罚，而不去

2016-10-28 12:04:32 519

原创读书笔记：Deep Learning [Ada-Computation&ML series]--chapter13.Linear factor model

part0.ICA vs PCA1.相同：1）都是要找是的一个n维的w，使得sum(wi*xi)的某种特征最大。2.PCA1)假设源信号间彼此非相关。（根据相关的定义，仅指的是线性相关）2）主元之间彼此正交，样本呈高斯分布3）认为最有用的信号体包含在方差里。因此要找到一个方向是的在该方向的投影的方差最大。然后在于第一个最大方差方向正交的方向里面找最大。这

2016-10-25 23:23:47 542

原创读书笔记：Deep Learning [Ada-Computation&ML series]--chapter 14.Autoencoder

part0.概述1.公式：g( f(x) ) = x.2.用途：降低维度，比同等维度的PCA的效果好；信息检索（图片或文字的），通过语意哈希part1.欠完备autoencoder1.定义：编码维度小于输入维度，迫使autoencoder去学习那些最显著的特征。学习过程: 最小化损失函数 L(x, g(f(x)) )2.与PCA的关系：如果decoder是线性的，L

2016-10-21 15:19:31 653

原创读书笔记：C++ primer 5th edition--chapter19.特殊工具与技术

以下是c++未被广泛应用的特征。part1.控制内存分配1.可以重载new与delete。一共有八个版本，可以重载任意一个，但是要求自定义版本必须位于全局作用域或者类作用域。2.demovoid *operator new(size_t size){ if (void * mem = malloc(size) return mem; e

2016-10-20 00:18:45 333

原创本年度笔记清单

DL菜鸟，看了一些书，却是看完就忘，好记性不如烂笔头，因此回过头去补以前的笔记。本年度笔记To-do-list:（按顺序,绿色表示正在做或者已经做完）：C++ Primer，Deep Learning(Bengio)，Effective C++，机器学习（周志华）, 凸优化，PRML, 线性代数， inside c++object model.

2016-10-19 09:27:56 258

原创读书笔记：C++ primer 5th edition--chapter18.用于大型程序的工具

part1.异常处理1.用类去管理资源，而非显式去释放，因为异常发生的时候，析构函数一定会执行，而手动释放的代码可能不会执行。2.catch(...)会捕获所有异常，因此应该将其置于其他catch的最后。3.noexcept表示函数不会抛出异常。part2.命名空间1.多个库将名字放置在全局命名空间将引命名空间污染。2.每个命名空间是一个作用域，可以是不连续的。命名

2016-10-19 00:12:04 320

原创读书笔记：Deep Learning[Ada-Computation&ML series]--chapter15.Representation learning

part0.基本定义1.好表达的定义：能够使得其后的学习变得容易的表达就是好的表达。所以一般取决于具体的任务。2.表达学习常见的trade-off:保持更多信息vs更好的特性，比如独立性part1.无监督预训练1.它利用了两个idea1)初始化的参数对于网络学习是一个正则项。2）无监督阶段学习的信息对于有监督学习有帮助。但是我们不清楚无监督的学习对于哪一种任务会

2016-10-18 23:11:24 394

原创论文笔记：unsupervised representation learning with deep convolutional generative adversarial networks

1. previous work [generative adversarial nets]paper link: http://arxiv.org/pdf/1406.2661v1.pdf torch implementation: https://github.com/soumith/dcgan.torch a. motivation: supervised

2016-10-18 11:27:20 2582

原创论文笔记：Network in Network

1. Motivation: conv layers use GLM (WX+b) to extract features; the level of abstraction is low (latent features are linearly seperable) ==> use MLP (can approximate any functions, whereas maxout only

2016-10-18 11:02:35 403

原创读书笔记：C++ primer 5th edition--chapter17.标准库特殊设施

part1.tuple类型1.一个tuple可以有任意数量的成员。每个确定tuple类型的成员数目是固定的。是一个快速而随意的数据结构。2.构造函数是explicit，必须使用直接初始化：tuple threeD{1, 2, 3};3.make tuple使用初始值的类型来推断tuple类型。auto item = make_tuple( “0-999-xxx”,3, 20.0

2016-10-18 01:30:13 323

原创读书笔记：C++ primer 5th edition--chapter16.模板与泛型编程

part1.定义模板1.模板是泛型编程的基础2.一个模板就是一个编译器用来生成特定类类型或函数的蓝图。3.标准库算法都是函数模板，标准库容器都是类模板。4.除了定义类型参数，也可以在模板中定义非类型参数，表示一个值，而非类型。1)我们通过特定的类型名而非关键字class或者typename来指定费类型参数。template ...2)一个非类型参数可以是一个整型，或者

2016-10-16 19:01:32 536

原创读书笔记：C++ primer 5th edition--chapter15.OOP

part1:概述1.OOP核心思想：数据抽象，可以将类的接口与实现分离使用继承，可以定义相似的类型并对其相似关系建模动态绑定，可以在一定程度上忽略相似类型的区别，以统一的方式管理他们的对象2.使用基类的引用或指针调用一个虚函数将发生动态绑定part2.定义基类和派生类1.基础类需要定义一个虚析构函数，即使该函数不执行任何实际操作。2.基础类需要把它的两种成员

2016-10-14 00:17:57 411

原创读书笔记：C++ primer 5th edition--chapter14.重载运算与类型转换

part1.基本概念1.重载运算符函数的参数数量与该运算符作用的运算对象数量一样多。如果一个运算符函数是成员函数，则this绑定到左侧运算对象上。函数的参数数量会比运算对象数量少一个。2.只能重载已有运算符。不能发明，比如**3.可以直接调用一个重载的运算符函数//二者等价data1 += data2;data1.operator+=(data2);4.不应该重载逗号，

2016-10-13 00:22:51 294

原创论文笔记：An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application

1.历史方法1）基于字符的DCNN,比如photoOCR.单个字符的检测与识别。要求单个字符的检测器性能很强，crop的足够好。2）直接对图片进行分类。9万个单词，组合成无数的单词，无法直接应用3）RNN,训练和测试均不需要每个字符的位置。但是需要预处理，从图片得到特征序列，独立做的，无法端到端。2.propose method1)端到端2）任意长度3）模型尺寸

2016-10-12 15:20:40 3909

原创读书笔记：C++ primer 5th edition--chapter13.拷贝控制

part1.拷贝、赋值与销毁1.拷贝构造函数，拷贝赋值运算符，移动构造函数，移动赋值运算符，析构函数对应的操作称为拷贝控制操作2.拷贝构造函数1）第一个参数必须为引用类型。因为在函数调用过程中，具有非引用类型的参数要进行拷贝初始化。否则构造函数调用无法成功。2）由于常被隐式的使用，所以不能是explicit3)合成拷贝构造函数，对类类型成员，会试用期拷贝构造函数来拷贝，内置类型

2016-10-12 01:32:23 346

原创 Topic笔记：reinforcement learning

1.define:sparse and time-delayed labels弱监督信息，无需大量标注样本2.env从虚拟中学习，反馈迅速，容易实现3.训练样本一帧或多帧，作为一次更新的训练样本4.动作状态序列state,action,reward -> new state ...5.deftine state用画面隐式地包含状态信息，比如挡

2016-10-11 15:30:23 314

原创读书笔记：C++ primer 5th edition--chapter12.动态内存

part1.智能指针1.是一种模板。2.通用的操作: shared_ptr > p2; if( p2 ){…}//若p2指向一个对象则为true p2.get() //返回p2中保存的指针3.shared_ptr独有操作： make_shared (args); //最安全的分配和使用动态内存的方法 share

2016-10-11 00:14:53 480

原创读书笔记：C++ primer 5th edition--chapter11.关联容器

part1.概述1.关联容器中的元素是按关键字来保存和访问的，顺序容器是按它们在容器中的位置来顺序保存访问的。2.8个关联容器。不同之处有三：1)set/map 2)是否允许重复关键字 (multi)3)顺序还是无序(unordered)。 3.关联容器也是模板。part2.map1.如果map不含key,那么下标运算会创建新元素。eg:++word_count[ wo

2016-10-10 00:51:16 343

原创读书笔记：C++ primer 5th edition--chapter10.泛型算法

part1.概述1.泛型算法不直接操作容器，而是遍历两个迭代器制定的一个元素范围。2.迭代器令算法不依赖与容器，但是算法依赖于元素类型的操作。3.算法不会改变底层容器的大小part2.初识1.只读算法。int sum = accumulate(vec.cbegin(), vec.cend(), 0 );string sum = accumulate(vec.cb

2016-10-09 00:10:07 316

原创读书笔记：C++ primer 5th edition--chapter9.顺序容器

part1.概述1.类型：vector,deque,list,forward_list,array,string2.与内置数组类似，array对象大小固定，不支持添加删除。3.forward_list为了保证性能，不提供size操作4.一般用vector5.如果程序只在读写时需要再中间插入，随后需要随机访问元素，则1)为了避免在中间插入，可以通过用vector添加，并用so

2016-10-07 21:35:20 299

原创读书笔记：C++ primer 5th edition--chapter8.IO Lib

part1.IO类1.进行IO操作的函数通常以引用方式传递和返回流。而且是const的2.输出缓冲，因为cin和cerr都关联到cout,因此读cin或者写cerr都会刷新缓冲区3.除了endl，还有不加任何字符的刷新，flush；以及添加空字符然后刷新的ends4.可以设置unitbuf和nounitbuf，那么之间的数据会立即刷新part2.文件和strin

2016-10-07 21:34:25 262

原创读书笔记：C++ primer 5th edition--chapter7.类

part1.基本用法1.const 成员函数示例代码string Sales_data::isbn (const Sales_data *const this){ return this->isbn;}2.成员函数返回值当我们定义的函数类似于内置运算符时，应该令该函数的行为尽量模仿这个运算符。内置运算符把它的左侧运算对象当成左值返回。因此成员函数也应返回：return *this;

2016-10-07 00:04:13 419

原创读书笔记：C++ primer 5th edition--chapter 6.函数

part1.参数传递1.数组形参，可使用标准库规范void print(const int *beg, const int *end){ while(beg != end) cout }usage： int j[2] = {0, 1} print(begin(j), end(j))也可以显示传递表示

2016-10-06 21:50:21 419

原创读书笔记：C++ primer 5th edition--chapter 3.字符串，向量，数组

part1.String1.头文件不要包含using,因为头文件内容会被拷贝到所有引用它的文件中去。容易导致冲突。2.string s4(10, ‘c’) => cccccccccc 初始化10个c的string3.函数：s.empty() s.size()4.string对象会自动忽略开头的空白(空格符，换行符，制表符)5.使用c++版本的C标准库(cstdio ra

2016-10-06 21:48:32 278

原创论文笔记：Precomputed Real-Time Texture Synthesis with Markovian Generative Adversarial Networks

1.什么是deconvolution反向映射，用来可视化深度特征，也可以用来重建图片。2.合成图片两种方式：1）生成全图的模型，效果不错但只对小图work,保真度fidelty低，一般用auto encoder2）马尔科夫模型，同时生成texture。可以捕获局部patch的统计信息。本文是第二种3.主要通过strided convolutional network取代po

2016-08-08 16:19:30 2535 1

原创论文笔记：Perceptual Losses for Real-Time Style Transfer and Super-Resolution[doing]

1.transformation: image to image 2.perceptual losses: psnr是per-pixel的loss,值高未必代表图片质量好，广泛应用只是因为计算比较简单对图片做super resolutiondefine 4 loss:1.pixel L2 :feature reconstruction loss2.gram mat

2016-07-13 12:07:11 3057

原创论文笔记：Efficient and Accurate Approximations of Nonlinear Convolutional Networks

1. Motivation: Decomposing low-rank filters into multiple smaller filters helps to speed up the test-time computation of deep CNNs, and previous works only propose algorithms for linear filters.

2016-06-17 14:41:36 1099 1

转载类的设计原则

开闭原则Software entities (classes, modules, function, etc.) should be open for extension, but closed for modification.软件实体（模块，类，方法等）应该对扩展开放，对修改关闭。开闭原则（OCP：Open-Closed Principle）是指在进行面向对象设计（OOD：Obje

2016-06-17 14:34:46 487

原创论文笔记：Faster RCNN

Part I. RCNNPaper link: http://arxiv.org/pdf/1311.2524v5.pdfGithub link: https://github.com/rbgirshick/rcnnDetailed notes: http://zhangliliang.com/2014/07/23/paper-note-rcnn/(Regarding

2016-06-17 12:41:09 1450

原创论文笔记:Inception-V4, Inception-ResNet

inception

2016-06-17 12:36:44 2904

原创论文笔记:Going deeper with convolution

inception

2016-06-17 12:34:17 604

空空如也

空空如也