dfj77477-CSDN博客

转载验证resneXt，densenet，mobilenet和SENet的特色结构

简介图像分类对网络结构的要求，一个是精度，另一个是速度。这两个需求推动了网络结构的发展。resneXt：分组卷积，降低了网络参数个数。densenet：密集的跳连接。mobilenet：标准卷积分解成深度卷积和逐点卷积，即深度分离卷积。SENet：注意力机制。简单起见，使用了[1]的代码，注释掉 layer4，作为基本框架resnet14。然后改变局部结构，验证分类效果。...

2019-03-23 19:54:00 346

转载比较语义分割的几种结构：FCN，UNET，SegNet，PSPNet和Deeplab

简介语义分割：给图像的每个像素点标注类别。通常认为这个类别与邻近像素类别有关，同时也和这个像素点归属的整体类别有关。利用图像分类的网络结构,可以利用不同层次的特征向量来满足判定需求。现有算法的主要区别是如何提高这些向量的分辨率，以及如何组合这些向量。几种结构全卷积网络FCN：上采样提高分割精度，不同特征向量相加。[3]UNET：拼接特征向量；编码-解码结构；采用弹性形变的方式，...

2019-03-10 17:26:00 3121

转载比较 VGG, resnet和inception的图像分类效果

简介VGG, resnet和inception是3种典型的卷积神经网络结构。VGG采用了3*3的卷积核，逐步扩大通道数量resnet中，每两层卷积增加一个旁路inception实现了卷积核的并联，然后把各自通道拼接到一起简单起见，直接使用了[1]的代码来测试 resnet，然后用[2],[4]的代码替换[1]中的model，改了改通道，测 VGG 和 inception。...

2019-02-24 20:58:00 2868

转载强化学习基础

强化学习基本概念强化学习需要学习一个从环境状态到智能体行动的映射，称为智能体的一个策略，使得环境回报最大化。智能体->环境: 状态?环境-->智能体: 观察结果Note left of 智能体: 行动=策略(观察结果)智能体->环境: 行动Note right of 环境: 进入下一个状态环境-->智能体: 回报Note left of 智能体:...

2018-09-17 02:34:00 175

转载深度学习的知识点

前馈网络定义神经网络：$<V,E,\sigma,w>, E\subseteq V\times V,w:V\times V\to R, \sigma:V\times R\to R $，输出函数$f(v)$递归定义为$$\begin{aligned}f(v)&=x(v)&,if\,\nexists u,<v,u>\in E\\ f(v)&a...

2018-07-29 12:26:00 127

转载卷积神经网络CNN

基本概念卷积运算定义：$f(i,j,k)=\sum_{m,n}g(i-m,j-n,k)h(m,n),y(i,j)=\sum_kw_{k}f(i,j,k)$平移不变、深度线性叠加。特别在1*1核的时候，为深度的线性变换。稀疏交互(sparse interactions)：核的大小（m,n的范围）远小于输入的大小（j,i的范围）。参数共享(parame...

2018-07-22 13:12:00 179

转载信息论的知识点

要点熵：$H(X)=E_{X\sim P}[I(X)]=-E_{X\sim P}[\log P(x)]$相对熵：$D_{p||g}=E[\log\frac{p(x)}{g(x)}]\geqslant 0$。互信息：$I(X;Y)=\sum_{x,y} P(x,y) \log \frac {P(x,y)}{P(x)P(y)}=H(X)-H(X|Y)=H(Y)-H(Y|X)$...

2018-01-29 15:58:00 1050

转载理论机器学习

简介可学习理论针对于监督学习，从问题空间$X\times Y$中采样，输出一个预测函数$h:X\to Y$，来判定X与Y之间的对应关系。主要难点在于：采样空间S需要多大，太大则不现实，太小则不能达到足够的精度；如果问题有着强烈的结构，那么小的样本空间是可能的。预测函数h的精确度，太低不能满足要求，太高则有可能不能有效覆盖整个问题空间，也就是欠拟合和过拟合。另外不同领域...

2018-01-25 19:25:00 141

转载计算理论基础

内容形式语言与自动机：正则语言、上下文无关语言、图灵机可计算性：可判定、可归约计算复杂性：时间、空间、难解性正则语言确定有穷自动机DFA：$M=<Q,\Sigma,\delta,q_0,F>,\delta:Q\times\Sigma\rightarrow Q$M 接受字符串：$w=w_1...w_n,\exists q_0...q_n,\d...

2017-12-28 10:47:00 226

转载概率图基础

概率图模型分类有向图：静态贝叶斯、动态贝叶斯（隐马尔可夫模型）无向图：马尔可夫网络（条件随机场、玻尔兹曼机）隐马尔可夫模型评估问题$HMM<S,O,\Theta>, \Theta=<\pi ,A, B>$隐藏状态S，观测状态O，初始状态的概率分布$\pi$，隐藏状态转移概率A，观测状态转移概率B计算观测序列概率$p(O|...

2017-12-22 14:11:00 150

转载应用泛函分析的知识点

度量空间线性空间实例：向量空间$K^n$、p方可和数列空间$l^p$、p幂可积函数空间$L^p(E)$、连续函数空间$C[a,b]$、k阶连续导数函数空间$C^k[a,b]$、矩阵空间$M_{mn}$度量空间=定义了距离的集合。Holder不等式$\Rightarrow$柯西不等式$\Rightarrow$向量空间的距离Minkowski不等式$\Rightarrow...

2017-12-21 10:00:00 2318

转载抽象代数

群（非空集合G, 运算*）半群：*满足结合律、分配律群：具有单位元、逆元阿贝尔群：*有交换律循环群G：$\exists a\in G, G ＝\{a^0, a, a^2, …, a^{n-1}\}$。循环群是阿贝尔群。子群H：$a,b \in H \Rightarrow a*b^{-1} \in H$陪集：aH，两两不相交正规子群：aH=Ha。记为$G...

2017-12-15 16:18:00 1106

转载信号与系统

引言信号与系统是在多个应用领域中出现的概念，虽然其物理本质不同，但是都具有两个基本特征。信号是一个依赖于一个或多个独立变量的函数，包含着一些现象本质或行为的信息；而系统是一个关于信号的函数，对于特定的信号，会产生其它信号或一些期望的行为。信号与系统理论提供了一种基础的数学模型，可以对各种领域的信号与系统进行统一的描述和分析。信号的定义，性质和运算与其数学域有关；而系统的定义和性质则是...

2017-12-13 14:50:00 1189

转载数值分析基础

基本概念如果$|x-x_A|\leqslant 0.5\times 10^{k-n}$，k为指数，则称xA为x的n位有效数字近似值。准确性：误差分析，输入数据误差，舍入误差和截断误差。稳定性：条件数分析，输出误差除以输入误差，包括问题本身（病态）和算法过程的稳定性。收敛性：范数分析，向量范数，矩阵范数，柯西不等式。数据插值Lagrange, 直接利...

2017-12-12 10:40:00 838

转载线性方程组的迭代解法

简介求解线性方程组有直接解法和迭代解法两种方法。与直接解法相比，迭代解法能够比较好地保持系数矩阵的稀疏性，在大型线性方程组的求解问题中得到了广泛应用。比较典型的迭代算法有三种，古典迭代法、共轭梯度法和广义极小剩余(GMRES)法。古典迭代法从系数矩阵构造（分裂）出单步迭代格式，具有算法简单的优点，但是不易收敛，速度较慢。共轭梯度法是一种多步算法。首先利用对称正...

2017-12-08 14:19:00 1887

转载求解矩阵特征值

特征值的条件数Weilandt-Hoffman定理：设A与B是两个n阶正规矩阵，它们的特征值分别是li和mj，则存在一个排列p(n)，使得$\sqrt {\sum_i \left | \pi(i)-\lambda_i \right |^2}\leqslant \left \| B-A \right \|_F$Weilandt-Hoffman定理表明Hermite矩阵...

2017-12-07 13:48:00 709

转载深度学习的数学基础

线性代数基本变量：标量、向量、矩阵、张量基本运算：乘法、加法、逆运算；线性变换的几何意义范数特征分解：$A=V*diag(\lambda)*V^{-1}$奇异值分解：$A=Q*diag(\Sigma)*V$伪逆：$A^+=V^T*diag(\Sigma^{-1})*Q^T$迹运算：$tr(A)=\sum_{i}^{ }A_{ii}$；$tr(ABC)=tr(B...

2017-11-17 21:13:00 146

转载强连通分支——自制算法和经典算法的比较分析

简介有向图G(V,E)，圈是一个起始节点与终止节点相同的路径，即 a->….->a。找到所有圈，合并其节点，在图论里就是合并强连通分支。一开始没有找到有效算法，基于深度优先搜索，自制了一个算法。后来找到了一个开源代码【1】，代替了自制算法。本文比较了自制算法和经典算法的区别，总结了经验教训。无向图的查圈算法深度优先搜索算法是从已知节点出发，图的一种遍历算法。只要一...

2016-12-01 12:54:00 130

转载单元测试框架的开发流程

简介单元测试可以更快地发现代码中的错误，因此各个编程语言都拥有了专门的单元测试框架。本文按照一般的开发流程来讨论单元测试框架，即需求分析、设计实现，应用模型等等，希望可以提取单元测试的共性，为理解不同的测试框架提供支持。需求分析从单元测试的机制可以发现一部分隐藏需求，总结如下：独立测试：针对一个软件单元。用例组织：可以选择执行测试。...

2015-10-23 09:19:00 128

转载利用数据类型，简化程序逻辑

简介最近对一段遗留代码进行了重构。这段代码看似简单，却花了我很多时间。现在记录下来一些主要的分析过程，以备参考。主要的功能就是一个映射：string -> [int | double | string]. 接口如下：get(name, result); // 如果name为预定义的，则得到一个结果set(name, value); // 如果name为预定义的，...

2015-06-12 13:55:00 108

转载忘掉旋转，利用2-3-4树，学习红黑树

红黑树是每个节点都带有颜色属性的二叉查找树，颜色为红色或黑色。在二叉查找树强制一般要求以外，对于任何有效的红黑树我们增加了如下的额外要求:性质1. 节点是红色或黑色。性质2. 根是黑色。性质3. 所有叶子都是黑色（叶子是NIL节点）。性质4. 每个红色节点的两个子节点都是黑色。(从每个叶子到根的所有路径上不能有两个连续的红色节点)性质5. 从任一节点到其每个叶子...

2013-12-12 16:13:00 154

转载用软件量度评估软件重构

介绍重构[1]：对软件内部结构的一种调整，目的是在不改变"软件之可察行为"前提下，提高其可理解性，降低其修改成本。在这个定义中，"软件之可察行为"可以理解为相同的回归测试集，因此是确定、具体的。然而，虽然可以通过统计的方式计算”修改成本”，但是仍然缺乏可操作性。在本文中，把“降低其修改成本”改成“降低复杂度”。从而利用复杂性量度给出重构的量化尺度，提高了重构定义的一致性。软件...

2013-02-19 13:28:00 179

转载利用ruby演示程序执行

介绍Ruby支持元编程，简单的说就是在运行时改变程序自身。利用这一点，可以做出很有趣的程序。本文介绍利用ruby演示程序的执行过程，显示包括函数调用和数据变化。演示程序执行Ruby每个class都有一个方法method_missing(name, *args)。当调用对象的方法不存在时，系统默认调用这个方法来处理。这就相当于一个系统后门，可以得到方法调用的轨迹。下面的程序...

2012-11-11 14:44:00 98

转载树形结构的节点搜索优化

介绍树形结构具有在程序中普遍性。以XML为例，是一个树形的结构；其提供的XPath，给予了全局定位每一个节点的能力。本文针对这个操作，讨论性能上的优化。分析过程采用典型的自底向上的方式：基本算法设计、算法性能考虑以及对象接口设计。基本设计简化起见，定义Path：<n1, n2, …, nk>。nj可以是常量，代表可以借助索引来加速的情况；也可以是通配符，代表只能遍...

2012-10-12 13:20:00 175

转载比较几种编程语言

简介最近要使用几种不同的编程语言，C++， java，javascript，php，python和ruby。为了避免混淆，特写此文，以备参考。数据类型这里数据类型指的是内部数据类型，不考虑语言内部的自动转换。C++javajavascriptphppythonruby...

2012-07-31 11:25:00 112

转载基于petri网分析并发控制

1. 简介petri网是用来分析并发行为的一种形式模型。举例来说，一个进程创建两个线程，然后等待它们结束，如下图：Figure 1：开始进程T2: 创建； T3: 合并；T1和T2为各自线程的操作。P5为起始控制点，其中的黑点儿为token，表示拥有控制权。经过T2以后，P5失去控制权，P0与P3获得控制权，如下图。Figure 2：创建线...

2012-07-05 16:33:00 654

转载离线应用的一种设计方案

简介所谓离线应用，就是在离线时能够把数据存储到本地，在线时同步到服务器上。HTML5提供了程序缓存和本地存储两种机制来实现，可以用cache manifest和indexedDB来搜索相关内容。各个浏览器对此支持都不太一样，本文尝试出一种可行的方案。程序缓存程序缓存比较容易设置，只要写一个.manifest文件，再把它写到html元素的属性就可以了。我遇到的一些问题：...

2012-06-19 20:39:00 164

转载 MVC模式的两种实例

MVC模式MVC模式提供了数据模型与数据显示的分离，使得两者可以独立演化。传统MVC这里传统MVC指以服务器脚本为主的建站方案。例如用PHP生成不同的HTML页面，各个页面之间用锚<a>来链接。对浏览器发来的请求，服务器首先进行授权认证，然后把这个请求发送（dispatch）到对应的数据处理模块，由该模块（很可能）存取数据，根据模板生成HTML页面会...

2012-06-11 15:26:00 131

dfj77477的博客