hunterlew的专栏

读论文：《Faster R-CNN: Towards Real-Time ObjectDetection with Region Proposal Networks》摘要：算法主要解决两个问题：1、提出区域建议网络RPN，快速生成候选区域；2、通过交替训练，使RPN和Fast-RCNN网络共享参数。一、 RPN网络结构RPN网络的作用是输入一张图像，输出一批矩形候选区域

一、概述       假设我们有足够强大的学习算法，得到较好结果的其中一种最靠谱的方法是给算法提供更多的数据。这验证了在机器学习的那句格言：“有时候获胜的不是谁有最好的算法，而是谁有最多的数据。”       也许有人总能得到有标记的数据，但这么做成本很高。特别地，研究人员已经采用极致的工具例如AMT（亚马逊土耳其机器人）来得到大量训练集。尽管拥有大量的人们人工标记的数据相比拥有大量的研究

一、引入       主成分分析（PCA）是一种降维算法，能大大加速你的无监督特征学习算法。更重要的是，理解PCA能让我们后面实现白化，这是一个对所有算法适用的重要的预处理步骤。       假设你在图像上训练你的算法。不过输入稍微有点冗余，因为图像中相邻的像素值是高度相关的。具体来说，假设我们在16*16的灰度图像块上训练。那么x∈R256是256维的向量，一个特征xj对应着图像中每个像

一、自动编码器目前为止,我们介绍了神经网络在有标签的训练样本的有监督学习中的应用.现在假设我们只有一个未标记的训练集{x(1),x(2),x(3),…},其中x是n维的.自动编码器神经网络是一种采用反向传播的无监督学习算法,让目标值和输入相等,即让y(i)=x(i).这是一个自动编码器:       自动编码器试图学习函数hW,b(x)≈x.换句话说,它试图学习恒等函数的逼

一、概述一个卷积神经网络（CNN）是由一个或多个卷积层（通常伴随着降采样一步）构成，并加上一个或多个和在标准的多层神经网络一样的全连接层。CNN的结构是设计用于利用输入图像的2D结构（或其他2D输入例如语音信号）。这是由局部连接、权值共享以及一些引起平移不变特征的池化操作来实现的。CNN的另一个优点在于它们更容易训练而且比拥有相同数目的隐藏单元的全连接网络而言，参数更少。在这篇文章中，我们会讨

A、使用卷积进行特征提取一、概述在前面的练习中，你解决了像素相对较低的图像的相关问题，例如小的图片块和手写数字的小图像。在这个节，我们将研究能让我们将这些方法拓展到拥有较大图像的更加实际的数据集的方法。二、全连接网络       在稀疏自编码器中，我们所做的设计选择是将所有隐藏层单元与输入单元全部连接。在我们处理的相对小的图像中（例如在稀疏自编码器作业中的8×8小块，MNIST数据

假设我们有一个固定由m个训练实例组成的训练集{(x(1),y(1)),…,(x(m),y(m))}.我们可以用批量梯度下降方法来训练我们的神经网络.细节上,对于一个训练实例(x,y)，我们定义关于该实例的代价函数：       这是平方误差（的一半）代价函数。给定m个实例的训练集，我们定义全局代价函数：       第一项J(W,b)是平方误差和的平均项。第二项是正

Softmax 回归一、引入Softmax回归（或称为多项逻辑斯特回归）是逻辑斯特回归的推广，用于处理多类问题的时候。在逻辑斯特回归中我们假设标签是二元的，y(i)∈{0,1}。我们使用这样的分类器将两种手写数字区分。Softmax回归能让我们处理y(i)∈{1,…,K}的情况，K是类别数。回忆一下在逻辑斯特回归中，我们有m个标记的训练样本{(x(1),y(1)),…,(x(m),y(

神经网络——模型学习 Cost Function:从逻辑回归推广过来计算最小值，无论用什么方法，都需要计算代价和偏导。 网络结构的前向传播和可向量化的特点： BP算法： 总结：计算代价函数及偏导 进一步理解FPBP：  梯度检验:避免BP发生的小错误确保自己的确在计算代价函数的偏导数,对于向量形式,可以这么检验

神经网络——模型表示:为什么需要非线性分类器（非线性假设）:维数大的时候(例如图片),特征元素个数将大的不能接受. 历史:80年代和90年代早期广泛应用,但90年代后期开始衰落.最近又东山再起,原因在于计算速度的加快使得可以完成大规模的神经网络计算.    单个神经元模型——类似逻辑回归模型，有个sigmoid函数（如果没有，那就只能是线性运算）：网络模型：如果网络

Logistic Regression逻辑回归（分类）：0:Negative Class1:Positive Class二元分类问题讲起，虽然有回归二字，其实为分类算法，处理离散y值。 输出以以条件概率表示，若P(y=1|x;theta)= 0.7，表示有70%的概率y=1.那么有30%的概率y=0 决策边界(DecisionBoundary)：当z=0，即thet

多元线性回归的情况：符号表示方法，上标表示第几个样本，下标表示第几个特征。 多元线性回归的梯度下降：当代价函数有多个参数时（即多个特征时）： 使用梯度下降实用技巧：FeatureScaling特征缩放Make sure features are on a similar scale收敛的快（代价函数图像很扁，收敛路径长）缩放到-1～1范围，x0为1，

毕业论文方向可能和神经网络挂钩，神经网络也是机器学习的一部分。从这周开始决定跟着Andrew Ng公开课系统地学习机器学习，4/4日开课，第一周为试听，今天先看了。以后每周更新一下。的确感觉讲的不错，形式平易近人。//分割线----------------------------------------------------------------------------------