- 博客(6)
- 收藏
- 关注
RSS订阅原创 信封装错问题
问题原貌：将N封信装入N个信封，问全部装错的方式。递归思路：第一种情况，若将A信装入B信封，B信装入A信封，则剩余信的错装方式与A、B无关，所以有f(n-2)种。 第二种情况，若将A信装入除B之外的C信封，则剩余信的错装方式为将除A之外的n-1封信，装入除B之外的n-1个信封，所以有f(n-1)种。在A选择装不装入B的时候又有n-1种选择，所以f(n)=(n-1)(f(n-1)+f(n-2))组合思路：f(n)=n!×(1/2!-1/3!+1/4!-...
2020-07-07 20:53:43
2375
1
原创 GD+Optimize
优化问题的框架，给定一个与参数x有关的目标函数J(x)，求使得J(x)最小的参数x。通过不断向梯度负方向移动参数来求解。BGD指批量梯度下降，要计算整个Batch中的梯度。优点：容易求得最优解。缺点：速度慢，数据量大时不能行。SGD指随机梯度下降，只计算某个样本的梯度，用一个样本的梯度代替整体的梯度。优点：速度快。缺点：容易跳出最优，收敛不稳定。MBGD指选取少量梯度下降，介于BGD和SGD之间。优点：速度快，收敛稳定。存在问题：学习率的设定、学习率的调整策略、不同参数更新的学习率、局部最优
2020-07-06 20:33:54
161
原创 BN+LN+GN
Normalization是为解决数据间独立同分布问题而提出的，独立指的是去除特征之间的关联性，同分布指的是使所有特征具有相同的均值和方差，Internal Covariate Shift 指的是源空间和目标空间条件概率一致，但边缘概率不一致。Normalization做简单的白化处理，即在数据送入神经元之前对其做平移和伸缩变化，假设每个Batch的输入为N×C×H×W，其中N代表每个Batch中的样本数，C代表每个样本中的通道数，H代表样本的长，W代表样本的宽。将输入中的参数看做书本，即N代表有书本的
2020-07-06 19:20:33
270
原创 LR+Sigmod+Softmax+CE
逻辑回归LR是机器学习中一种主流的分类模型，主要用于二分类问题。在这之前，线性回归多用来解决回归和分类问题，但是在分类问题中表现不佳，其输出值是不确定范围的。LR将线性回归模型不确定范围的输出值通过Sigmod函数映射到（0,1）之间，即伯努利分布。确定LR的数学形式之后，一般通过最大似然估计来求解模型的参数，即找到一组参数使得输出概率最大。一般通过梯度下降法求解最优解。加入正则项后LR是严格的凸函数，一定存在全局最优解。将Sigmod函数换成Softmax函数便可解决多分类问题，计算每个目
2020-07-06 16:27:43
197
原创 基于caffe的CNN_训练+预测_思考记录(2)
在对数据集进行预处理并且制作完成之后，便要开始训练数据集了，一般情况下CNN的搭建都是参考业内大牛的网络，或者在大牛的网络上进行细微的修改，所以对于大多数CNN使用者来说，搭建网络并非主要任务，最重要的是如何使用网络。当数据集输入然后输出网络时，对于数据集图片，最关心的问题便是输入输出的图片尺度大小，因为网络的输入与输出端对图片有着严格的要求，并且在整个网络训练和预测过程中，还会对图片进行尺度的变...
2018-03-27 19:43:51
309
原创 基于caffe的CNN_训练+预测_思考记录(1)
训练与测试数据集的预处理与制作，对于CNN在训练时的loss值和预测时的准确度起着至关重要的作用，本节我来介绍如何对数据集进行预处理，并且制作相应的hdf5文件。以我最近的一个项目为例进行介绍，项目的主要内容是对于输入图片进行回归，回归得到人群密度图。所以数据集便是含有人群的图像。在项目的前期，我选取的数据集是著名的UCSD人群密度数据集。在分类或回归问题中，标签是与数据集相辅相成的第一要素，为数...
2018-03-26 19:48:06
585
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人