2019年11月_mrcoderrev

原创 cs231n作业：Assignment1-softmax

def softmax_loss_naive(W, X, y, reg): """ Softmax loss function, naive implementation (with loops) Inputs have dimension D, there are C classes, and we operate on minibatches of N exa...

2019-11-28 14:54:21 334

原创 python中的浅拷贝和深拷贝

浅拷贝：(1)切片操作 [:](2)工厂函数，list(),dict()(3)使用copy模块中的copy函数构造方法或切片[:]做的是浅拷贝，即拷贝了最外层的容器(内存地址不一样)，副本中的元素都是原容器中的引用（内存地址一样）。深拷贝：不仅拷贝最外层的容器，还会拷贝容器中的元素。相当于完全没有关系不可变对象：int,float,complex,long,str,unicode,...

2019-11-26 10:43:28 119

原创 softmax/sigmoid tanh/ReLU/Leaky ReLU

softmaxσ(xi)=exi∑j=1j=nexj\sigma(x_i) = {\frac{e^{xi}}{\sum_{j=1}^{j=n}e^{xj}}}σ(xi)=∑j=1j=nexjexi概率之和为1，元素之间相互关联抑制，取值被压缩到（0，1）可用于多分类问题。只有一个标签。sigmoid(logistic function)σ(xi)=11+exi\sigma(x_i)...

2019-11-24 22:12:28 311

原创 leetcoder 48. Rotate Image(思维)

题意：将一个矩阵进行顺时针旋转自己的做法：直接推公式，x，y = y, n-1-x,弊端需要开一个标记数组class Solution: def rotate(self, matrix): """ Do not return anything, modify matrix in-place instead. """ dt ...

2019-11-24 20:59:54 73

原创 LeNet-5 手写字体识别模型

手写字体识别模型LeNet5诞生于1994，是最早的神经网络之一。现在常用的LeNet-5（卷积池化当作一层的话，共5层）结构和Yann LeCun教授在1988年提出的结构在某些地方有区别，比如激活函数的使用，现在一般采用ReLU作为激活函数，输出层一般选择softmax。(论文RBF)性质：随着网络越来越深，图像的高度和宽度在缩小，但channel数量一直在增加。局限性：CNN能够从...

2019-11-23 17:05:56 1590

原创 cs231n作业：Assignment1-SVM

def svm_loss_naive(W, X, y, reg): """ Structured SVM loss function, naive implementation (with loops). Inputs have dimension D, there are C classes, and we operate on minibatches of N...

2019-11-21 22:38:36 201

原创线性分类（svm/softmax）/损失函数/优化

f(x,W)=Wx + bW:所有训练中的经验都存在W中bias:他不与训练数据交互，而只会给我们一些数据独立的偏好值。（例如，数据集的不平衡带来的差异）优点：易于使用和理解缺点：难于解决多分类问题，在多模态数据中，比如一个类别出现在不同的领域空间中...

2019-11-19 22:32:42 535

为什么要进行归一化和标准化？因为特征间的单位尺度可能不同，可能会导致计算结果也不同，尺度大的会起决定性作用，为了消除特征间的单位和尺度差异和影响，以对每维特征同等看待，需要对特征进行归一化操作。因尺度差异，其损失函数的等高线可能是椭圆形，梯度方向垂直于等高线，下降会走zigzag路线，而不是指向local minimum,通过对特征进行平均值为0方差为1的变换后，其损失函数的等高线更接近圆形，...

2019-11-18 23:59:00 351

原创梯度下降法（全局gGD和随机gSGD）

梯度下降法分为全局梯度下降和随机梯度下降全局梯度法训练的时候用的是所有的训练样本gGD=1n∑i=1nΔθL(xi,yi,θt)g_{GD} = {{1} \over {n}}\sum_{i=1}^{n}\Delta_{\theta}L(x^{i},y^{i},\theta_{t})gGD=n1∑i=1nΔθL(xi,yi,θt)θt+1=θt−ηgGD\theta_{t+1} =...

2019-11-17 12:47:53 999

原创 YOLOv3: An Incremental Improvement

摘要（1）比V2体积更大，精度更高，但是速度仍有保障（2）输入320/*320的图片后，v3能在22ms内处理完成，并取得28.2mAP，精度和SSD相当，但速度快上3倍。介绍更新2.1边框预测V3用逻辑回归预测每个边界框的objective score。如果当前预测的边界框比之前的更好的与ground truth对象重合，那他的分数就是1，如果当前的预测不是最好的但是和ground ...

2019-11-06 16:12:07 157

原创 softmax和交叉熵

softmax用于多分类过程中，往往加在神经网络的他将多个神经元的输出，映射到（0，1）区间内，看成概率来解，这些值的累和为1，在选取输出节点的时候选取概率最大的节点作为我们的预测目标，从而进行多分类。Si=ei(∑jej)S_{i} = { \frac{e_{i}} {\choose\sum_{j}e^{j}} }Si=(∑jej)eisoftmax 相关求导当对分类的Loss进...

2019-11-04 15:48:46 488

原创人脸识别基本常识

人脸识别算法主要包含三个模块（1）人脸检测（Face Detection）：确定人脸在图像中的大小和位置，也就是在图像中yu代码中的main函数就相当于是test文件，用于输入数据，输出结果代码返回的是图像中人脸的特征向量（多少个人脸就返回多少个向量）实现识别功能的话，先把数据库中的人脸图像跑一遍，得到特征向量再将待测试的图片跑一遍，得到待测试的特征向量，把这两组特征向量计算余弦距离，距...

2019-11-03 11:10:29 1356

MR CODER