Nismilesucc的学习札记

蓝色紫色红色深度学习之卷积神经网络基本的图像分类模型架构卷积层：用来提取图像的底层特征池化层：防止过拟合，减小数据维度全连接层：汇总卷积层和池化层得到的底层特征和信息，再进行输出。使用padding：为了防止边缘信息被忽略（让卷积核多通过它几次）有多少个卷积核就有多少feature map，用很多卷积核生成的很多feature map 对原始图像的压缩和特征提取（卷积的工作）池化参考BLOG：Intuitive Guide to Convolution Neural Netwo

端到端学习通过向网络中添加原始输入到从网络中得到想要的问题的相应输出。优点：通过缩减人工预处理和后续处理，尽可能使模型从原始输入到最终输出，给模型更多可以根据数据自动调节的空间，增加模型的整体契合度。与之相反的是多步骤学习，将一个问题分解成多个子问题进行分别求解。例如将人脸识别任务分为两个阶段：首先将人脸识别出来，然后将对应的ID进行匹配，最后形成一种匹配后的结果进行输出。inductive bias 归纳偏置先验的知识，例如 localization 之类的信息。神经网络的架构就是根据一些先验

六、与学习相关的技巧参数的更新最优化(optimization)：寻找最优参数(使损失函数值尽可能小)的问题。1.SGD随机梯度下降法(Stochastic Gradient Descent)：沿梯度方向更新参数，并重复这个步骤多次从而逐渐靠近最优参数。W←W−η∂L∂WW←W-\eta\frac{\partial L}{\partial W}W←W−η∂W∂L​class GCD: def __init__(self,lr=0.01): self.lr=lr d

加载数据集原本的minist.py脚本进入到这一行之后一直报503错误，由于我对爬虫类了解不多，最后选择手动下载了minist数据集，再进行处理。直到这里算是数据加载完成了。第三章 神经网络pickle功能：这个功能可以将程序运行中的对象保存为文件。如果加载保存过的pickle文件，可以立刻复原之前程序中运行的对象。读取MINST中的数据不知道是不是sys.path.append(os.pardir)失效了，from dataset.mnist import load_mnist还是不能够

本文来自《深度学习入门 基于python的理论与实现》的学习一、一些python注意点自定义类注意：初始化函数命名一定要是两个下划线打头和结束：__init__不然会有TypeError: object() takes no parameters报错class man: def __init__(self,name): # 构造函数 self.name=name print("initialized!") def hello(self):

一、Numpy  基础科学计算库功能包括：高维数组计算、线性代数计算、傅里叶变换以及生产伪随机数等多维数组(n-dimensional array)是其核心功能之一import numpyi=numpy.array([[520,13,14],[25,9,178]])print("i:\n{}".format(i))输出i:[[520 13 14] [ 25 9 178]]二、Scipy  强大的科学计算工具集功能例如：计算统计学分布、信号处理、计算线性代数方程等sciki

Why DeepModularization  模组化Modularization-Speech  模组化在语音识别上的应用Deep Learning在语音识别上有非常显著的成果做语音辨识第一步是做分类问题，传统的方法是使用(隐马尔科夫模型)HMM-GMM(高斯混合模型)，但它其实是不work的但是如果只分state要共用或不共用是不够的，还要考虑部分共用,有一...

Convolutional Neural NetworkCNN的model比一般的DNN更简单图像的下采样Subsampling 与 上采样 Upsampling1.Convolution那么CNN是怎么运作的呢？能够处理不同位置的同一个pattern，移动步长stride是可以自己设的向量内积（点乘）和外积（叉乘）概念及几何意义如果我们处理的不是黑白的图片，而是彩色的呢？...

Tips for training DNNTIps 1.针对神经网络的表现判断Neural Network是否在训练集上得到好的效果是DNN的一个非常独特的地方，像决策树，就根本不需要去考虑，因为做出来在训练机上正确率就是100%的，才特别容易过拟合。DNN第一个要考虑的问题不是overfitting，而是能不能找到一个perform得很好的model。不要认为所有不好的performan...

Backpropagation反向传播提供有数以万计参数的vector的高效偏微分求解链式法则我们可以这样来理解：一层层递归(recursively)的去算如果从最后的Output Layer开始算，运算量就会和前面的forward pass的一样了相当于重新建一个neural network，跟原来刚好反向，然后进行计算，不过是要在做完forward pass知道当前z之后噢，因为相...

Deep Learning步骤Step 1:那么我们应该怎么把这些"neurons"连接起来呢？如果已知了这些"neurons"的w和b，然后进行一步步运算：重复地进行下去，完成整个运算之后就有：如果还不知道这些"neurons"的参数w和b，那这个架构就是一个define的function setNetwork的运作我们经常用Matrix Operation来进行所以整个Neu...

Logistic Regression步骤：我们要做的还是classification从贝叶斯角度推导的Logic Regression是不是我们前提就是假设的高斯分布？这里经过了对数化处理，好的function要是右部（交叉熵）越小的越好w的更新取决于三个因素：η(learning rate)(需要自己调)、xix_ixi​(来自于data)、(y^n−fw,b(xn))\left(...

ClassificationProbabilistic Generative Model举例：实现步骤：那么怎么做呢？如果把classification当做regression来做，以二分类为例注意：分类问题不能将结果化为单一数值化（如class1-1，class2-2…），如果这样做则表明不同类之间有明显的联系，实际上可能并没有。正确做法：这里统统没办法微分了，没办法采用GD，只...

Stochastic Gradient Descent随机梯度下降法Make the training faster!普通的梯度下降算法，先遍历所有的example,然后一次更新所有参数，而SGD是每一个example，改变一次参数或者说如果我们有10个Sample,GD每一步要考虑所有10个example，而SGD一步只考虑一个example,即 GD走一步相当于SGD走了10步，所以...

Tuning your learning rates注：Learning rate即为移动一步的步幅Gradient方向和Movement方向始终是相反的，因为：绿色，当learning rate太大时，一开始下降得很快，但是很快就会被卡住蓝色，当learning rate太小时，下降的速度很慢，如果给足够的时间，是可以走到最低点的，但是这个时间是难以忍受的众所周知，要不断的手动调l...