支锦铭的博客

2018年11月版本Week 11经典网络案例 Classic NetworksLeNet-5任务：识别手写数字结构输入：32×32×132 \times 32 \times 132×32×1 的灰度图像第一层：卷积层，使用666个5×55 \times 55×5，步长为111的滤波器，生成28×28×628 \times 28 \times 628×28×6的结果第二层：均值...

2018年11月版本Week 10计算机视觉 Computer Vision图像分类：判断图像中的内容是不是属于某一目标类对象检测：寻找判断并定位图像中目标对象的位置神经风格转换：对图像进行指定风格的重绘挑战：输入可以任意大边缘检测 Edge Detection边缘可以说是视觉神经网络第一层隐藏层能捕捉到的最基本特征检测物体可以使用边缘检测，基本思路是分别进行垂直边缘...

2018年11月版本Week 11照片OCR照片光学字符识别（Optical Character Recognition），通过计算机读取照片中的文字简要步骤：浏览图片，选出含有文字信息的部分（文本检测）重点关注这些区域，并对文字内容进行识别字符切分，将一段文本切分成独立的字符对字符进行分类有些系统还会对识别结果做更加复杂的处理上面整个一个系统，称之为机器学习流水...

2018年11月版本Week 10大数据集的梯度下降大数据集在现代机器学习的应用中非常常见在使用大数据集前，应该是用一个小的数据集来验证模型是否有效，即先绘制一个小数据集在模型下的学习曲线，好的模型应该是具有高方差的（需要更多的数据）随机梯度下降 Stochastic Gradient Descent将梯度下降算法能够有效地应用到大型数据集中经典的梯度下降算法又称为“批量梯度下...

2018年9月版本Week 9错误分析 Error Analysis手动检查算法中的错误，来明确问题的根本并据此设计下一步的改进计划分析方法：获得一组错标样本，作为FN和FP来看待，计算不同类别的错标数，并尝试从中得到新的错标类别，以评估优化的优先级以及下一步的具体策略性能上限（Perform Ceiling）：尝试解决某一问题能够得到的最大性能提升平行地评估多个思路：通过同时评估，...

2018年9月版本Week 8机器学习策略 ML Strategy明确哪些动作可以尝试用于提高系统性能正交化 (Orthogonalization)：调整某一个或一些超参数以达到预期效果的过程，这些参数的设定过程应当尽可能互不影响一达到方便调整的目的ML的评估链：在代价函数上，对训练集拟合很好（进行可行性评估，比如与人类级别的性能进行比较）（更大的网络，Adam优化算法，……）在...

2018年9月版本Week 7超参数微调 Hyperparameter Tuning深度学习超参数深度学习遇到的超参数：学习速率α\alphaα（最重要）动量超参数β=0.9\beta=0.9β=0.9（次重要）Adam超参数β1=0.9,β2=0.999,ϵ=10−8\beta_1=0.9,\beta_2=0.999,\epsilon=10^{-8}β1​=0.9,β2​=0....

2018年9月版本Week 6小批量梯度下降 Mini-batch Gradient Descent (MGD)使用向量化算法，我们可以同时计算m个实例的相关数据但是在m非常大的情况下，这一过程仍然会非常慢对于梯度下降，在每一次迭代中，完整地处理一次数据将变得非常麻烦，整体达到最优变得不太实际mini-batch，即对于整个巨大的数据集，将其拆分成更小的训练集，称之为小批量训练集对...

2018年9月版本Week 5训练/开发/测试数据集 Train / Dev / Test提高模型设计的迭代效率使用训练集训练模型使用开发集测试模型，查看哪一个模型或算法在开发集上表现最好用测试集进行最终的结果评估，避免开发时使用测试集造成偏差由于开发集和测试集的基本目的在于快速的得出结论，在大数据时代，这二者在整个数据集中占有的比重就应当非常小了，因此合理的分割...

2018年9月版本Week 4深度L层神经网络 Deep L-layer neural network具有多个隐藏层的神经网络模型（甚至可以把隐藏层层数作为超参数）LLL，网络的层数n[l]n^{[l]}n[l]，l层的单元个数a[l]a^{[l]}a[l]，l层的激活值深度网络的正向传播 Forward PropagationZ[l]=W[l]A[l−1]+b[l]Z^{[...

Week 3神经网络表示 NN Representation输入层，输入单元x隐藏层，进行神经网络内部的数据处理输出层，用于输出估计值y^\hat{y}y^​“隐藏”的含义：这一层的节点的真实值并没有被观察，数据集中也没有相关表示输入可以看作时原始（第0层）的激活输出，一次可以表示成a[0]=Xa^{[0]}=Xa[0]=X隐藏层则是a[1]a^{[1]}a[...

2018年9月版本Week 2二元分类 Binary Classification特征向量nxn_xnx​，或简写为nnn。二元分类的目标：针对一个输入x，预测对应输出y是1还是0。逻辑回归 Logistic Regression基本思想：给定一个特征向量X\bold{X}X，得到一个概率y^=P(y=1∣X)\hat{y}=P(y=1|X)y^​=P(y=1∣X)已知参数：X...

Week 1什么是机器学习使用机器学习：直接编写程序十分困难将大量若规则进行整合且适应规则的变化十分困难机器学习方法：收集大量明确了对应了输入的输出的样例使用这些样例产生一个可以完成任务的程序这类程序与手写程序非常不同，包含很多的数据不仅能够很好的解决既有样例，还能泛化到新的样例中随着数据改变，程序自身也可以改变简单神经网络模型线性神经元 Linear...

2018年9月版本Week 9异常检测 Anomaly Detection主要用于非监督学习，却很类似监督学习问题已知有一组无标签数据集{x(1),x(2),…,x(m)}\{x^{(1)},x^{(2)},\ldots,x^{(m)}\}{x(1),x(2),…,x(m)}（通常这些数据都是异常或者不异常的），对于一个新的样例xtestx_{test}xtest​，通过其他特征与...

2018年9月版本Week 8聚类 Clustering无监督学习：拥有一组之间没有任何相关联的标记的数据，将这些数据送入算法，并分析数据中的结构K-Means算法：一种聚类算法根据聚簇要求，随机选择指定数量个的聚类中心（cluster centroid）进行迭代，直到聚类中心不再变化（收敛）：簇分配：遍历所有的点，通过比较这个点与各个中心的距离决定其在哪个聚簇移动聚簇中心：...

2018年8月版本Week 7大间距分类 Large Margin Classification优化目标 Optimization Objective支持向量机（Support Vector Machine，SVM）：在拟合复杂非线性函数问题上表现比较出众SVM优化目标函数：min⁡θC∑i=1my(i)cost1(θTx(i))+(1−y(i))cost0(θTx(i))+12∑j=...

2018年9月版本Week 6学习算法评估 Evaluating可以尝试的事情获取更多的训练实例（解决高方差）尝试更小的特征集（解决高方差）尝试获取额外的特征（解决高偏差）添加多项式特征（解决高偏差，即另一种形式的增加特征）减小λ的值（解决高偏差）增大λ的值（解决高方差）机器学习诊断法：一种可以让我们了解一种学习算法中起作用和不起作用的内容，同时引导我们如何最有效地提高性能的...

2018年9月版本Week 5代价函数（k元分类）J(Θ)=−1m[∑i=1m∑k=1Kyk(i)log⁡(hΘ(x(i)))k+(1−yk(i))log⁡(1−(hΘ(x(i)))k)]+λ2m∑l=1L−1∑i=1sl∑j=1sl+1(Θji(l))2J(\Theta) = -\frac{1}{m}[\sum\limits_{i=1}^{m} \sum_{k=1}^{K} y_k^{(...

2018年9月版本Week 4非线性假设函数 Non-linear Hypothesis对于图像这类非线性回归问题，使用逻辑回归会引入大量的特征项（二次、三次项），进行回归拟合会非常困难神经元与大脑 Neurons and the Brain一种试图模拟大脑的算法神经网络模型表示神经元模型：逻辑单元获得输入信息，经过计算处理后，得到输出对于一个神经元，其输入可能存...

2018年9月版本Week 3分类 Classification二元分类，对于结果y，只有y∈{0,1}y\in{\{0,1\}}y∈{0,1}，0代表负类（某事物不存在），1代表正类（某事物存在），这种分类往往并不精确，但是对于客体来讲无关紧要多元分类即y的结果有若干个对于线性回归，应用二元分类往往不是很好，因为y只取0和1，但是很可能预测结果会远大于1或者远小于0可以使用逻辑回归...

2018年9月版本第二周多变量线性回归通过多个变量进行预测。假设函数的表示形式变得更加复杂hθ(x)=θ0+θ1x1+θ2x2+θ3x3+θ4x4h_{\theta}(x)=\theta_0+\theta_1x_1+\theta_2x_2+\theta_3x_3+\theta_4x_4hθ​(x)=θ0​+θ1​x1​+θ2​x2​+θ3​x3​+θ4​x4​一般形式hθ(x)=θ0+...