庞琳卓的博客

吴恩达机器学习课程的学习笔记~

什么是优化算法？ 给定一个具有参数θ的目标函数，我们想要找到一个w使得目标函数取得最大值或最小值。优化算法就是帮助我们找到这个θ的算法。 在神经网络中，目标函数f就是预测值与标签的误差，我们希望找到一个θ使得f最小。优化算法的种类一阶优化算法 它通过计算目标函数f关于参数θ的梯度（一阶偏导数）来最小化代价函数。常用的SGD、Adam、RMSProp等基于梯度的优化算法都属于一阶优化算法。

什么时候用softmax？ softmax是一种归一化函数，用于将向量中元素的值都归一化0～1之间，并保持其加和为1。 公示表达为： 根据公式和图片可看出，前一层的激活值越大，经过softmax函数后的值也就越大，又因为softmax的所有输出加和为1，因此，常利用softmax层将激活值与概率实现映射。 多元分类（multi-class classification）中，每个样本只

Purpose **To formalize the impact of a training point on a prediction, we ask the counterfactual: what would happen if we did not have this training point, or if the values of this training point w

前一篇已经总结了梯度下降法，今天尝试将代码用Python实现，之所以选择Python是因为用python写的代码可以短一些=。=如果哪里不对了，希望可以帮我纠正~~首先是批量随机梯度法，适用于训练样本数目不是特别多的情况，而且可以用于样本特征数目n更多的情况：# -*- coding: cp936 -*-#Training data set#-----by plzimpo

关于Adaboost算法的实现细节，特别讲了改变样本分布的两种方法。

特征值分解与奇异值分解的几何意义、公式表达其区别与联系

将讲述三种cross-entropy，分别为standard cross-entropy、 balanced cross-entropy、focal loss。standard cross-entropy standard cross-entropy认为各个训练样本的权重是一样的，若用p_t表示样本属于true class的概率，则： standard

深度学习中的卷积与反卷积操作详解

今天正式开始学习机器学习的算法，老师首先举了一个实例：已知某地区的房屋面积与价格的一个数据集，那么如何预测给定房屋面积的价格呢？我们大部分人可以想到的就是将画出房屋面积与价格的散点图，然后拟合出价格关于面积的曲线，那么对于一个已知的房屋面积，就可以在拟合的曲线上得到预测的价格。这个问题就是回归。要想用数学方法解决这一问题，肯定得定义一堆符号来描述问题啦，下面是符号定义：符号定义

马氏距离 用来度量一个样本点Ｐ与数据分布为Ｄ的集合的距离。 假设样本点为： 数据集分布的均值为： 协方差矩阵为Ｓ。 则这个样本点Ｐ与数据集合的马氏距离为： 马氏距离也可以衡量两个来自同一分布的样本x和y的相似性： 当样本集合的协方差矩阵是单位矩阵时，即样本的各个维度上的方差均为１．马氏距离就等于欧式距离相等。 当协方差矩阵