机器学习
JustSleep
这个作者很懒,什么都没留下…
展开
-
逻辑回归
、一般应用左边的形式,每个样本占据一列。决策边界:图上的损失函数L的单个样本的。下面的J是全体样本的损失函数。训练利用梯度下降法找到使损失函数最小的w和b。图上是针对单个训练数据的计算,大的数据量的时候我们要使用向量化技术。...原创 2019-03-05 16:01:41 · 119 阅读 · 0 评论 -
无监督学习-降维
原因:数据压缩可视化数据注意:降维后的特征可能不具有物理意义,或者偏向于之前的某几个特征常用算法:PCA(主成分分析)每个点到直线投影的距离很短,也即投影误差最小。在做PCA之前,我们需要对数据进行均值归一化和特征规范化降维过程:证明很复杂就是了使用PCA可以提高学习算法的速度,但是不能用来防止过拟合注意降维前和还原后的数值还是有差别的,但是...原创 2019-03-23 15:36:24 · 714 阅读 · 0 评论 -
聚类算法K Means
无监督学习算法,没有标签数据yK Means算法:是一个迭代算法一是簇分配,二是移动聚类中心代价函数:如何初始化最开始的簇中心:用样本来定义簇中心点可能会有局部最优,就需要尝试多次随机初始化选择K值:...原创 2019-03-23 10:49:45 · 205 阅读 · 0 评论 -
核函数
核函数就相似于一个相似度函数下面是高斯核函数l是三个新标记点,f是新的特征变量δ是高斯核函数的参数,下面我们来看改变它对结果的影响。我们通过标记点和相似度函数来定义新的特征变量,从而训练复杂的非线性边界。但是我们怎么选择标记点呢,这里我们把所有样本当做标记点,所以一共有m个标记点,最后的特征向量也就是m维度...原创 2019-03-22 18:58:42 · 330 阅读 · 0 评论 -
支持向量机
优化目标:将逻辑回归的代价函数改变得到支持向量机的代价函数通过C的值来调节损失项和正则化项的权重C非常大是才会出现下面的黑线支持向量机中的优化目标函数:将其优化函数利用内积进行转换:左边的边界曲线:比如说当为正样本时,此时P值较小,我们要增大Θ值,但是此时与我们优化的目标函数(最小化Θ的平方和)相违背,所以这条边界不是好的选择。...原创 2019-03-22 13:28:34 · 118 阅读 · 0 评论 -
衡量机器学习模型
评估假设:模型选择时,利用训练集得到每个模型的最佳Θ值,再利用测试集找到最佳次方的模型。图上是通过测试集来得到参数d(选用几次函数模型)用训练集来拟合参数Θ1、Θ2等参数时,那么拟合后的模型在训练集上的效果,是不能预测出对新样本的泛化能力。所以上面的做法是不合理的。将数据集分为:训练集、验证集、测试集此时我们用验证集选择模型,然后用测试集得到泛化误差。偏差和方差...原创 2019-03-21 21:33:21 · 171 阅读 · 0 评论 -
正则化
通过lamda值来减小第三个参数和第四个参数的影响,参数接近于零,就相当于简化这个模型,比如下面的就变成了一个二次函数。如果不知道=该缩小那个参数,就全部缩小正则化实质:每次把参数缩小一点正则化还可以避免不可逆操作...原创 2019-03-20 21:14:57 · 151 阅读 · 0 评论 -
线性回归
单变量线性回归模型描述:代价函数:误差平方代价函数对于大多数问题特别是回归问题都是一个合理的选择。我们的目标是找到使损失函数最小的参数值。梯度下降:Batch梯度下降算法:每一步梯度下降都遍历整个训练集的样本多变量线性回归:模型表示:梯度下降:同单变量相同这里省略。特征缩放:保证特征范围尽可能小并且平均,减少迭代次数。正规...原创 2019-03-20 16:30:23 · 83 阅读 · 0 评论 -
激活函数的导数
一、sigmoid函数二、tanh函数三、relu函数原创 2019-03-05 21:32:27 · 799 阅读 · 0 评论 -
推荐系统
一、基于内容的推荐系统每个用户有自己的参数Θ,而在预测时相当于对每个用户进行一次线性回归。但是想得到每部电影所要做线性回归的特征并不容易。二、协同过滤特征学习,这种算法能够自行学习所要使用的特征上面的最小化公式可以解决出X和Θ我们还可以利用得到的属性X得到我们所想要的电影Y...原创 2019-03-24 17:23:45 · 84 阅读 · 0 评论