ML基本知识
文章平均质量分 94
机器学习
LightYoungLee
啊嘿嘿啊哈哈
展开
-
ML基本知识(十六)损失函数
推荐系统相关pairwise hinge loss其衡量的是pairwise场景下正负样本的差异,公式如下所示,其中marginmarginmargin代表的是预设的阈值,uuu代表输入query,d+d+d+代表的是正样本,d−d-d−代表的是负样本,<><><>代表的是两个向量之间的相似度,该公式代表的含义是只有当输入query与正样本足够相似时,loss才会降为0,否则与正样本越不相似或者与负样本越相似,则loss都会变得很大。loss=max(0,margi原创 2021-06-15 09:05:46 · 1969 阅读 · 0 评论 -
ML基本知识(十五)Kmeans
核心思想Kmeans是一个无监督的问题,想要达到的目标是把数据聚成k类。在说算法之前必须说一下Kmeans的理论基础,也就是能够进行Kmeans操作的前提是每一个簇中的数据都服从高斯分布,也就是说数据是服从混合高斯模型的,而且假设每一个高斯模型的方差都是相同的,这样才能够保证结果是正确的,即对于每一个点的概率如下,xi∼N(μi,σ)x_i \sim N(\mu_i, \sigma)xi∼N(μi,σ)而对于所有的数据,它的似然概率为:∏j=1K∏i=1Nj(12πσe−(xji−μj)22σ2原创 2021-05-17 16:32:54 · 368 阅读 · 0 评论 -
ML基本知识(七)极大似然和极大后验
综述假如我们提取了一个数据集{(x(1),y(1)),(x(2),y(2)),...,(x(N),y(N))}\{(x^{(1)}, y^{(1)}),(x^{(2)}, y^{(2)}), ..., (x^{(N)}, y^{(N)})\}{(x(1),y(1)),(x(2),y(2)),...,(x(N),y(N))}, 这些都是从联合分布P(X,Y)P(X,Y)P(X,Y)中提取出来的,且相互独立,现在无法把真实的联合分布计算出来,只能够通过用现有的数据集尽量构造一个联合分布去逼近真实的联合分布,问原创 2021-04-11 17:17:37 · 416 阅读 · 0 评论 -
ML基本知识(三)逻辑斯谛回归
应用背景该模型解决的是二分类问题,即y∈{0,1}y\in \{0,1\}y∈{0,1},对数据做出的假设为伯努利分布,假设取1的真实概率为ϕ\phiϕ,目标为寻找到合适的ϕ\phiϕ,使得预测分布接近真实分布。公式如下所示:p(y=1/x;θ)=ϕp(y=0/x;θ)=1−ϕ\begin{matrix}p(y=1/x;\theta)=\phi\\ p(y=0/x;\theta)=1-\phi\end{matrix}p(y=1/x;θ)=ϕp(y=0/x;θ)=1−ϕ上述公式合二为一,即为原创 2021-04-11 17:10:44 · 164 阅读 · 0 评论 -
ML基本知识(十四)激活函数
激活函数本质增加神经网络的非线性型,具体而言为提升神经网络的拟合能力。各类激活函数relu求导f′(x)={1 if x>00 if x⩽0f'(x)=\left\{\begin{matrix}1 \ \ \ \ if \ x > 0 \\ 0 \ \ \ \ if \ x \leqslant 0 \end{matrix}\right.f′(x)={1 &原创 2021-04-04 20:01:33 · 157 阅读 · 0 评论 -
ML基本知识(一)零散知识点
样本不均衡问题后果假设正:负=1:100,则如果不对负样本进行处理,则模型学出来的规律是有偏的,因为即便是把所有的样本都预测成负样本,模型的准召依然很高,但是效果很差。解决方案weighted_logloss:加重对正样本预测为负样本的惩罚力度。L=∑i[wiyilog(pi)+(1−yi)log(1−pi)]L = \sum_i [w_i y_i log(p_i) + (1-y_i) log(1-p_i)]L=i∑[wiyilog(pi)+(1−yi)log(1−pi)]过采样:正原创 2021-03-17 22:38:07 · 469 阅读 · 0 评论 -
ML基本知识(十二)rule-of-ml(google)
周末抽时间拜读了下google的机器学习43条基本准则,收获颇丰。按照自己的理解,添加了一些备注,希望能够帮到大家。Before Machine LearningDon’t be afraid to launch a product without machine learning.First, design and implement metrics.Choose machine learning over a complex heuristic.如果一个系统规则太过复杂,则直接用模原创 2020-11-15 16:28:49 · 523 阅读 · 0 评论 -
ML基本知识(十一)梯度消失和梯度爆炸
持续更新中深度学习基本知识dropout 解释前向传播每一个batch_size时每个神经元都以一定的概率p被保留,而后反向传播的时候只是更新那些没有被删掉的神经元的梯度和与这些神经元相关的权重矩阵的参数。这样就可以导致每个batch_size个训练样本对应的模型都不相同,因而很多个数据训练下来后就会得到很多个模型的平均,因而相当于模型融合,导致模型的鲁棒性增强,从而最大程度抑制过拟合。test时以每个神经元都保留,但是要乘以p,这也是因为平均的作用(面试的时候不要说)。正则化计算.原创 2020-07-08 08:34:34 · 810 阅读 · 0 评论 -
ML基本知识(十三)过拟合
概念规避过拟合方法dropout 前向传播每一个batch_size时每个神经元都以一定的概率p被保留,而后反向传播的时候只是更新那些没有被删掉的神经元的梯度和与这些神经元相关的权重矩阵的参数。这样就可以导致每个batch_size个训练样本对应的模型都不相同,因而很多个数据训练下来后就会得到很多个模型的平均,因而相当于模型融合,导致模型的鲁棒性增强,从而最大程度抑制过拟合。test时以每个神经元都保留,但是要乘以p,这也是因为平均的作用(面试的时候不要说)。正则化正则化的目的是将模型参数学习过原创 2021-02-09 16:42:31 · 256 阅读 · 0 评论 -
ML基本知识(十)分类器评价指标
准确率和召回率对于二分类问题,常用的评价标准为精确率(precision)和召回率(recall), 通常以关注的类为正类(正样本),其他类为负类(负样本), 对于分对或者分错,有下列四种情况:TP-> 把正类预测成正类FN-> 把正类预测为负类FP-> 把负类预测为正类TN-> 把负类预测为负类这里有两个概念,精确率和召回率,精确率(查准率)为P=TPT...原创 2020-04-12 10:45:15 · 1844 阅读 · 0 评论 -
SVM系列(二)核函数kernels的理解
kernel原创 2017-03-22 08:07:52 · 2033 阅读 · 1 评论 -
ML基本知识(二)批量梯度下降公式推导
之前在看批量梯度下降的时候,看到代价函数J(w)的求导过程中,一直搞不明白它是怎么推导出来的,今天终于把它推导出来了。原创 2017-03-03 22:32:51 · 2656 阅读 · 0 评论 -
ML基本知识(四)PCA理论基础
PCA原创 2017-11-05 20:33:17 · 527 阅读 · 0 评论 -
ML基本知识(六)EM 算法
Jensen不等式对于凸函数f" role="presentation">fff(f″(x)≥0" role="presentation">f′′(x)≥0f″(x)≥0f''(x)\geq0)和随机变量X" role="presentation">XXX, 那么有如下结论E[f(x)]≥f(EX)" role="presentation">E[f原创 2018-02-05 22:58:48 · 292 阅读 · 0 评论 -
ML基本知识(八)KNN
k近邻算法输入:训练数据集T={(xi,yi)}i=1N" role="presentation">T={(xi,yi)}Ni=1T={(xi,yi)}i=1NT=\{(x_i, y_i)\}^N_{i=1}, 其中xi" role="presentation">xixix_i为实例的特征向量,yi∈{c1,c2,...,ck},i=1,2,...,N" role="pres原创 2018-02-06 23:02:35 · 303 阅读 · 0 评论 -
ML基本知识(九)朴素贝叶斯
本文适用于想了解朴素贝叶斯基本概念和基本原理的同学,讲述了朴素贝叶斯基本方法的公式推导以及其损失函数的由来,最后讲述了贝叶斯估计中的拉普拉斯平滑。原创 2018-02-06 23:08:24 · 300 阅读 · 0 评论