![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
机器学习算法相关
专注于计算机视觉的AndyJiang
这个作者很懒,什么都没留下…
展开
-
深度学习之联邦学习
什么是联邦学习联邦学习(federated learning)能够让AI算法借助位于不同站点的数据中获得经验。该方法能够让多个组织协作开发模型,而且不需要彼此之间直接共享敏感的数据在多次训练迭代过程中,共享模型所覆盖的数据范围会比任何一个组织内部拥有的数据都要大得多。联邦学习如何工作难点:不仅仅是数据量的问题,数据集还需要极高的多样化。但是考虑到隐私性,这些数据一般无法共享。解决办法:联邦学习摒弃了将数据集中到某个位置进行训练的方法,取而代之的是将模型分散到各个不同的站点进行迭代训练。例如原创 2020-09-10 10:34:00 · 3391 阅读 · 0 评论 -
机器学习之如何选取特征(特征工程)
特征工程特征工程的意义是找一个更好的空间去重构表达,把原始的数据对象映射到这个空间去表达,更便于你的应用。比如分类应用,最好是找到线性可分的空间嘛。不止是神经网络可以代替人工找特征,理论上越是复杂的模型本身就是在代替人工找特征,只不过复杂模型的有效训练又成了难题。深层神经网络(就是层数特别多)就是一种通用的复杂的模型,而深度学习很大程度上解决了它的训练问题。当你用一个N层的网络去学习人脸分类时,看上图最左边,最下面的就是接近输入端的层学到的特征,长相是不是很像Gabor滤波~~这部分的表达粒度比较原创 2020-09-09 17:45:51 · 1299 阅读 · 1 评论 -
机器学习之评价指标AUC的意义
参考概要在互联网的排序业务中,比如搜索、推荐、广告等,AUC(Area under the Curve of ROC)是一个非常常见的评估指标。AUC的理解一般有两大类解释,一种是基于ROC线下面积,需要理解混淆矩阵,包括精确率、召回率、F1 值、ROC等指标的含义。另外一种是基于概率的解释,模型的排序能力。AUC的排序特性对比accuracy、precision等指标,AUC指标本身和模型预测score绝对值无关,只关注排序效果,因此特别适合排序业务。为何与模型预测score值无关为何是很好原创 2020-09-09 14:17:43 · 5399 阅读 · 1 评论 -
机器学习之LDA线性判别分析
思想总结线性判别分析( Linear Discriminant Analysis , LDA )是一种经典的降维方法。和主成分分析 PCA 不考虑样本类别输出的无监督降维技术不同, LDA 是一种监督学习的降维技术,数据集的每个样本有类别输出。LDA 分类思想简单总结如下:多维空间中,数据处理分类问题较为复杂, LDA 算法将多维空间中的数据投影到一条直线上,将 d维数据转化成 1 维数据进行处理。对于训练数据,设法将多维数据投影到一条直线上,同类数据的投影点尽可能接近,异类数据点尽可能远离原创 2020-08-10 16:29:30 · 665 阅读 · 0 评论 -
机器学习之PCA主成分分析
PCA思想PCA 将高维的数据通过线性变换投影到低维空间上去。投影思想:找出最能够代表原始数据的投影方法。被 PCA 降掉的那些维度只能是那些噪声或是冗余的数据。去冗余:去除可以被其他向量代表的线性相关向量,这部分信息量是多余的。去噪声:去除较小特征值对应的特征向量,特征值的大小反映了变换后在特征向量方向上变换的幅度,幅度越大,说明这个方向上的元素差异也越大,要保留。对⻆化矩阵:寻找极大线性无关组,保留较大的特征值,去除较小特征值,组成一个投影矩阵,对原始样本矩阵进行投影,得到降维后的新样本矩阵原创 2020-08-10 16:01:26 · 553 阅读 · 0 评论 -
机器学习之LightGBM
本文参考以下链接,如有侵权,联系删除参考文献LightGBM简介GBDT (Gradient Boosting Decision Tree) 是机器学习中一个长盛不衰的模型,其主要思想是利用弱分类器(决策树)迭代训练以得到最优模型,该模型具有训练效果好、不易过拟合等优点。GBDT不仅在工业界应用广泛,通常被用于多分类、点击率预测、搜索排序等任务;在各种数据挖掘竞赛中也是致命武器,据统计Kaggle上的比赛有一半以上的冠军方案都是基于GBDT。而LightGBM(Light Gradient Boost原创 2020-08-05 15:16:02 · 878 阅读 · 0 评论 -
机器学习之EM算法
EM算法基本思想最大期望算法(Expectation-Maximization),是一类通过迭代进行极大似然估计的优化算法,通常作为牛顿迭代法的替代,用于对包含隐变量或缺失数据的概率模型进行参数估计.一般是两个步骤交替进行计算:第一步是计算期望(E),利用对隐变量的现有估计值,计算其最大似然估计值第二步是最大化(M),最大化在E步上求得的最大似然值来计算参数的值.M步上找到的参数估计值被用于下一个E步计算中,这个过程不断交替进行.EM算法推导对于 mmm 个样本观察数据 x=(x1,x2,原创 2020-08-05 10:55:01 · 517 阅读 · 0 评论 -
必须要会的知识点
机器学习SVM原理及推导推导知识点逻辑回归原理及推导推导XGBOOST和GDBT的区别优缺点区别评价指标,AUC知乎代价函数,目标函数,损失函数的区别CV优化器的区别CNN为什么能提取特征知乎一个图像矩阵经过一个卷积核的卷积操作后,得到了另一个矩阵,这个矩阵叫做特征映射(feature map)。每一个卷积核都可以提取特定的特征,不同的卷积核提取不同的特征,举个例子,现在我们输入一张人脸的图像,使用某一卷积核提取到眼睛的特征,用另一个卷积核提取嘴巴的特征等等。而特征映射就是某原创 2020-08-04 21:21:40 · 124 阅读 · 0 评论 -
机器学习之BP算法推导
BP推导原创 2020-07-28 13:15:29 · 227 阅读 · 4 评论 -
机器学习之梯度下降法求最值
梯度下降法求最值import numpy as npdef f(x): return x**2def h(x): return 2*x x = 2 #初始点(初始横坐标)step = 0.8#(步长) f_change = f(x)f_current = f(x)count = 0#迭代次数while f_change>1e-10:#停止迭代的条件,差值小于10^-10的时候停止迭代 x = x-step*h(x)#更新x tmp = f(x)原创 2020-07-28 13:13:29 · 627 阅读 · 0 评论 -
深度学习之常用损失函数
参考原创 2020-07-28 13:05:32 · 1047 阅读 · 0 评论 -
机器学习之AUC评测指标
参考原创 2020-07-28 11:10:58 · 1360 阅读 · 0 评论 -
机器学习之Xgboost详解
xgboost推导xgboost面试题上xgboost面试题下原创 2020-07-27 21:00:00 · 4507 阅读 · 3 评论 -
机器学习之手撕逻辑回归和K-Means
参考链接手撕逻辑回归手写k-means算法1. 算法原理1.初始随机选取k个中心点;2.遍历每个样本,选取距离每个样本最近的中心点,归为该类;3.更新中心点为每类的均值;4.重复(2)(3)迭代更新,直至误差小到某个值或者到达一定的迭代步数.2. 伪代码3. 代码实现(python)def kmeans(k): m, n = 100, 20 # 构造样本:100行、20列 x = 10 * np.random.random((m, n)) # 随机选择原创 2020-07-26 21:42:14 · 302 阅读 · 0 评论 -
机器学习之逻辑回归(logistics regression)原理推导和决策边界
提要:逻辑回归虽然名字里面有回归,但是主要用来解决分类问题。线性回归(Linear Regression)线性回归的表达式:f(x)=wT+bf(x)=w^T+bf(x)=wT+b线性回归对于给定的输入xxx ,输出的是一个数值 y ,因此它是一个解决回归问题的模型。为了消除掉后面的常数项b,我们可以令 x′=[1x]Tx'=[1\quad x]^Tx′=[1x]T,同时 w′=[bw]Tw'=[b \quad w]^Tw′=[bw]T ,也就是说给x多加一项而且值恒为1,这样b就到了w里面去了,原创 2020-07-22 19:10:45 · 709 阅读 · 0 评论 -
机器学习之目标函数、损失函数、代价函数,有什么区别?
首先给出结论:损失函数和代价函数是同一个东西,目标函数是一个与他们相关但更广的概念,对于目标函数来说在有约束条件下的最小化就是损失函数(loss function)。上面三个图的函数依次为 f1(x)f_1(x)f1(x) , f2(x)f_2(x)f2(x) , f3(x)f_3(x)f3(x) 。我们是想用这三个函数分别来拟合Price,Price的真实值记为 YYY 。我们给定 xxx ,这三个函数都会输出一个 f(X)f_(X)f(X) ,这个输出的 f(X)f_(X)f(X) 与真实原创 2020-07-22 19:10:15 · 453 阅读 · 0 评论 -
机器学习之常用的分类模型评价指标
1.1 精确率和召回率精确率和召回率主要用于二分类问题(从其公式推导也可看出),结合混淆矩阵有:精确率P和召回率R的定义为:上述计算公式中的Positive与Negative是预测标签,True与false代表预测正误;要注意,精确率和召回率是二分类指标,不适用多分类,由此得到P-R曲线以及ROC曲线均是二分类评估指标(因为其横纵轴指标均为二分类混淆矩阵计算得到),而准确率适用于多分类评估。(可以将多分类问题转换为二分类问题进行求解,将关注的类化为一类,其他所有类化为一类)理想情况下,精确率和原创 2020-07-22 19:09:56 · 1192 阅读 · 0 评论 -
机器学习之信息量,熵,相对熵,交叉熵概念辨析
信息量可能性越小的事件其信息量越大,极端情况下,确定事件的信息量为0。事件 aaa 的信息量为 Ia=−logP(a)I_a = -logP(a)Ia=−logP(a), P(a)P(a)P(a) 为事件 aaa 发生的概率。熵熵就是一个随机变量X所有事件的信息量的期望例如随机变量XXX表示明天的天气,所有事件为x1x_1x1=晴天,x2x_2x2=雨天,x3x_3x3=多云,对应的概率为P(x1)P(x_1)P(x1)=0.3,P(x2)P(x_2)P(x2)=0.5,P(x3)P原创 2020-07-16 18:10:41 · 208 阅读 · 1 评论 -
机器学习之常见面试题
机器学习常见面试题1.比较Boosting和Bagging的异同二者都是集成学习算法,都是将多个弱学习器组合成强学习器的方法。Bagging:从原始数据集中每一轮有放回地抽取训练集,训练得到k个弱学习器,将这k个弱学习器以投票的方式得到最终的分类结果。Boosting:每一轮根据上一轮的分类结果动态调整每个样本在分类器中的权重,训练得到k个弱分类器,他们都有各自的权重,通过加权组合的方式得到最终的分类结果。2.无监督学习中存在过拟合吗?存在。我们可以使用无监督学习的某些指标或人为地去评估模型性能转载 2020-06-13 19:05:08 · 592 阅读 · 1 评论 -
深度学习之正则化
1、Bias(偏差) & Variance(方差)bias就是衡量训练集和我们的最小误差的差距variance是指你的验证集和你训练集的效果的差别,而不是某个绝对的值。2、如何解决bias和variance的问题如果你的模型训练结果是high bias,我们一般用以下几种方法来改进:1)尝试使用更复杂更大的网络结构(增加单元数、增加层数,或者更改结构)2)训练更长的时间(增加迭代次)数因为high bias意味着我们训练的还不够,连训练集的内容都无法很好的识别。所以这种情况下不用去想原创 2020-06-13 18:49:27 · 204 阅读 · 0 评论 -
机器学习之ID3、C4.5、CART、RF、boosting、Adaboost、GBDT、xgboost模型
决策树决策树是一个有监督的分类模型,其本质是选择一个能带来最大信息增益的特征值进行树的分割,直到到达结束条件或者叶子结点纯度到达一定阈值。按照分割指标和分割方法,决策树的经典模型可以分为ID3、C4.5以及CARTID3:以信息增益为准则来选择最优划分属性信息增益的计算要基于信息熵(度量样本集合纯度的指标)信息熵越小,数据集X的纯度越大因此,假设于数据集D上建立决策树,数据有K个类别:公式(1)中:表示第k类样本的数据占数据集D样本总数的比例公式(2)表示的是以特征A作为分割的属性,原创 2020-06-09 23:31:51 · 524 阅读 · 1 评论 -
机器学习之决策树
参考决策树原创 2020-06-05 15:36:13 · 103 阅读 · 0 评论 -
机器学习之k-means算法
k-means算法流程从数据集中随机选择k个聚类样本作为初始的聚类中心,然后计算数据集中每个样本到这k个聚类中心的距离,并将此样本分到距离最小的聚类中心所对应的类中。将所有样本归类后,对于每个类别重新计算每个类别的聚类中心即每个类中所有样本的质心,重复以上操作直到聚类中心不变为止。k-means存在缺点:1)k-means是局部最优的,容易受到初始质心的影响2)同时,k值的选取也会直接影响聚类结果,最优聚类的k值应与样本数据本身的结构信息相吻合,而这种结构信息是很难去掌握,因此选取最优k值是非常困难原创 2020-05-09 11:51:24 · 365 阅读 · 0 评论 -
机器学习之支持向量机,SVM与LR(逻辑回归)的区别?
什么是支持向量机,SVM与LR的区别?支持向量机为一个二分类模型,它的基本模型定义为特征空间上的间隔最大的线性分类器。而它的学习策略为最大化分类间隔,最终可转化为凸二次规划问题求解。LR是参数模型,SVM为非参数模型。LR采用的损失函数为logisticalloss,而SVM采用的是hingeloss。在学习分类器的时候,SVM只考虑与分类最相关的少数支持向量点。LR的模型相对简单,在进行大规模线性分类时比较方便。SVM可以用于解决二分类或者多分类问题,此处以二分类为例。SVM的目标是寻找一个最优化超原创 2020-05-09 11:50:20 · 2485 阅读 · 2 评论 -
深度学习之L1 loss和L2 loss的区别
L1 loss和L2 loss的区别?L1 loss: L2 loss: smooth L1 loss: l1 loss在零点不平滑,用的较少。一般来说,l1正则会制造稀疏的特征,大部分无用的特征的权重会被置为0。(适合回归任务,简单的模型,由于神经网络通常解决复杂问题,很少使用。)smooth l1 loss修改零点不平滑问题,L1-smooth比l2 loss对异常值的鲁棒...原创 2020-05-08 12:00:10 · 25404 阅读 · 0 评论