机器学习
1
一枚小码农
这个作者很懒,什么都没留下…
展开
-
人工智能领域值得关注的会议
机器学习ICMLNIPSAISTATSUAIICLDNLPACLEMNLPCOLINGNAACLCVCVPRICCVDATA MININGKDDWSDMAIAAAIIJCAI期刊JMLRTKDEPAMI原创 2020-03-27 23:29:20 · 189 阅读 · 0 评论 -
机器学习各类优化算法总结
目录1Intro2一阶优化算法2.1GradientdescentBatch Gradient DescentStochastic Gradient DescentMini-batch Gradient Descent2.2Momentum2.3Nesterov accelerated gradient(NAG)2.4AdaGrad2.5A...原创 2020-02-05 15:50:22 · 3850 阅读 · 0 评论 -
如何确定LDA主题模型中的主题个数?
1 基于经验主观判断、不断调试、操作性强、最为常用2 基于困惑度Perplexity该方法需要测测试集!3贝叶斯统计标准方法参考文献:Griffiths T L, Steyvers M. Finding Scientific Topics[J]. Proceedings of the National Academy of Sciences of the Unit...原创 2020-02-01 23:20:20 · 10174 阅读 · 0 评论 -
K-Means算法中k值及初始类簇中心点的选取
1 k值的选择手肘法手肘法的核心指标是SSE(sum of the squared errors,误差平方和),其中,Ci是第i个簇,p是Ci中的样本点,mi是Ci的质心(Ci中所有样本的均值),SSE是所有样本的聚类误差,代表了聚类效果的好坏。手肘法的核心思想是:随着聚类数k的增大,样本划分会更加精细,每个簇的聚合程度会逐渐提高,那么误差平方和SSE自然会逐渐变小。并且,当k...原创 2020-01-31 18:49:51 · 6736 阅读 · 1 评论 -
L1正则化在0处不可导时如何处理?
1坐标轴下降法设lasso回归的损失函数为:其中,n为样本个数,m为特征个数。由于lasso回归的损失函数是不可导的,所以梯度下降算法将不再有效,下面利用坐标轴下降法进行求解。坐标轴下降法和梯度下降法具有同样的思想,都是沿着某个方向不断迭代,但是梯度下降法是沿着当前点的负梯度方向进行参数更新,而坐标轴下降法是沿着坐标轴的方向。下面为具体的更新过程:(3)通过以...原创 2020-01-31 18:11:48 · 2865 阅读 · 0 评论 -
降维算法(PCA/LDA/LLE/LEP/FA)总结
目录1PCA/LDA2Factor Analysis3 LLE4 LEPReference1PCA/LDA参考我的这篇博文主成分分析(PCA)/线性判别分析(LDA)总结2Factor AnalysisFA 的思想与 PCA 其实很相似,假设高维度上的观测结果 X 其实是由低维 度上的 factors 来支配的。打个比方,笔者身边有一大群妹子,每...原创 2020-01-31 14:22:45 · 1944 阅读 · 0 评论 -
主成分分析(PCA)/线性判别分析(LDA)总结
1 PCAPCA(Principal Component Analysis) 是一种常见的数据分析方式,常用于高维数据的降维,可用于提取数据的主要特征分量。关于PCA的原理强烈推荐这篇文章PCA的数学原理2 LDA之前我们讨论的 PCA降维,对样本数据来言,可以是没有类别标签 y 的。如果我们做回归时,如果特征太多,那么会产生不相关特征引入、过度拟合等问题。我们可以使...原创 2020-01-31 12:53:16 · 1828 阅读 · 0 评论 -
局部加权线性回归(Locally weighted linear regression)
首先我们来看一个线性回归的问题,在下面的例子中,我们选取不同维度的特征来对我们的数据进行拟合。对于上面三个图像做如下解释:选取一个特征,来拟合数据,可以看出来拟合情况并不是很好,有些数据误差还是比较大针对第一个,我们增加了额外的特征,,这时我们可以看出情况就好了很多。这个时候可能有疑问,是不是特征选取的越多越好,维度越高越好呢?所以针对这个疑问,如最右边图,我们用5揭多项...原创 2020-01-31 11:39:45 · 1371 阅读 · 0 评论 -
期望风险、经验风险与结构风险
在机器学习中,通常会遇到期望风险、经验风险和结构风险这三个概念,一直不知道这三个概念之间的具体区别和联系,今天来梳理一下1损失函数要区分这三个概念,首先要引入一个损失函数的概念。损失函数是期望风险、经验风险和结构风险的基础。损失函数是针对单个具体的样本而言的。表示的是模型预测的值与样本真实值之间的差距。比如对于某个样本<Xi,Yi>,其真实的值为Yi,而我们的模型选...原创 2020-01-30 23:39:38 · 453 阅读 · 0 评论 -
机器学习相关博文汇总
现汇总下自己总结过的MachineLearning知识点文章:1.为什么bagging降低方差,boosting降低偏差?2.机器学习中的特征选择(过滤式,包裹式,嵌入式)3.期望风险、经验风险与结构风险4.局部加权线性回归(Locally weighted linear regression5.主成分分析(PCA)/线性判别分析(LDA)总结6.降维算法(PCA/LDA...原创 2020-01-30 22:10:20 · 155 阅读 · 0 评论 -
特征选择方法总结(过滤式,包裹式,嵌入式)
目录1Intro2过滤式(filter)2.1移除低方差的特征2.2单变量特征选择2.2.1卡方检验2.2.2皮尔逊相关系数2.2.3互信息和最大信息系数 (Mutual information and maximal information coefficient (MIC)2.2.4距离相关系数 (Distance Correlation)...原创 2020-01-30 22:07:24 · 11265 阅读 · 0 评论 -
为什么bagging降低方差,boosting降低偏差?
1variance/biasbias描述的是根据样本拟合出的模型的输出预测结果的期望与样本真实结果的差距,简单讲,就是在样本上拟合的好不好。要想在bias上表现好,low bias,就得复杂化模型,增加模型的参数,但这样容易过拟合 (overfitting),过拟合对应上图是high variance,点很分散。low bias对应就是点都打在靶心附近,所以瞄的是准的,但手不一定稳...原创 2020-01-30 21:55:42 · 6895 阅读 · 1 评论 -
伪标签半监督学习
对于每个机器学习项目而言,数据是基础,是不可或缺的一部分。在本文中,作者将会展示一个名为伪标签的简单的半监督学习方法,它可以通过使用无标签数据来提高机器学习模型的性能。为了训练机器学习模型,在监督学习中,数据必须是有标签的。那这是否意味着无标签的数据对于诸如分类和回归之类的监督任务就无用了呢?当然不是! 除了使用额外数据进行数据分析,还可以将无标签数据和标签数据结合起来,一同训练半监督学习模型...原创 2019-12-18 10:43:54 · 1384 阅读 · 0 评论