![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
@迷途小书童
这个作者很懒,什么都没留下…
展开
-
EM算法
1,EM算法简介最大期望算法(Expectation-Maximization algorithm, EM),或Dempster-Laird-Rubin算法 ,是一类通过迭代进行极大似然估计(Maximum Likelihood Estimation, MLE)的优化算法 ,通常作为牛顿迭代法(Newton-Raphson method)的替代用于对包含隐变量(latent variable)或...原创 2019-06-12 16:19:59 · 504 阅读 · 0 评论 -
推荐系统简介
1,基本概念推荐系统属于资讯过滤的一种应用。推荐系统能够将可能受喜好的资讯或实物(例如:电影、电视节目、音乐、书籍、新闻、图片、网页)推荐给使用者。 推荐系统首先收集用户的历史行为数据,然后通过预处理的方法得到用户-评价矩阵,再利用机器学习领域中相关推荐技术形成对用户的个性化推荐。有的推荐系统还搜集用户对推荐结果的反馈,并根据实际的反馈信息实时调整推荐策略,产生更符合用户需求的推荐结果,推荐系统...原创 2019-06-12 09:30:09 · 226 阅读 · 0 评论 -
logisitic和softmax函数
1,logistic函数其实logistic函数也就是经常说的sigmoid函数,它的几何形状也就是一条sigmoid曲线。logistic函数的公式形式如下:其中,x0表示了函数曲线的中心(sigmoid midpoint),k是曲线的坡度,表示f(x)在x0的导数。对应的几何形状:logistic函数本身在众多领域中都有很多应用,我们只谈统计学和机器学习领域。logistic函数在统...原创 2019-06-25 11:10:47 · 506 阅读 · 0 评论 -
支持向量机算法原理简介
1,支持向量机概念简介分类作为数据挖掘领域中一项非常重要的任务,它的目的是学会一个分类函数或分类模型(或者叫做分类器),而支持向量机本身便是一种监督式学习的方法,它广泛的应用于统计分类以及回归分析中。支持向量机(Support Vector Machine,SVM)是90年代中期发展起来的基于统计学习理论的一种机器学习方法,通过寻求结构化风险最小来提高学习机泛化能力,实现经验风险和置信范围的最...原创 2019-06-11 19:24:38 · 4097 阅读 · 0 评论 -
线性回归、逻辑回归及SVM
1,回归(Linear Regression)回归其实就是对已知公式的未知参数进行估计。可以简单的理解为:在给定训练样本点和已知的公式后,对于一个或多个未知参数,机器会自动枚举参数的所有可能取值(对于多个参数要枚举它们的不同组合),直到找到那个最符合样本点分布的参数(或参数组合)。当然,实际运算有一些优化算法,肯定不会去枚举的。注意,回归的前提是公式已知,否则回归无法进行。回归中的公式基本都是数...原创 2019-06-25 10:34:38 · 2488 阅读 · 0 评论 -
贝叶斯算法原理简介
1,贝叶斯简介贝叶斯(约1701-1761) Thomas Bayes,英国数学家,贝叶斯方法源于他生前为解决一个“逆概”问题写的一篇文章。2,贝叶斯要解决的问题正向概率:假设袋子里面有N个白球,M个黑球,闭着眼睛伸手取出一个球,摸出黑球的概率是多大。逆向概率:如果事先并不知道袋子里面黑白球的比例,而是闭着眼睛摸出一个(或好几个)球,观察这些取出来的球的颜色之后,那么我们可以就此对袋子里面...原创 2019-06-11 16:01:05 · 1750 阅读 · 0 评论 -
聚类算法原理简介
1,聚类概念聚类涉及到数据点的分组。给定一组数据点,我们可以使用聚类算法将每个数据点划分为一个特定的组。理论上,同一组中的数据点应该具有相似的属性和/或特征,而不同组中的数据点应该具有高度不同的属性和/或特征。聚类是一种无监督学习的方法(没有标签),是许多领域中常用的统计数据分析技术有时候作为监督学习中稀疏特征的预处理,有时候可以作为异常值检测。应用场景:新闻聚类、用户购买模式(交叉销售)、图像...原创 2019-06-11 15:37:02 · 6575 阅读 · 0 评论 -
集成算法原理简介
1,集成算法集成学习(ensemble learning)从概念上讲,它并不是一个单独的机器学习算法,而是通过构建并结合多个机器学习器来完成学习任务。也就是我们常说的“博采众长”。集成学习可以用于分类问题集成,回归问题集成,特征选取集成,异常点检测集成等等,让机器学习效果更好。2,Bagging模型Bagging模型全称:bootstrap aggregation(并行训练一堆分类器),训练...原创 2019-06-11 11:39:16 · 6793 阅读 · 0 评论 -
决策树算法原理简介
1,决策树概念简介不同的算法模型适合于不同类型的数据。首先,在了解树模型之前,自然想到树模型和线性模型有什么区别呢?其中最重要的是,树形模型是一个一个特征进行处理,之前线性模型是所有特征给予权重相加得到一个新的值。决策树与逻辑回归的分类区别也在于此,逻辑回归是将所有特征变换为概率后,通过大于某一概率阈值的划分为一类,小于某一概率阈值的为另一类;而决策树是对每一个特征做一个划分。另外逻辑回归只...原创 2019-06-11 09:54:11 · 19757 阅读 · 0 评论 -
逻辑回归算法原理简介
1,逻辑回归简介逻辑回归完成分类任务,是经典的二分类算法(也可以解决多分类问题),机器学习算法一般选择先逻辑回归(优先选择)再用复杂的,逻辑回归的决策边界可以是非线性的(高阶)。可以通过参数对结果进行评估。2,Sigmoid 函数表达式:图像:自变量取值为任意实数,值域[0,1]。将任意的输入映射到了[0,1]区间,回顾在线性回归中可以得到一个预测值,可再将该值映射到Sigmoid ...原创 2019-06-10 21:30:41 · 3744 阅读 · 0 评论 -
线性回归算法原理简介
1,线性回归概念回归和分类的区别:简单地说,回归就是通过数据预测出一个目标值(实际值),分类就是通过数据预测出一个类别(二分类,多分类)。比如:银行贷款实例(1)数据:每个个人(样本)的工资和年龄(两个特征)(2)目标:预测银行会贷款给个人多少钱(标签,回归)或者预测银行会不会给贷款(标签,分类)(3)建立以特征为自变量的拟合函数,确定函数参数以求出函数值(标签)可以添加一列x0(取值...原创 2019-06-10 20:59:53 · 6882 阅读 · 0 评论 -
走进人工智能,认识机器学习
网上有各种对人工智能的介绍,人工智能是一个很大的圈子,这里只是感性上初步介绍怎样入门人工智能这一有趣的前沿科技,人工智能基础必然是机器学习。机器学习,大概就是说你告诉机器你想做什么?并且给它一堆数据让它去模仿着做。打个比方:上高中的时候,老师会告诉我们一个目标就是考高分,然后给我们一堆练习题和相应的答案,我们的目的就是通过以上的大量练习让我们对接下来可能遇到的类似或者新问题所做的解答和该问题实...原创 2019-06-10 16:29:32 · 267 阅读 · 0 评论 -
KNN算法简介
1,基本概念邻近算法,或者说K最近邻(kNN,k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻,就是k个最近的邻居的意思,说的是每个样本都可以用它最接近的k个邻居来代表。KNN 算法本身简单有效,它是一种 lazy-learning 算法,分类器不需要使用训练集进行训练,训练时间复杂度为0,KNN 分类的计算复杂度和训练集中的文档数目成正比,也就是说...原创 2019-06-12 17:27:11 · 2101 阅读 · 0 评论 -
降维处理:PCA和LDA
1,主成分分析主成分分析(Principal Component Analysis,PCA)是一种无监督问题,是降维中最常用的一种手段,基于方差(方差最大的方向)提取最有价值的信息再进一步分类。降维后数据特征的意义发生变化。2,向量的表示及基变换2.1 内积:设向量B的模为1,则A与B的内积值等于A向B所在直线投影的矢量长度:2.2 向量的线性组合向量可以表示为(3,2)实际上表示...原创 2019-06-12 10:49:11 · 313 阅读 · 0 评论