机器学习
文章平均质量分 82
皮的开心
这个作者很懒,什么都没留下…
展开
-
机器学习之路-最小二乘法、梯度下降法
最小二乘法 基本思想: 最小二乘法则是一种统计学习优化技术,它的目标是最小化误差平方之和来作为目标,从而找到最优模型,这个模型可以拟合观察数据。 回归学习最常用的损失函数是平方损失函数,在此情况下,回归问题可以用著名的最小二乘法来解决。最小二乘法就是曲线拟合的一种解决方法。最小二乘的思想是使观测点好估计点的距离平方和最小,在古汉语中平方叫做二乘,最小指的是参数...原创 2018-09-25 22:48:33 · 1659 阅读 · 0 评论 -
机器学习之路(五)协同过滤及SVD算法
基本概念: 协同过滤(Collabortive Filtering),通过用户和产品以及用户的偏好信息产生推荐产品的策略。基本的有两种:一是找到相同喜好的人所钟爱的产品,即基于用户的推荐。另一种是根据一个人喜欢的产品推荐类似的产品,即基于产品的推荐。利用用户以及物品的信息来预测用户的喜好,并且发觉用户可能会喜欢的类似产品或者是喜欢产品的相关产品,这就是推荐系统的核心思想。...原创 2018-10-24 22:50:35 · 1828 阅读 · 0 评论 -
机器学习之路(七)支持向量机
1.理论基础(1)经验风险最小化 在统计学中,总体可以认为是一个概率分布。由于了解总体真实分布是极其困难的,因此只能从总体中随机地抽取若干具有代表性的对象,即样本。样本可以认为是总体的若干个观测值,在数学上是可以计算出这些样本的分布,作为总体的近似模型。我们认为选出的样本分布一定程度上和总体分布是相同的,但是事实上仍有差异。当我们从训练集得到一个分类器后,分类器以经验模型的分布...原创 2018-10-29 10:35:05 · 604 阅读 · 0 评论 -
机器学习之路(三)之Logistic回归
Logistic回归属于对数线性模型,是统计学习中的经典分类方法。 二项Logistic回归的模型如下: (1) 考虑对输入实例x进行分类的线性函数的值,当趋近于正无穷时,概率值趋近于1,当趋近于负无穷时,概率值趋近于0。 模型参数估计(极大似然法估计参数): 假设函数: ...原创 2018-10-15 23:20:25 · 736 阅读 · 0 评论 -
机器学习之路(四)之感知机算法PLA
基本介绍: 如果训练集数据是两个互不相交的凸集的子集,那么可以找到一个支撑超平面将两个子集分开。那么,如果这个超平面是一个n维的线性方程,就称之为线性分类器。线性分类器是最简单和最基本的分类器,也是最早的神经网络模型,称为感知机模型。 感知机是线性分类器的一种,属于判别模型。包含一个算法框架和激活函数。算法框架就是我们熟悉的线性方程组的一个变换: 主要是记录...原创 2018-10-18 23:25:54 · 324 阅读 · 0 评论 -
机器学习之路(二)之朴素贝叶斯
目录 1. 基本概念(统计学习方法): 2.对于重复的词 3.平滑技术 4.朴素贝叶斯法的局限性 5.代码实现 1. 基本概念(统计学习方法): 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集,首先基于特征条件独立假设学习输入和输出的联合概率分布。然后对于给定的输入实例x,利用贝叶斯定理求出后...原创 2018-10-05 21:31:33 · 515 阅读 · 0 评论 -
机器学习之路(一)之KNN
基本概念: k近邻法是一种基本分类与回归方法,属于判别模型。k值的选择、距离度量及分类决策规则是k近邻法的三个基本要素。k近邻法的特殊情况是k=1的情形,称为最近邻算法,对于输入的实例,将最邻近的点的类作为x的类别。 1.距离度量 特征空间中两个实例点的距离是其相似程度的反应,常用的距离是欧式距离,也可以是其他距离,比如余弦距离或者Lp距离或者Mi...原创 2018-09-27 22:36:48 · 494 阅读 · 0 评论 -
机器学习之路(八)随机森林
1. 集成学习概念,2. 个体学习器,3. boosting , bagging4. 结合策略(平均法,投票法,学习法)5. 随机森林思想6. 随机森林的推广7. 优缺点8. sklearn参数1.集成学习概念 最开始接触集成学习是在参加达观的比赛中,那时候看大佬们最后都选择进行模型融合,综合不同模型的结果进行分数的提升,而菜鸡如我就只能跑个单模型调调参,只能在一百...原创 2018-12-17 22:25:38 · 807 阅读 · 0 评论