统计学习方法
文章平均质量分 95
一枝韩独秀
力争以易懂实例写最好的代码
展开
-
统计学习方法决策树
决策树(decision tree) 是一种基本的分类与回归方法。决策树模型呈树形结构, 在分类问题中, 表示基于特征对实例进行分类的过程。 它可以认为是if-then规则的集合, 也可以认为是定义在特征空间与类空间上的条件概率分布。 其主要优点是模型具有可读性, 分类速度快。 学习时, 利用训练数据, 根据损失函数最小化的原则建立决策树模型。 预测时, 对新的数据, 利用决策树模型进行分类。 决...原创 2018-12-19 15:37:56 · 4492 阅读 · 2 评论 -
统计学习方法概论
也是好久没更新了,前面项目基础开发的工作已经基本完结,但又给了我两个任务,一个是做一个QA系统,一个是做一个推荐系统,想想我是基本不会啊,于是只是学呗,网上找了一些资料,人家说先看李航老师的书,于是做个笔记。1 统计学习统计学习的对象:(1)data : 计算机及互联网上的各种数字、 文字、 图像、 视频、 音频数据以及它们的组合。(2)数据的基本假设是同类数据具有一定的统计规律性。...原创 2018-12-17 20:17:24 · 1271 阅读 · 0 评论 -
统计学习方法感知机(附简单模型代码)
1. 感知机模型输入为实例的特征向量, 输出为实例的类别, 取+1和-1;感知机对应于输入空间中将实例划分为正负两类的分离超平面, 属于判别模型;导入基于误分类的损失函数;利用梯度下降法对损失函数进行极小化;感知机学习算法具有简单而易于实现的优点, 分为原始形式和对偶形式;1957年由Rosenblatt提出, 是神经网络与支持向量机的基础。定义假设输入空间(特征空间) 是x⊆Rn, 输出...原创 2018-12-17 21:12:38 · 1839 阅读 · 0 评论 -
统计学习方法 k 近邻算法(附简单模型代码)
1. k 近邻算法k近邻法(k-nearest neighbor, k-NN) 是一种基本分类与回归方法。 k近邻法的输入为实例的特征向量, 对应于特征空间的点; 输出为实例的类别, 可以取多类。 k近邻法假设给定一个训练数据集, 其中的实例类别已定。 分类时, 对新的实例, 根据其k个最近邻的训练实例的类别, 通过多数表决等方式进行预测。因此, k近邻法不具有显式的学习过程。 k近邻法实际...原创 2018-12-17 21:56:25 · 1664 阅读 · 0 评论 -
统计学习方法朴素贝叶斯法(附简单模型代码)
朴素贝叶斯(naïve Bayes) 法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集, 首先基于特征条件独立假设学习输入/输出的联合概率分布; 然后基于此模型, 对给定的输入x, 利用贝叶斯定理求出后验概率最大的输出y。 朴素贝叶斯法实现简单, 学习与预测的效率都很高, 是一种常用的方法。1. 朴素贝叶斯法的学习与分类基本方法训练数据集:由X和Y的联合概率分布P(...原创 2018-12-18 14:33:27 · 3472 阅读 · 3 评论 -
统计学习方法逻辑斯蒂回归
逻辑斯谛回归(logistic regression) 是统计学习中的经典分类方法。 最大熵是概率模型学习的一个准则, 将其推广到分类问题得到最大熵模型(maximum entropy model) 。逻辑斯谛回归模型与最大熵模型都属于对数线性模型。本文只介绍逻辑斯谛回归。设X是连续随机变量, X服从Logistic distribution,分布函数:密度函数:μ为位置参数, γ大于0为...原创 2018-12-26 10:56:20 · 1597 阅读 · 0 评论