统计学习方法
文章平均质量分 51
自信的小螺丝钉
这个作者很懒,什么都没留下…
展开
-
python实现贝叶斯分类器
文章代码来自博客贝叶斯分类器,在这篇博客代码的基础上稍作修改用朴素贝叶斯法实现对水果分类:代码结构:bayes_classfier. py#贝叶斯分类器datasets={'banala':{'long':400,'not_long':100,'sweet':350,'not_sweet':150,'yellow':450,'not_yellow':50}, 'orange':{'long':0,'not_long':300,'sweet':150,'not_sweet转载 2021-02-05 23:01:30 · 3207 阅读 · 0 评论 -
《统计学习方法》 第五章 决策树
前言决策树是一种基本的分类与回归方法。以下主要讨论用于分类的决策树。决策树模型呈树形结构,在分类问题中,表示基于特征对实例进行分类的过程。它可以认为是 if-then 规则的集合,也可以认为是定义在特征空间与类空间上的条件概率分布。优点:模型具有可读性,分类速度快文章目录决策树模型与学习决策树模型决策树与 if-then 规则决策树学习特征选择信息增益熵条件熵经验熵与条件经验熵决策树模型与学习决策树模型分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点和有向边组成。结点有两种类型:内原创 2021-02-04 17:56:18 · 229 阅读 · 1 评论 -
《统计学习方法》 第四章 朴素贝叶斯
这一章节需要一些概率论的学习基础,学过概率论的朋友会很容易理解。朴素贝叶斯法是基于贝叶斯定理 与特征条件独立假设的分类方法,是一种典型的生成学习方法。生成方法由训练数据学习联合概率分布P(X,Y),然后球的后验概率分布P(Y|X)。具体来说,利用训练数据学习P(X|Y)和P(Y)的估计,得到联合概率分布:P(X,Y)=P(Y)P(X|Y)。朴素贝叶斯的基本假设:条件独立性这是一个较强的假设。由于这一假设,模型包含的条件概率的数量大为减少,朴素贝叶斯的学习与预测大为简化。因而朴素贝叶斯法搞笑,且易于实原创 2021-01-31 14:40:50 · 125 阅读 · 0 评论 -
《统计学习方法》 第三章 k近邻法
k近邻法(KNN)是一种基本分类和回归方法。k近邻法的基本做法是:对给定的训练实例点和输入实例点,首先确定输入实例点的k个最近邻训练实例点,然后利用这k个训练实例点的类的多数来预测输入实例点的类。k近邻算法k近邻模型k近邻法使用的模型实际上对应于对特征空间的划分。模型由三个基本要素——距离度量,k值的选择,分类决策规则决定。当这三个基本要素确定后,对于任何一个新的输入实例,它所属的类唯一地确定。这相当于根据基本要素将特征空间划分为一些子空间,确定子空间里的每个点所属的类。距离度量...原创 2021-01-29 22:40:02 · 307 阅读 · 0 评论 -
《统计学习方法》 第二章 感知机
感知机是二类分类的线性分类模型,输入为实例的特征向量,输出为实例的类别,取+1和-1二值,感知机对应与输入空间(特征空间)中将实例划分为正负两类的分离超平面,属于判别模型。感知机模型感知机学习策略感知机学习算法的原始形式例题1:算法的收敛性感知机学习算法的对偶形式例题2:python实现例题1:感知机学习算法原始形式# -*- encoding:utf-8 -*-import numpy as npimport matplotlib.pyplot as pl原创 2021-01-28 17:04:14 · 133 阅读 · 2 评论 -
《统计学习方法》 第一章 统计学习及监督学习概论
统计学习方法第一章:1.首先介绍了统计学习的特点,对象,目的,方法,研究等2.对统计学习做了分类:基本分为:监督学习:是从标注数据中学习预测模型的机器学习问题。从给定的有限的训练数据出发,假设数据是独立同分布的,而且假设模型属于某个假设空间,应用某一评价准则,从假设空间中选取一个最优的模型,使它对已给训练数据以及未知测试数据在给定评价标准意义下有最准确的预测。无监督学习:是从无标注数据中学习预测模型的机器学习问题。强化学习:是指智能系统在于环境的连续互动中学习最优行为策略的机器学习问题。半监原创 2021-01-28 14:51:21 · 390 阅读 · 0 评论