机器学习《统计学习方法》
文章平均质量分 60
做到每个算法,原理理解清楚,代码自实现与sklearn实现
哎呦-_-不错
读书太少而想太多
展开
-
统计学习方法读书笔记16-SVM支持向量机
文章目录1.支持向量机的背景2.线性可分支持向量机1.支持向量机的背景2.线性可分支持向量机原创 2020-10-25 19:12:15 · 138 阅读 · 0 评论 -
统计学习方法读书笔记15-逻辑斯蒂回归习题
文章目录1.课后习题2.视频课后习题1.课后习题import numpy as npimport timeimport matplotlib.pyplot as pltfrom mpl_toolkits.mplot3d import Axes3Dfrom pylab import mpl# 图像显示中文mpl.rcParams['font.sans-serif'] = ['Microsoft YaHei']class LogisticRegression: def __i原创 2020-10-24 17:38:52 · 506 阅读 · 0 评论 -
统计学习方法读书笔记14-逻辑斯蒂回归代码实现与最大熵代码实现
1.逻辑斯蒂回归代码实现#!usr/bin/env python# -*- coding:utf-8 _*-"""@author: liujie@software: PyCharm@file: logistic.py@time: 2020/10/23 21:22"""import timeimport numpy as npfrom tqdm import tqdmdef loaddata(filename): """ 加载数据 :param filenam原创 2020-10-24 16:06:12 · 308 阅读 · 0 评论 -
统计学习方法读书笔记13-改进的迭代尺度法(优化算法)
文章目录1.改进的迭代尺度法1.改进的迭代尺度法原创 2020-10-23 21:19:31 · 341 阅读 · 0 评论 -
统计学习方法读书笔记12-逻辑斯蒂回归与最大熵
文章目录1.逻辑斯蒂回归1.逻辑斯蒂回归的由来2.二元逻辑斯蒂回归模型3.模型参数估计2.最大熵1.最大熵原理2最大熵模型1.逻辑斯蒂回归1.逻辑斯蒂回归的由来逻辑斯蒂回归:1.连续可微2.输出概率2.二元逻辑斯蒂回归模型P92~933.模型参数估计2.最大熵1.最大熵原理2最大熵模型...原创 2020-10-23 20:00:59 · 122 阅读 · 0 评论 -
统计学习方法读书笔记11-决策树课后习题
文章目录1.课本课后习题1.课本课后习题import graphvizimport numpy as npimport pandas as pdfrom sklearn.tree import DecisionTreeClassifierfrom sklearn import preprocessingfrom sklearn import treeimport matplotlib.pyplot as pltfeatures = ["年龄", "有工作", "有自己的房子", "信贷原创 2020-10-23 16:20:52 · 309 阅读 · 0 评论 -
统计学习方法读书笔记10-决策树
文章目录1.信息增益1.信息熵2.条件熵3.信息增益2. 信息增益比3.决策树的构建1.ID3算法2.C4.5算法4.决策树的剪枝5.CART算法1.信息增益1.信息熵熵交叉熵KL散度均匀分布时,熵最大,不确定性最大2.条件熵P733.信息增益信息增益的概念:表示得知特征X的信息而使得类Y的信息的不确定性减少的程度,倾向与选择取值较多的特征2. 信息增益比3.决策树的构建1.ID3算法2.C4.5算法为什么使用信息增益比?答:信息增益会导致节点倾向于选取取原创 2020-10-23 11:33:25 · 226 阅读 · 0 评论 -
统计学习方法读书笔记9-朴素贝叶斯习题
文章目录1.课本习题-符号太多了2.视频作业1.课本习题-符号太多了2.视频作业与课本P63-64页差不多#!usr/bin/env python# -*- coding:utf-8 _*-"""@author: liujie@software: PyCharm@file: naives 自编程实现.py@time: 2020/10/22 10:03"""import numpy as npimport pandas as pd# 定义朴素贝叶斯类clas原创 2020-10-22 11:45:54 · 276 阅读 · 0 评论 -
统计学习方法读书笔记8-朴素贝叶斯
文章目录1.朴素贝叶斯的基本方法2.朴素贝叶斯的参数估计1.极大似然估计2.朴素贝叶斯算法3.贝叶斯估计3.后验概率最大化-期望风险最小化4.朴素贝叶斯代码实现1.朴素贝叶斯的基本方法2.朴素贝叶斯的参数估计1.极大似然估计2.朴素贝叶斯算法3.贝叶斯估计用极大似然估计可能出现所要估计的概率值为0的情况,这是会影响到后验概率的计算结果,使分类产生偏差。解决这一问题的方法就是采用贝叶斯估计,原理是在分子、分母中加上指定数值,使得不同项之间大小关系不变,,但消除了分母为0的可能性原创 2020-10-21 22:16:23 · 215 阅读 · 0 评论 -
统计学习方法读书笔记7-K近邻习题
文章目录1.课本课后习题2.视频课后习题1.KNN自编程2.sklearn实现1.课本课后习题import numpy as npimport matplotlib.pyplot as pltfrom matplotlib.colors import ListedColormapfrom sklearn.neighbors import KNeighborsClassifier# 实例点x = np.array( [[0.5, 0.9], [0.7, 2.8], [1.3, 4.6原创 2020-10-21 14:47:21 · 460 阅读 · 0 评论 -
统计学习方法读书笔记6-K近邻算法及代码实现
文章目录1.K-近邻算法2.K-近邻模型(三个基本要素)1.距离度量2.K值的选择3.分类决策规则3.kd树1.构造平衡kd树2.搜索kd树1.K-近邻算法2.K-近邻模型(三个基本要素)1.距离度量2.K值的选择3.分类决策规则3.kd树通过线性扫描实现k近邻算法,当训练集很大时,计算非常耗时因此,需要考虑如何对训练数据进行快速的k近邻搜索为了提高k近邻搜索效率,可以考虑使用特殊的结构存储训练数据,以减少计算距离次数kd树正是这个方法1.构造平衡kd树P54-原创 2020-10-21 11:09:44 · 199 阅读 · 2 评论 -
统计学习方法读书笔记5-感知机代码实现
文章目录1.感知机代码实现1.感知机代码实现# 随机梯度下降import timeimport numpy as np# 显示进度条from tqdm import tqdm# mnist数据集将数据集做一个首尾拼接,28*28=784def loaddata(filename): """ 加载mnist数据集 :param filename: 要加载的数据集路径 :return: list形式的数据集及标签 """ print('star原创 2020-10-20 18:47:04 · 167 阅读 · 0 评论 -
统计学习方法读书笔记4-感知机课后习题
文章目录课本课后习题课本课后习题原创 2020-10-20 15:54:15 · 216 阅读 · 0 评论 -
统计学习方法读书笔记3-感知机SVM
文章目录1.感知机模型2.感知机的学习策略1.数据集的线性可分性2.感知机学习策略3.感知机学习算法1.原始形式2.对偶形式感知机是二类分类的线性分类模型,其输入是实例的特征向量,输出为实例的类别,属于判别模型。感知机旨在求出将训练数据进行线性划分的分离超平面,为此,导入基于误分类的损失函数,利用梯度下降法,对损失函数进行极小化,得到感知机模型。1.感知机模型2.感知机的学习策略1.数据集的线性可分性感知机一般划分线性可分数据集2.感知机学习策略3.感知机学习算法1.原始形式原创 2020-10-20 15:37:08 · 197 阅读 · 0 评论 -
统计学习方法读书笔记2-极大似然估计与梯度下降法
文章目录极大似然估计梯度下降法极大似然估计梯度下降法原创 2020-09-01 20:01:00 · 229 阅读 · 0 评论 -
统计学习方法读书笔记1-统计学习方法概论
文章目录1.体系思维脑图2.泛化误差上界推导3.监督学习实现步骤1.体系思维脑图2.泛化误差上界推导3.监督学习实现步骤1. 得到一个有限的训练数据集合2. 确定包含所有可能的模型的假设空间,即学习模型的集合3. 确定模型选择准则,即学习策略4. 实现求解最优模型的算法,即学习算法5. 通过学习方法选择最优模型6. 利用学习的最优模型对新数据进行预测与分析...原创 2020-09-01 19:06:20 · 191 阅读 · 0 评论 -
7.2 GaussianMixture实战
文章目录1.多维GMM聚类2.GMM调参1.多维GMM聚类#!usr/bin/env python# -*- coding:utf-8 -*-"""@author: admin@file: EM.py@time: 2021/02/03@desc:"""import numpy as npfrom scipy.stats import multivariate_normalfrom sklearn.mixture import GaussianMixtureimport matpl原创 2021-02-08 21:08:17 · 1790 阅读 · 0 评论