- 博客(6)
- 收藏
- 关注
RSS订阅原创 Exploratory Data Analysis (EDA) -- 非参数估计
Exploratory Data Analysis1. Histograms 直方图2. Non-parametric Density Estimation3. Kernel density estimation (KDE) 核密度估计3.1 Parzen Windows3.2 Smooth Kernel4. Multivariate Density Estimation 多元密度估计5. Transformation Kernel Density Estimation (TKDE)1. Histogra
2020-09-06 16:12:43
589
原创 《李航 统计学习方法》学习笔记——第六章 Logistic 回归与最大熵模型
这里写目录标题1. Logistic 回归模型2. 模型参数估计2.1 梯度下降法求参2.2 改进的迭代尺度发求参2.3 牛顿法求参2.4 拟牛顿法求参三级目录1. Logistic 回归模型广义上的线性回归为：f(x)=g−1(ωxT+b)f(x)=g^{-1}(\omega x^T+b)f(x)=g−1(ωxT+b)其中g称为联系函数（应为连续函数且充分光滑），例如lnlnln等。当进行分类问题，线性回归产生的模型预测值为z=ωxT+bz=\omega x^T+bz=ωxT+b为实值，而
2020-06-04 16:40:53
418
原创 《ISLR》学习笔记 —— Bagging、随机森林、Boosting
Bagging、随机森林、Boosting1.Bagging(装袋算法）2.随机森林3.Boosting1.Bagging(装袋算法）bootstrap抽样：反复地从原始数据集中有放回地抽取观测数据，得到多个数据集。优点：适用于样本数量较小，可从原始数据中产生多个训练集。缺点：会引入相同样本，改变了原始数据的分布，导致偏差。在决策树中（或其他高方差模型中），由于其高方差低偏差地特性（即对训练集样本很敏感），样本发生个别变化时，生成的决策树可能会完全不同。为了减小高方差，引入Bagging方法。
2020-05-27 12:37:22
383
原创 《李航 统计学习方法》学习笔记——第九章EM算法及其推广
EM算法及其推广EM算法二级目录三级目录EM算法EM算法：含有隐变量的概率模型参数的极大似然估计法或极大后验概率估计法。每次迭代分为E步（极大期望）和M步（求极大）。三硬币模型在这个实例中，抛硬币A的结果（这里记为Z ）是无法观测的，所以该结果称之为隐变量。在该例子中，也可以称（Y,Z）为完全数据，Y为不完全数据设随意变量Y为观测到的抛硬币的结果（即观测变量），θ=(π,p,q)\theta=(\pi,p,q)θ=(π,p,q)是模型参数，则可以得到模型的似然函数：P(Y∣θ)=∑ZP(
2020-05-24 21:48:23
622
原创 《李航 统计学习方法》学习笔记——第五章决策树
决策树5.1 决策树模型与学习5.2 特征选择5.2.1 信息增益5.1 决策树模型与学习分类决策树模型是一种描述对实例进行分类得树形结构。内部节点表示一个特征或属性，叶子节点表示一个类。路径上内部节点的特征对应着规则的结论，而叶节点的类对应着规则的结论。决策树的路径具有一个重要的性质：互斥并且完备，每一个实例都被一条路径或一条规则所覆盖，且只被一条路径或一条规则所覆盖。决策树与条件概率决策树还可以表示给定特征条件下类的条件概率分布。下图中(a)的大正方形表示特征空间，每个小矩形表示一个单元。
2020-05-21 14:52:54
502
原创 《李航 统计学习方法》学习笔记——第八章提升方法
提升方法8.1提升方法AdaBoost8.1.1提升方法的基本思路8.1.2AdaBoost算法8.1.3AdaBoost的例子8.2AdaBoost算法的训练误差分析8.1提升方法AdaBoost简单来讲，提升方法在分类问题中，通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，最终提高分类的性能。8.1.1提升方法的基本思路首先需要了解两个概念，强学习算法和弱学习算法。强学习算法：存在一个多项式学习算法学习它且正确率高。弱学习算法：存在一个多项式学习算法学习它但是正确率仅比
2020-05-21 14:49:39
797
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人