李威威的博客

快乐生活每一天!

《统计学习方法》第 7 章“支持向量机”学习笔记

关键字:函数间隔、几何间隔、正则化的合页损失函数、凸二次规划、核技巧(核函数)、输入空间、特征空间、欧式空间、希尔伯特空间。 我这篇笔记主要是介绍李航的《统计学习方法》第 7 章内容,以笔记的方式呈现。需要说明的是,为了使得本文尽量易懂,我把书上的一些标题或者专有名词做了更改,只是为了帮助初学的朋...

2019-05-17 16:29:56

阅读数 95

评论数 0

《统计学习方法》第 4 章“朴素贝叶斯法”学习笔记

概率有向图模型 朴素贝叶斯也是最简单的概率有向图模型。 生成模型与判别模型 朴素贝叶斯方法实际上学习到的是生成数据的机制。 1、关于生成模型和判别模型,我一开始也很迷糊,后来我发现只要记住一点:生成模型首先是概率模型,要计算后验概率,但不是直接计算后验概率,得先通过计算联合概率,然后比较联合概率...

2019-05-17 14:57:57

阅读数 47

评论数 0

神经网络中的常用激活函数和导数

神经网络中的常用激活函数和导数 1、 sigmoid 函数 y=11+e−x y = \frac{1}{1 + e^{-x}} y=1+e−x1​ 导函数: KaTeX parse error: No such environment: equation at position 8: \begi...

2019-05-17 13:57:19

阅读数 47

评论数 0

《统计学习方法》第 2 章“感知机”学习笔记

感知机是《统计学习方法》的介绍的第 1 个算法,是神经网络与 SVM 的基础。 研究思路 1、模型:二分类问题,数据点分为“+1+1+1”类和“−1-1−1”类,“超平面”为所求; 2、策略:损失函数最小化,确定参数 www 和 bbb; 3、算法:随机梯度下降法。 策略:随机梯度下降 用普通的基...

2019-04-15 06:31:02

阅读数 18

评论数 0

PCA 通过 SVD 分解替代协方差矩阵的特征值分解

在周志华的《机器学习》第 10 章介绍“主成分分析”一节中,有这样一句批注: 实践中常通过对 X​X​X​ 进行奇异值分解来替代协方差矩阵的特征值分解。 下面解释这句话的意思。 首先我们复习一下,将任意形状的矩阵 XXX 如何进行 SVD 分解,其基本思路是构造对称矩阵。 XTX=(VΣTUT...

2019-04-15 06:25:07

阅读数 39

评论数 0

我写的《算法与数据结构》文章汇总

【算法日积月累】0-写在前面的话 【算法日积月累】1-选择排序 【算法日积月累】2-插入排序 【算法日积月累】3-归并排序 《算法与数据结构》学习笔记:树状数组 ...

2019-01-18 13:59:01

阅读数 132

评论数 0

去掉 CSDN 的广告

CSDN 的广告实在太让人心烦了,有些图片让人感到恶心。Chrome 浏览器可以使用 AdBlock 插件把这些广告全部屏蔽了。

2018-12-21 15:33:43

阅读数 115

评论数 0

白话“主成分分析” 1 :主成分分析用于降维的思想

白话”主成分分析“ 1 :“主成分分析用于降维”在说什么? 主成分分析的思想其实并不难,只是被一些书籍用过于复杂的数学公式写得比较高大上,其实可以完全使用比较基础的”线性代数“的知识来解释。 1. 什么是主成分分析? 主成分分析,即分析”主成分“,找到”主成分“,英文是 Principal Co...

2018-12-04 15:15:18

阅读数 650

评论数 0

《统计学习方法》第 3 章“k 近邻法”学习笔记

“k 近邻算法”综述 本来题目想叫“白话 k 近邻算法”,后来想想,“k 近邻算法” 的描述几乎就是“白话”,所以就不故弄玄虚了,接下来的就是一篇笔记呀。 图片来自周志华《机器学习》第 10 章第 1 节。 想说一说“k 近邻算法”在机器学习中的地位 “k 近邻算法” 可以说是最容易理解的机器学...

2018-11-18 14:43:55

阅读数 138

评论数 0

LeetCode 题解之 452. Minimum Number of Arrows to Burst Balloons

452. Minimum Number of Arrows to Burst Balloons 题目描述和难度 题目描述: 在二维空间中有许多球形的气球。对于每个气球,提供的输入是水平方向上,气球直径的开始和结束坐标。由于它是水平的,所以y坐标并不重要,因此只要知道开始和结束的x坐标就足够了。...

2018-11-15 13:53:36

阅读数 73

评论数 0

Python 二分查找 bisect 模块的用法

https://nbviewer.jupyter.org/github/liweiwei1419/blog-article-sources/blob/master/jupyter/bisect 的用法.ipynb

2018-11-14 16:32:08

阅读数 65

评论数 0

LeetCode 题解之 283. Move Zeroes

283. Move Zeroes 题目描述和难度 题目描述: 给定一个数组 nums,编写一个函数将所有 0 移动到数组的末尾,同时保持非零元素的相对顺序。 示例: 输入: [0,1,0,3,12] 输出: [1,3,12,0,0] 说明: 必须在原数组上操作,不能拷贝额外的数组。 尽量减少...

2018-11-13 12:00:12

阅读数 33

评论数 0

白话“卡方检验”

什么是卡方检验 卡方检验是假设检验的一种,用于分析两个类别变量的相关关系,是一种非参数假设检验,得出的结论无非就是相关或者不相关,所以有的教材上又叫“独立性检验”,所以如果不是很清楚假设检验的朋友们,要好好复习一下假设检验了。提起假设检验,会扯出一堆东西,这里我简单为大家梳理一下。 什么是“类别变...

2018-11-11 14:41:10

阅读数 545

评论数 0

《统计学习方法》第 6 章“逻辑回归”学习笔记

理解贝叶斯公式其实就只要掌握:1、条件概率的定义;2、乘法原理 P(ci∣x)=P(x∣ci)P(ci)P(x) P(c_i|x) = \cfrac{P(x|c_i)P(c_i)}{P(x)} P(ci​∣x)=P(x)P(x∣ci​)P(ci​)​ 这里 xxx 是一个向量,有几个特征,就有几个...

2018-10-29 15:35:30

阅读数 564

评论数 0

AdaBoost 公式推导

最近看到 EM 算法,其中的证明有用到琴生不等式,在这里做一个笔记。 在刚开始学习凸函数和凹函数的时候,我们会被凸函数和凹函数的命名所困扰,命名看起来是凹的,一些教材上却偏偏说它是凸函数。其实这个只是一个定义,它叫什么,并不影响函数本身的性质。就像我在 B 站上看到有些人戏称三国时期的武将赵云为“...

2018-10-28 12:26:21

阅读数 957

评论数 0

关联分析概述1——Apriori 算法简介

关联分析概述 “关联分析”就是分析在众多的历史交易记录中,出现很多的组合项有哪些,并且得出“购买了 A 物品的顾客还很有可能会一起购买 B 物品”这样的结论。 那么,“分析一起出现的组合项”有什么用呢? 1、我们可以发现哪些商品的组合销量高,例如,我们知道周志华的《机器学习》和李航的《统计学习方法...

2018-10-27 15:16:24

阅读数 131

评论数 0

LeetCode 第 993 题:二叉树的堂兄弟结点

EM 算法的思想 用拟合的思想来求随机变量的数字特征。 例如:模型中有两个未知参数 AAA 和 BBB 需要估计,而 AAA 和 BBB 又存在相互依赖的关系,即知道 AAA 才能推出 BBB,知道了 BBB 才能推出 AAA 。 EM 的思路就是先固定其中一个,推测另一个,如此反复。 EM 分别...

2018-10-23 17:28:52

阅读数 65

评论数 0

数据特征选定

数据特征选定 目的:最大限度地从原始数据中提取出合适的特征。 单变量特征选定 统计分析可以用来分析和选择对结果影响最大的数据特征; 可以选用一系列统计方法来选定数据特征; 卡方检验就是统计样本的实际观测值与理论推断值之间的偏离程度,偏离程度决定了卡方值的大小; 卡方值越大,越不符合 卡方值越小,...

2018-10-19 16:39:08

阅读数 74

评论数 0

数据预处理的四种方式

数据预处理 调整数据尺寸 让所有的属性按照相同的尺度来度量数据; 梯度下降算法 神经网络 SVM 回归算法 K 近邻算法 # 调整数据尺度(0..) import pandas as pd import numpy as np from sklearn.preprocessing import...

2018-10-19 14:22:15

阅读数 2004

评论数 0

简单的数据可视化

直方图(Histogram) 又称质量分布图,可以直观地展示每个属性的分布情况; 一般用横轴表示数据类型,纵轴表示分布情况; 可以很直观看到数据是高斯分布、指数分布还是偏态分布。 下面使用 Pandas 的 DataFrame 对象的 hist() 方法就可以直接得到直方图。 import p...

2018-10-19 13:19:51

阅读数 111

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭