机器学习
三少Algorithm
个人知乎:https://www.zhihu.com/people/ma-zong-3/activities
展开
-
线性回归完整整理
1 线性回归的定义监督学习中,如果预测的变量是离散的,我们称其为分类(如决策树,支持向量机等),如果预测的变量是连续的,我们称其为回归。回归分析中,如果只包括一个自变量和一个因变量,且二者的关系可用一条直线近似表示,这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量,且因变量和自变量之间是线性关系,则称为多元线性回归分析。对于二维空间线性是一条直线;对于三维空间线性是一个...原创 2019-12-06 17:28:46 · 692 阅读 · 0 评论 -
SVM3
4 非线性支持向量机与核函数**4.1 非线性分类问题:**如下图所示,通过变换,将椭圆变为直线,非线性分类问题变为了线性分类问题原空间为X⊂R2,x=(x(1),x(2))T∈X\mathcal{X} \subset \mathbf{R}^{2}, x=\left(x^{(1)}, x^{(2)}\right)^{\mathrm{T}} \in \mathcal{X}X⊂R2,x=(x(1...原创 2019-12-05 15:29:01 · 286 阅读 · 0 评论 -
逻辑回归的交叉熵损失函数求导
逻辑回归的交叉熵损失函数求导定义的交叉熵损失函数为:J(θ)=−1m∑i=1my(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i)))J(\theta)=-\frac{1}{m} \sum_{i=1}^{m} y^{(i)} \log \left(h_{\theta}\left(x^{(i)}\right)\right)+\left(1-y^{(i)}\righ...原创 2019-12-04 21:09:42 · 608 阅读 · 0 评论 -
SVM2
3 线性支持向量机与软间隔最大化一个特征空间上的数据集:T={(x1,y1),(x2,y2),⋯ ,(xN,yN)}T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\}T={(x1,y1),(x2,y2),⋯,(xN,yN)},...原创 2019-12-04 21:08:37 · 262 阅读 · 0 评论 -
svm1
3 线性支持向量机与软间隔最大化一个特征空间上的数据集:T={(x1,y1),(x2,y2),⋯ ,(xN,yN)}T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\}T={(x1,y1),(x2,y2),⋯,(xN,yN)},...原创 2019-12-04 21:03:06 · 210 阅读 · 0 评论 -
逻辑回归(Logistic Regression)
LogisticLogisticLogistic分布设XXX是连续随机变量,XXX服从LogisticLogisticLogistic分布是指XXX的分布函数和密度函数分别为:F(x)=P(X⩽x)=11+e−(x−μ)/γf(x)=F′(x)=e−(x−μ)/γγ(1+e−(x−μ)/γ)2F(x)=P(X \leqslant x)=\frac{1}{1+\mathrm{e}^{-(x-\...原创 2019-12-04 21:01:03 · 149 阅读 · 0 评论 -
Softmax回归交叉熵损失函数求导
softmax函数的表达式:ai=ezi∑kezka_{i}=\frac{e^{z_{i}}}{\sum_{k} e^{z_{k}}}ai=∑kezkezi交叉熵 损失函数:C=−∑iyilnaiC=-\sum_{i} y_{i} \ln a_{i}C=−∑iyilnai根据复合函数求导法则:∂C∂zi=∑j(∂Cj∂aj∂aj∂zi)\frac{\partial C}{\p...原创 2019-12-04 20:58:43 · 313 阅读 · 0 评论 -
ML:监督学习方法总结
监督学习方法总结##1 十种监督学习方法李航统计学习方法第二版中,共介绍了十种监督学习方法:感知机、k近邻、朴素贝叶斯、决策树、逻辑回归与最大熵模型、支持向量机、提升方法、EM算法、隐马尔可夫模型和条件随机场。首字联为:感K朴决逻,支提E隐条。十种监督学习方法特点的概括总结表:方法适用问题模型特点模型类型学习策略学习的损失函数学习算法感知机二类分类分离...原创 2019-12-01 17:11:40 · 693 阅读 · 0 评论 -
ML:隐马尔科夫模型
ML:隐马尔科夫模型1 基本概念状态序列(state sequence):隐藏的马尔可夫随机链生成的状态序列,不可观测观测序列(observation sequence):每个状态生成一个观测,由此产生观测的随机序列隐马尔科夫模型的三要素:状态转移概率矩阵:A=[aij]N×NA=[a_{ij}]_{N \times N}A=[aij]N×N,NNN为所有可能的状态数观测...原创 2019-11-28 23:28:10 · 195 阅读 · 0 评论 -
ML:逻辑回归的梯度下降算法
ML:极大似然估计概率密度(质量)函数:用来描述随机变量取某个值的时候,取值点对应的概率的函数。概率:已知概率分布,推断样本的概率值似然:已经有观测样本,寻找最符合当前数据分布的参数似然函数:L(μ,σ∣X)=∏i=1NP(xi∣μ,σ)\mathcal{L}(\mu, \sigma | X)=\prod_{i=1}^{N} P\left(x_{i} | \mu, \sigma\right...原创 2019-11-25 21:45:29 · 163 阅读 · 0 评论 -
机器学习:SVM
SVM的一般流程(1) 收集数据:可以使用任意方法。(2) 准备数据:需要数值型数据。(3) 分析数据:有助于可视化分隔超平面。(4) 训练算法:SVM的大部分时间都源自训练,该过程主要实现两个参数的调优。(5) 测试算法:十分简单的计算过程就可以实现。(6) 使用算法:几乎所有分类问题都可以使用SVM,值得一提的是,SVM本身是一个二类分类器,对多类问题应用SVM需要对代码做一些修...原创 2019-04-03 15:17:52 · 268 阅读 · 0 评论 -
机器学习:决策树
提供隐形眼镜数据集,绘制决策树的树形图,并保存相应结构信息。treePlotter和trees两个python文件中已包含所有函数,lenses.txt包含相应的数据信息,理解各函数的功能和作用以及输入输出,选择调用需要的函数,在脚本中完成函数的调用,得到要求格式的结果。treePlotter.pyimport matplotlib.pyplot as plt# 定义文本框和箭...原创 2019-04-03 15:05:10 · 196 阅读 · 0 评论 -
机器学习:贝叶斯
利用朴素贝叶斯方法,进行垃圾邮件分类,email文件夹下包含了25个正常留言和25个非正常留言的数据,训练一个贝叶斯分类器,并测试分类器。bayes.py包含了所有函数的实现,需要做的是,明白各个函数的功能作用及输入输出,在脚本中完成函数的调用,给出要求的格式的结果。from numpy import *import csvimport randomrandom.seed(2186...原创 2019-04-03 15:01:37 · 157 阅读 · 0 评论