- 博客(8)
- 资源 (17)
- 收藏
- 关注
RSS订阅原创 线性回归完整整理
1 线性回归的定义监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机等），如果预测的变量是连续的，我们称其为回归。回归分析中，如果只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。对于二维空间线性是一条直线；对于三维空间线性是一个...
2019-12-06 17:28:46
692
原创 SVM3
4 非线性支持向量机与核函数**4.1 非线性分类问题：**如下图所示，通过变换，将椭圆变为直线，非线性分类问题变为了线性分类问题原空间为X⊂R2,x=(x(1),x(2))T∈X\mathcal{X} \subset \mathbf{R}^{2}, x=\left(x^{(1)}, x^{(2)}\right)^{\mathrm{T}} \in \mathcal{X}X⊂R2,x=(x(1...
2019-12-05 15:29:01
286
原创 逻辑回归的交叉熵损失函数求导
逻辑回归的交叉熵损失函数求导定义的交叉熵损失函数为：J(θ)=−1m∑i=1my(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i)))J(\theta)=-\frac{1}{m} \sum_{i=1}^{m} y^{(i)} \log \left(h_{\theta}\left(x^{(i)}\right)\right)+\left(1-y^{(i)}\righ...
2019-12-04 21:09:42
608
原创 SVM2
3 线性支持向量机与软间隔最大化一个特征空间上的数据集：T={(x1,y1),(x2,y2),⋯ ,(xN,yN)}T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\}T={(x1,y1),(x2,y2),⋯,(xN,yN)}，...
2019-12-04 21:08:37
262
原创 svm1
3 线性支持向量机与软间隔最大化一个特征空间上的数据集：T={(x1,y1),(x2,y2),⋯ ,(xN,yN)}T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\}T={(x1,y1),(x2,y2),⋯,(xN,yN)}，...
2019-12-04 21:03:06
210
原创 逻辑回归（Logistic Regression）
LogisticLogisticLogistic分布设XXX是连续随机变量，XXX服从LogisticLogisticLogistic分布是指XXX的分布函数和密度函数分别为：F(x)=P(X⩽x)=11+e−(x−μ)/γf(x)=F′(x)=e−(x−μ)/γγ(1+e−(x−μ)/γ)2F(x)=P(X \leqslant x)=\frac{1}{1+\mathrm{e}^{-(x-\...
2019-12-04 21:01:03
149
原创 Softmax回归交叉熵损失函数求导
softmax函数的表达式：ai=ezi∑kezka_{i}=\frac{e^{z_{i}}}{\sum_{k} e^{z_{k}}}ai=∑kezkezi交叉熵 损失函数：C=−∑iyilnaiC=-\sum_{i} y_{i} \ln a_{i}C=−∑iyilnai根据复合函数求导法则：∂C∂zi=∑j(∂Cj∂aj∂aj∂zi)\frac{\partial C}{\p...
2019-12-04 20:58:43
313
原创 ML：监督学习方法总结
监督学习方法总结##1 十种监督学习方法李航统计学习方法第二版中，共介绍了十种监督学习方法：感知机、k近邻、朴素贝叶斯、决策树、逻辑回归与最大熵模型、支持向量机、提升方法、EM算法、隐马尔可夫模型和条件随机场。首字联为：感K朴决逻，支提E隐条。十种监督学习方法特点的概括总结表：方法适用问题模型特点模型类型学习策略学习的损失函数学习算法感知机二类分类分离...
2019-12-01 17:11:40
694
CMOS模拟集成电路设计.2版-艾伦(原版)
2018-10-02
图像处理与计算机视觉基础总结
2018-10-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人