「已注销」-CSDN博客

原创 09. EM

算法思路之前所遇到的模型，大多是求θ^=arg⁡max⁡θP(X,y∣θ)\hat\theta=\arg\max_\theta P(X,y|\theta)θ^=argmaxθP(X,y∣θ)，但是在一些存在隐变量的模型中，表达式P(X,y∣θ)P(X,y|\theta)P(X,y∣θ)难以求解析解，所以可以通过一个迭代的算法求出其解，这个迭代的算法就称为EM算法。算法流程确定初始参数θ(0)\theta^{(0)}θ(0)计算Q(θ,θ(i))Q(\theta,\theta^{(i)})Q(θ,

2021-01-01 19:16:04 160

原创 08. AdaBoost

算法思路我们之前的模型都是直接训练一个比较好的模型，实现比较好的效果。如果我们遇到一个模型，不是那么好训练，那么我们应该怎么做呢？我们可以用一群比较不那么精确的模型，共同作用，得到一个比较精确的模型的集群。当然，我们在模型集群中新加新模型的时候，希望她将之前预测错误的数据给预测正确，所以那些预测错误的数据就具有更高的权重。模型定义输入： T={(x1,y1),…,(xK,yK)}T=\{(x_1,y_1),\dots,(x_K,y_K)\}T={(x1,y1),…,(xK,yK)}，其中

2020-12-21 12:46:41 125

原创 07. 贝叶斯神经网络

算法思路普通的神经网络的权值是确定的，而贝叶斯神经网络的权值是不确定的，他服从于一个概率分布，这便是贝叶斯神经网络和普通神经网络的差别。普通神经网络训练其权重时，采用的方法无外乎两种：最大似然估计和最大后验估计。即：wMLE=arg⁡max⁡wlog⁡P(D∣w)=arg⁡max⁡w∑ilog⁡P(yi∣xi,w)\begin{aligned}w^{MLE} &= \arg\max_{w} \log P(D|w)\\&= \arg\max_w\sum_i\log P(y_i|x_

2020-12-12 13:15:04 1169 1

原创 06. 支持向量机

算法思路支持向量机算法跟感知机类似，都是找到一个超平面将数据分割开来。但是，我们知道，加入数据线性可分的情况下，一般分隔数据的超平面是无线个，那么哪一个超平面是最好的呢？感知机算法对这个不做要求，而支持向量机要求寻找的超平面距离数据点尽可能的远，这就是支持向量机的主要思想。那如果现在如果数据不是线性可分呢？这里有两个策略：其一，我们可以允许支持向量机存在噪声点；其二，我们将空间扩展到高维，使其线性可分，这个便成为核函数。模型定义输入： X={x(1),x(2),…,x(K)}X=\{x^{(1

2020-12-07 17:25:42 144

原创 05.逻辑斯蒂回归

算法思路线性回归可以对数据进行拟合，但是对于分类问题，就不是怎么workworkwork。我们可以借用同样的思路，取拟合他的其他特征，比如概率，但是概率∈[0,1]\in[0,1]∈[0,1]，所以这里拟合数据的对数几率函数，即：ln⁡p′1−p′=wTx+b\ln\frac{p'}{1-p'}=w^Tx+bln1−p′p′=wTx+b这就是逻辑斯蒂回归，同时也被人称为对数几率回归。然后我们采用最大似然估计，来估计出w,bw,bw,b的值即可。模型定义输入： X={x(1),x(2),…,x

2020-12-01 16:38:29 119 1

原创 04. 决策树算法

算法思路该算法是模型定义模型推导算法流程代码实现import numpy as npdef load_data(fileName): data, label = [], [] fr = open(fileName) for line in fr.readlines(): line = line.strip().split(',') data.append([int(int(num) > 128) for num in line[

2020-12-01 13:37:01 114

原创 03. 朴素贝叶斯

算法思路如何根据一个xxx来估计他的yyy?我们可以根据概率P(Y=ck∣X=x)P(Y=c_k|X=x)P(Y=ck∣X=x)来计算，即：y^=arg⁡max⁡ckP(Y=ck∣X=x)\hat y = \arg \max_{c_k} P(Y=c_k|X=x)y^=argckmaxP(Y=ck∣X=x)朴素贝叶斯模型就是根据这样的方法来进行预测和估计。模型定义输入： X={x(1),x(2),…,x(K)}X=\{x^{(1)}, x^{(2)}, \dots, x^{(K)}\

2020-11-25 19:04:29 128

原创 02. k临近模型

import numpy as npdef load_data(filename): data, label = [], [] fr = open(filename, 'r') for line in fr.readlines(): line = line.strip().split(',') data.append([int(num) for num in line[1:]]) label.append(int(line[0])

2020-11-20 20:13:44 178

原创 01. 感知机模型

算法思路该算法主要解决二分类问题，保证数据在线性可分的情况下，以一条超平面将数据分为两个部分，即：f(x)=sign(wTx+b)f(x)=sign(w^Tx+b)f(x)=sign(wTx+b)。直观一点的代价函数为：∑iI(y(i)≠y^(i))\sum_iI(y^{(i)}\not=\hat y^{(i)})∑iI(y(i)=y^(i))，但是这样的代价函数是无法求导的，所以将代价函数修改为错误样本距离超平面的距离，这里下面再讨论。有了代价函数之后，直接进行求导得到w,bw,bw,b就

2020-11-20 17:23:05 136

原创 00. 线性模型公式推导

文章目录回归线性回归模型定义公式推导代码练习岭回归推导Lasso回归推导分类感知机对数几率回归推导线性判别分析回归线性回归模型定义输入： X={x(1),x(2),…,x(K)}∈RD,K,y={y(1),y(2),…,y(K)}X = \{x^{(1)}, x^{(2)}, \dots, x^{(K)}\} \in \mathbf{R}^{D,K}, y=\{y^{(1)}, y^{(2)}, \dots, y^{(K)}\}X={x(1),x(2),…,x(K)}∈RD,K,y={y(1),y(

2020-11-03 22:23:19 1061