经典机器学习
o0Helloworld0o
怕是要翻水水哦
展开
-
信息论
文章参考自:Visual Information Theory编码假设有一个朋友Bob,他只说4个单词:dog、cat、fish、bird,并且交流时使用2进制码表示信息。使用定长的2位二进制码可表示4个单词,此时的平均码长为2。单词和二进制编码的对应关系如下可将此编码方式画图显示如下,方块的面积之和越大,表示平均码长越长上述编码方式没有考虑每个单词出现的概率。现在已知Bob特别喜欢d...原创 2020-01-29 17:08:57 · 456 阅读 · 0 评论 -
SVM——软间隔最大化
回忆SVM硬间隔最大化所对应的优化问题minw,b 12|w|2s.t.y(i)(wTx(i)+b)⩾1i=1,⋯,mminw,b 12|w|2s.t.原创 2018-08-08 11:08:55 · 485 阅读 · 1 评论 -
SVM——硬间隔最大化
本文参考自http://cs229.stanford.edu/notes/cs229-notes3.pdf,采用文中的符号系统数据集D=\left { (x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),\cdots,(x^{(m)},y^{(m)}) \right },x^{(i)} \in \mathbb{R}^n,y^{(i)}\in {-1, 1} 超平面w^Tx...原创 2018-08-08 09:26:17 · 869 阅读 · 0 评论 -
拉格朗日对偶性
该文章参考自《统计学习方法》附录C 拉格朗日对偶性【原始问题】minxf(x)minxf(x)\min\limits_{x}f(x) s.t.   ci(x)⩽0,&a原创 2018-08-07 20:55:14 · 462 阅读 · 0 评论 -
Naive Bayes
【参数定义】先验概率分布,P(y=1)=ϕyP(y=1)=ϕyP\left ( y=1 \right )=\phi_y条件概率分布,参数共2n2n2n个 P(x1=1|y=1)=ϕ1|y=1P(x2=1|y=1)=ϕ2|y=1⋮P(xn=1|y=1)=ϕn|y=1P(x1=1|y=0)=ϕ1|y=1P(x2=1|y=0)=ϕ2|y=1⋮P(xn=1|y=0)=ϕn|y=1P(x1=1|y...原创 2018-08-03 10:16:54 · 142 阅读 · 0 评论 -
Mixtures of Gaussians
Mixtures of Gaussians模型学习了一个联合分布P(x(i),z(i))P(x(i),z(i))P\left ( x^{(i)}, z^{(i)} \right )P(x(i),z(i))=P(x(i)∣z(i))P(z(i)),x(i)∈RnP(x(i),z(i))=P(x(i)∣z(i))P(z(i)),x(i)∈RnP\left ( x^{(i)}, z^{(i)} \r...原创 2018-08-03 10:02:57 · 391 阅读 · 0 评论 -
K means
随机初始化μ=[μ1μ2⋯μk]μ=[μ1μ2⋯μk]\mu=\begin{bmatrix}\mu_1 & \mu_2 & \cdots & \mu_k\end{bmatrix}在每一轮迭代中将每一个样本分配到距离最近的cluster:c(i)=argminj∥∥x(i)−μj∥∥2c(i)=argminj‖x(i)−μj‖2c^{(i)}=\arg\min\limits_{j}\lef...原创 2018-08-03 09:26:46 · 296 阅读 · 0 评论 -
Softmax Regression
假设标签共3类,即K=3K=3K=3z=[z1z2z3]=θTxz=[z1z2z3]=θTxz=\begin{bmatrix}z_1 & z_2 & z_3\end{bmatrix}=\theta^Tx ez=[ez1ez2ez3]ez=[ez1ez2ez3]e^z=\begin{bmatrix}e^{z_1} &原创 2018-08-02 21:43:26 · 138 阅读 · 0 评论 -
Logistic Regression
123原创 2018-08-02 21:27:16 · 119 阅读 · 0 评论 -
Linear Regression
123原创 2018-08-02 21:26:58 · 110 阅读 · 0 评论 -
SMO算法
SMO算法(Sequential minimal optimization)要解决的对偶问题maxα −12∑i=1m∑j=1mαiαjy(i)y(j)⟨x(i),x(j)⟩+∑i=1mαimaxα −12∑i=1m∑j=1mαiαjy(i)y(j)⟨x(i),x(j)⟩+∑i=1mαi\begin{aligned}\max \limits_{\alpha} \ -\fra...原创 2018-08-10 09:40:34 · 708 阅读 · 0 评论 -
核方法
核方法K(x,z)=ϕ(x)Tϕ(z)K(x,z)=ϕ(x)Tϕ(z)K(x,z)=\phi(x)^T\phi(z)通常来说,直接将xxx,zzz代入K(x,z)K(x,z)K(x,z):Rn×Rn→RRn×Rn→R\mathbb{R}^n \times \mathbb{R}^n \rightarrow \mathbb{R}计算,复杂度较低而先把xxx,zzz扩展成更高维的向量ϕ(x)ϕ(...原创 2018-08-09 15:21:30 · 318 阅读 · 0 评论