最小平方误差算法(LMSE)

模式识别最小平方误差算法实验报告代码全及ppt展示

题目  最小平方误差算法(LMSE)

1.1 题目的主要研究内容

       (1)30组的主要任务描述:

利用课堂所讲授的最小平方误差算法,通过手动推演与python来

得到如下题目的最终结果

(2):自己工作的主要描述:利用python进行推演,PPT制作

           

1.2 题目研究的工作基础或实验条件

软件环境:语言:python IDLE:pycharm 引用库:numpy

1.3 设计思想

利用 python 中自带的 numpy 库(一种开源的数值计算扩展),实现矩阵的相关运算,例如可计算伪逆矩阵;利用传统 while 循环和 if else 循环实现算法的迭代。

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
首先,我们需要将样本数据转化为矩阵形式: $$ X_1 = \begin{bmatrix}0 & 1\\1 & 2\end{bmatrix}, \quad X_2 = \begin{bmatrix}1 & 0 \\2 & 1\end{bmatrix} $$ 对于二分类问题,我们可以使用Fisher线性判别分析,最小化两个类别之间的类内平方误差(即方差)并最大化两个类别之间的类间距离。其中,类内平方误差可以表示为: $$ S_w = \sum_{i \in \omega_1} (x_i - \mu_1)(x_i - \mu_1)^T + \sum_{i \in \omega_2} (x_i - \mu_2)(x_i - \mu_2)^T $$ 其中,$\mu_1$和$\mu_2$分别为两个类别的均值向量,$x_i$为第$i$个样本向量。类间距离可以表示为: $$ S_b = (\mu_1 - \mu_2)(\mu_1 - \mu_2)^T $$ 为了最小化类内平方误差,我们需要求出每个类别的均值向量,即: $$ \mu_1 = \frac{1}{N_1}\sum_{i \in \omega_1} x_i, \quad \mu_2 = \frac{1}{N_2}\sum_{i \in \omega_2} x_i $$ 其中,$N_1$和$N_2$分别为两个类别的样本数量。 然后,我们可以使用最小平方误差LMSE算法求解判决函数。假设我们的判决函数为: $$ y(x) = w^Tx + w_0 $$ 其中,$w$为权重向量,$w_0$为偏置项。我们需要求解的就是$w$和$w_0$。 首先,我们可以将样本数据矩阵$X_1$和$X_2$分别按列拼接起来,得到样本矩阵$X$和标签向量$y$: $$ X = \begin{bmatrix}0 & 1 & 1 & 2\\1 & 2 & 2 & 1\end{bmatrix}, \quad y = \begin{bmatrix}1 \\1 \\ -1\\ -1\end{bmatrix} $$ 其中,正样本的标签为$1$,负样本的标签为$-1$。 接下来,我们可以利用最小平方误差LMSE算法求解$w$和$w_0$。首先,我们需要求解最优的$w$: $$ w = (X X^T)^{-1} X y $$ 然后,我们可以求解$w_0$: $$ w_0 = \frac{1}{2}(m_1 + m_2) $$ 其中,$m_1$和$m_2$分别为正样本的$y(x)$值和负样本的$y(x)$值的平均值。 综上所述,我们可以得到最终的判决函数为: $$ y(x) = \begin{cases}1, & w^Tx + w_0 > 0\\-1, & w^Tx + w_0 \leq 0\end{cases} $$ 其中,$w$和$w_0$的值为: $$ w = \begin{bmatrix}-1 & 1\end{bmatrix}^T, \quad w_0 = -\frac{3}{2} $$ 因此,判决函数为: $$ y(x) = \begin{cases}1, & -x_1 + x_2 -\frac{3}{2} > 0\\-1, & -x_1 + x_2 -\frac{3}{2} \leq 0\end{cases} $$

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

李逍遥敲代码

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值