weixin_37621790的博客

— 本博客内容主要来自周志华著《机器学习》及网上相关资源，用于个人的学习记录，禁止转载。线性模型虽然简单，但是包含了机器学习基本思想，许多非线性模型可以在线性模型的基础上引入层级结构或高维映射得到。例如，神经网络中每个层都相当于一个线性模型+激励函数（非线性），构成非线性映射，而许多层叠加在一起，形成了功能强大的非线性神经网络。1.基本形式假设每个样本包含ddd个属性，表示为x=(x1,x2...

— 本博客内容主要来自周志华著《机器学习》及网上相关资源，用于个人的学习记录，禁止转载。线性模型虽然简单，但是变化非常丰富，例如，我们如果认为样例所对应的输出是在指数尺度上变化的，那么就可以将输出标记的对数作为线性模型逼近的目标，ln⁡y=wTx+b\ln y = w^Tx+blny=wTx+b。这就是对数线性回归，实际上是利用ewT+be^{w^T+b}ewT+b逼近yyy，形式上虽然是线性回...

— 本博客内容主要来自周志华著《机器学习》及网上相关资源，用于个人的学习记录，禁止转载。1.方差-偏差均衡机器学习的目标是学得的模型能够很好地应用于”新样本“，而不是仅仅在训练样本上工作的很好。学习得到的模型应用于新样本的能力，称为”泛化”（generalization）能力。尽管训练集通常只是样本空间的一个很小的采样，我们人希望它能够很好地反映整个样本空间的特性，否则就很难期望在训练集上学...

BP推导首先进行网络变量和参数的定义，规定JJJ是损失函数，每层的激活值使用aaa表示，ggg是激活函数，al=g(zl)，zl=Wlal−1+bla^{l}=g(z^{l})，z^{l}=W^{l}a^{l-1}+b^lal=g(zl)，zl=Wlal−1+bl ，其中lll表示层索引，aila_i^lail​中iii表示层内的神经元索引，∣l∣|l|∣l∣表示第lll层的神经元数目。推导的目...

1.直观理解题外话香农（信息论创始人）认为，比特是测量信息的单位，本质上，信息和长度、重量这些物理单位一样，是一种可以测量和规范的东西。对于通信系统而言，其传递的信息具有随机性，所以定量描述信息应基于随机事件。任何信息都存在冗余，冗余的大小与信息中每个符号（基本元素）的出现概率或者说不确定性有关。通常，一个信息源发送什么符号是不确定的，衡量它可以根据其出现的概率来度量。极限条件下，一个信源...