PHP的小白-CSDN博客

原创 PRML5.2--网络训练

网络训练这一节主要是训练网络来获得网络中的权重。把神经网络当作输入变量x到输出变量y的参数化非线性函数。使用与1.1节的方法对多项式拟合的问题，所以需要最小化平方和误差。现在给定一个由输入向量{xn}组成的训练集，和对应的目标tn，最小化误差函数：回归问题假定t服从高斯分布，均值与x相关，神经网络的输出为： p(t|x,w)=N(t|y(x,w),β−1)p(t|x,w)=N(...

2018-09-07 21:39:46 419

原创 PRML3.5--证据近似

证据近似在前面章节已经讲到在处理线性基函数的贝叶斯方法中，通过引入超参α、β的先验分布，通过对超参以及w求积分做预测。这种方法只能对ω的积分或对超参积分，但对所有变量的求积分是没有解析解的。这里提出证据近似的方法。这种方法：首先为ω求积分，得到边缘似然函数，通过最大化边缘似然函数，确定超参的值。假设引入α、β的超先验分布，预测分布则可通过ω、α、β求积分得到：假设后验分布p(α,β...

2018-09-05 09:02:07 1396

原创 PRML3.4贝叶斯模型比较

3.4 贝叶斯模型比较模型比较的贝叶斯观点涉及到使用概率表示模型选择的不确定性，和使用概率的加和、乘积规则。现在讲解几个概念：假设项比较L个模型，在多项式拟合时，概率分布被定义在目标t上，而输入值X被认为是已知的，其他类型的模型定义了X和t上的联合分布。假设数据由这些模型中的一个生成，不确定性通过先验概率分布表示p(Mi)。后验分布现在给定一个训练数据集D，估计出后验分布：...

2018-08-30 22:13:27 3184

原创 PRML第三章3.3贝叶斯线性回归

贝叶斯线性回归3.3.1参数分布关于线性拟合的贝叶斯方法。引入模型参数W的先验分布(噪声精度β被当做常数)。first，由前面公式定义的似然函数p(t|w)是w的二次函数的指数形式。w对应的共轭先验是高斯分布：均值为m0，协方差为S0。接着计算后验分布，正比于似然函数与先验分布的乘积。上面得知w的共轭先验是高斯分布，所以后验分布也是高斯分布。通过对指数项配平方，然后使用归一...

2018-08-27 19:06:44 2071

原创 PRML第三章3.2

偏置-方差分解前面讨论的情况是假定了基函数的数量和形式，如果使用有限的数据集训练模型，使用最大似然或者最小平方，将会导致过拟合问题。但是通过限制基函数的数量避免过拟合，则会限制模型描述数据中的规律。如何选择合适的λ的值通过正则化来避免过拟合。由第一章，我们知道–一旦确定了条件概率分布p(t|x)，每一种的损失函数都能给出对应的最优预测结果。通常使用平方损失函数，此时的最优的预测由条件期望h...

2018-08-23 22:09:35 657

原创 PRML第三章3.1节笔记

3.回归的线性模型3.1 线性及函数模型回归问题的简单模型就是input的线性组合：y(x,w) = w0 + w1x1 + w2x2 + wDxDx = (x1,x2,x3···xD).T上式被称为线性回归。此模型的关键在于参数w0,w1,····wD，其是一个线性函数。同时它也可以是输入变量Xi的线性函数，就给模型带来了局限性。于是进行扩展，将输入变量的固定的非...

2018-08-22 21:58:26 945

原创 Coursera第五周---神经网络

神经网络Cost函数假设神经网络的训练样本有m个，每个包含一组输入x和一组输出单元y，L代表神经网络的层数，SI代表每层neuron个数，Sl代表输出神经元个数，SL代表最后一层中处理单元的个数。将神经网络的分类定义为两种：二分类，多分类二分类：SL = 0，y = 0or1表示哪一类多分类：SL = k，yi = 1表示分到第i类视频中回顾了逻辑回归中的代价函数：...

2018-08-19 19:55:27 254

原创基于BP神经网络--预测空气中PM2.5浓度

基于BP神经网络–预测空气中PM2.5浓度BP神经网络BP神经网络包括输入层、隐藏层和输出层。BP神经网络示意图：隐藏层的选取H= sqrt(m + n) + aH 为隐藏层的节点数，m为输入层的节点数，n为输出层的节点数，a为1-10之间的调节常数正向传递过程当输入一个样例后，获得该样例的特征值，再根据权向量得到感知器的输入值，然后使用激活函数sigmo...

2018-08-19 16:24:01 21458 2

原创 php留言板的简单编写

关于php留言板简单的编写小弟第一次写博客，也是第一次写关于程序的博客，写得不好的地方，请提出。原理代码我所遇到的问题原理简单的说就是数据库的创建，添加数据，显示在前端上。我的程序只是简单的留言再显示。首先写好留言的前端页面，就简单的写入作者，标题和内容。界面：显示留言的界面：代码添加留言的页面<!DOCTYPE HTML> <HTML><Head>

2016-12-02 23:45:46 17649 1

jeak2015的博客