Jaster_wisdom的专栏

待到山花烂漫时,她在丛中笑

BP神经网络(输出层采用Softmax激活函数、交叉熵损失函数)公式推导

本篇博客主要介绍经典的三层BP神经网络的基本结构及反向传播算法的公式推导。我们首先假设有四类样本,每个样本有三类特征,并且我们在输出层与隐藏层加上一个偏置单元。这样的话,我们可以得到以下经典的三层BP网络结构:当我们构建BP神经网络的时候,一般是有两个步骤,第一是正向传播(也叫做前向传播),第二是...

2017-10-28 21:42:29

阅读数 8381

评论数 10

K近邻法、kd树

本篇博客主要介绍K近邻法的主要思想。K近邻法:分类时,对新的实例,根据其K个最近邻的训练实例的类别,通过多数表决等方式进行预测。三个基本要素:K值的选择、距离度量、分类决策规则k值的减小意味着整体模型变得复杂、容易发生过拟合 k值的增大意味着整体的模型变得简单K近邻法最简单的实现方法时线性扫描,...

2017-10-15 20:16:25

阅读数 322

评论数 0

感知机模型(原始形式和对偶形式)

本篇博客主要介绍机器学习中十分基础的感知机模型。感知机模型是二类分类的线性分类模型,其输入为实例的特征向量,输出为实例的类别。我们写出基于误分类的损失函数,利用梯度下降法对损失函数进行极小化,求得感知机模型。        1.首先,我们假定线性方程 wx+b=0 是一个超平面,令 g(x)=wx...

2017-10-15 15:13:43

阅读数 4663

评论数 2

提示
确定要删除当前文章?
取消 删除
关闭
关闭