2018年04月_zc20161202005

原创朴素贝叶斯（naive Bayes）原理

朴素贝叶斯方法是基于贝叶斯定理与特征条件独立假设的分类方法。贝叶斯定理：条件概率推理，利用条件概率来对一些事情进行推断。特征条件独立假设：用于分类的特征在类确定的情况下都是条件独立的。 1. 贝叶斯分类基本原理：对于给定集合｛X,Y｝，首先求取类别Y的分布概率，这是先验概率分布。再求取条件概率分布：，该分布的意义是训练数据集中标签为的样本集中，第j个样...

2018-04-25 21:45:54 571

原创感知机原始形式、对偶形式

感知机的原始形式对于输入样本特征数据，感知机通过以下函数将其映射至{+1，-1}的输出空间 f(x)=sign(w⋅x+b)f(x)=sign(w⋅x+b)(1) 对于所有的错分类点i∈Mi∈M，都有−yi(w⋅xi+b)>0−yi(w⋅xi+b)>0,因此我们可以定义如下的损失函数作为优化准则： L(w,b)=−∑xi∈Myi(w⋅xi+b)L(w,b)=−∑xi∈Myi(w⋅xi+...

2018-04-19 11:09:53 1091 1

原创机器学习之感知机与梯度下降法认知

感知机原理：感知机是一种线性二分类模型，其目的是找到能将训练数据线性可分的分离超平面。对于数据集T 来说，存在可将数据集线线性划分的超平面S： ...

2018-04-18 09:14:12 3140

原创机器学习中的生成模型与判别模型

机器学习中，监督学习模型主要有两种方式：生成学习与判别学习。生成模型原理：根据学习联合概率分布P(X,Y)，求出条件概率分布 P（Y｜X）做为预测模型。每一类单独学习模型，再用新的样本预测，在哪一类上预测概率最大，输出结果即为哪一类。经典模型：朴素贝叶斯（Naive Bayes，NB）隐马尔可夫链（Hidden Markov Model，HM...

2018-04-17 20:56:18 384

原创机器学习中的损失函数与正则化

正则化是结构风险最小化的实现策略，形式是在经验风险最小化的后面加上正则项。（正则项一般是模型复杂度的单调递增函数，模型越复杂，正则项的值越大）。损失函数一般有一下几种：1. 0-1损失函数（感知机） ...

2018-04-17 16:03:13 1574

原创基于python keras 卷积神经网络的报文识别代码

项目要求：利用卷积神经网络来对电报报文进行识别，因为报文数据集较小，需要用到MNIST数据集来作为训练集。实现步骤：1. 数据预处理：将报文图片处理成单个数字2. 网络训练3. 网络参数微调4. 分类预测一. 数据集如下所示，每个报文由四个数字组成 ...

2018-04-16 18:33:55 1021 1

原创经验风险最小化与结构风险最小化

最近在看李航的统计学习方法，边看边做点笔记。本文，包括后续写作纯属个人浅见。模型学习目标是选择期望风险最小的模型，但期望风险最小模型需要用到联合分布概率 P（X,Y）求取条件概率分布 P（Y|X），从而获取预测结果，计算损失。然而，联合概率分布未知，导致监督学习成为一个病态问题。在训练集，假设空间以及损失函数已知的情况下，期望风险为训练样本损失均值。根据大数定理，当样本容量足够大...

2018-04-13 16:45:07 666

zc20161202005的博客