Yokate-CSDN博客

原创拉格朗日对偶性问题的一些见解

李航《统计学习方法》中附录C中给出了拉格朗日对偶性的推导，在这里再重新捋一下其概念。应用拉格朗日对偶性的目的：将原始问题转换为对偶问题，通过求解对偶问题获得原始问题的解。在这里，我们首先面临的一个问题：1.什么是对偶问题？2. 怎么将原始问题转换为对偶问题？书中并不是上来就开始讲解怎么去转换的，而是首先将原始问题转换为拉格朗日极大值极小值问题。即，假设是定义在上的连续可微函数，考虑...

2019-04-09 22:02:33 954

原创利用python对数据三取中的一种简单实现方法

工业设备中经常出现一个量有三个值，选择取中的办法确保安全。在数据处理上，可以利用一种简单的方法实现中值的选取：在DataFrame结构的数据下，通过最大值，最小值的方法得出中值，需要注意按行还是按列选择。命令格式如下：#三取中#看准几个方括号data['主汽压力_max_1'] = data[['主汽压力1', '主汽压力2']].max(axis=1)data['主汽压力'] =...

2019-03-27 12:26:52 1332

原创 python的scipy库安装成功，导入scipy或其函数时却报错的问题

基于anaconda软件自动安装的python，scipy。使用时在导入函数时报错：如想要导入integrate函数，输入命令：from scipy.integrate import quad结果报错，提示：ImportError: DLL load failed: 找不到指定的模块。在网上查资料，大概说是要先安装numpy+mkl（注意，不是numpy），需要到相应网站下载该...

2019-03-26 22:28:01 8682

原创关于最大熵模型的一些见解

1. 前言本文主要涉及最大熵模型中的一些推导，旨在理顺内部之间的逻辑关系求解目的：获取最好的模型2. 最大熵原理最大熵原理是概率模型学习的一个准则，最大熵原理认为，学校概率模型时，在所有可能的概率模型中，熵最大的模型是最好的模型。最大熵原理任务要选择的概率模型首先必须满足已有的事实，即约束条件。在没有更多信息的情况下，那些不确定的部分都是等可能的。最大熵原理通过熵的最大化来表示等可...

2018-08-30 22:27:49 2823 2

原创信息增益算法

信息增益算法的步骤：输入：训练数据集D和特征A；依据数据集中的类别计算经验熵: 由训练数据集获取各类别数量；根据类别计算相应的概率分布；计算经验条件熵(或者说)：确定特征A；根据特征A对数据集划分获取子集，计算子集的经验熵并求和；对子集分类（此处分类是按类别分，不是按特征分），获取各类对应的集合；由上一步的...

2018-08-23 20:20:54 2330

原创经验条件熵公式的推导

李航《统计学习方法》中，P62页公式5.8：计算特征A对数据集D的经验条件熵:此处，给出条件熵（）的定义:X给定条件下Y的条件概率分布的熵对X的数学期望：在书中P61页下方给出了各类的定义：设训练数据集为D，表示样本容量，即样本个数，设有K个类，。为属于类的样本个数，，设特征A有n个不同的取值{},根据特征A的取值将D划分为n个子集，为的样本个数，，记子集中属于类的样本的...

2018-08-23 18:01:07 10175 1

原创对朴素贝叶斯分类器的理解

（逻辑有点乱，待修改）由李航《统计学习方法》中的第四章可得朴素贝叶斯分类器：式中，连乘符号是针对j的，j表示中的第j个特征，不考虑连乘符号后的项，仅中项可能的取值数量为K（）。也就是选最大值是从K个值选（先暂且这么认为）。对于连乘项，如果采用极大似然估计（其实采用贝叶斯估计也是一样的），对，则有：对每个值，取值唯一，共有K种取值可能。而条件概率的极大似然估计是：...

2018-08-21 23:08:45 348