- 博客(13)
- 收藏
- 关注
RSS订阅原创 决策树
一、决策树（树形结构的分类判断）的引入二、信息增益（1）熵：描述事物的混乱程度，越混乱熵值越大。（2）信息熵：度量样本纯度的指标，信息熵越大，纯度越低，熵值越大。信息熵越小越有利于样本的划分，即对特征数据的分类。信息熵公式：（3）使用信息增益可以判断特征划分的好坏。信息增益越大越有利于样本的划分，即对特征数据的分类。将信息增益最大的特征放在决策树或其子树的根部。信息增益公式：（4）ID3算法：决策树的生成是一个不断选择信息增益最大的特征放在决策树或其子树的根部的递归过程。（5）生成决策树
2021-01-13 21:40:23
506
原创 二分类评估指标
一、交叉验证（1）简单交叉验证（留出法）：将数据集按照一定的比例分为训练集与测试集，一般情况下训练集：测试集=8:2，训练集数据较多。（2）K折交叉验证：将数据集分为K部分，将其中的一部分作为测试集，其余部分作为训练集进行训练，一共需要进行K次训练，直至将每一部分都作为一次测试集为止。二、二分类评估指标（1）准确率（2）精确率（3）召回率（4）F1-score:衡量二分类模型精准率和召回率的一种指标，是精准率和召回率的调和平均值。F1-score= 2精准率召回率/(精准率 + 召回率
2021-01-13 10:55:52
700
原创 神经网络
一、神经网络模型（1）神经网络图像模型（2）神经网络函数模型二、确定更好的函数三、确定函数四、神经网络中的激活函数（更好的更新参数）（1）Sigmoid函数的缺点：当神经网络的隐藏层数大于等于3层时，使用Sigmoid函数作为激活函数就会使得增加w参数后，训练过程中增加的部分会逐层递减，从而计算出的梯度非常小，从而导致w参数在更新后几乎没有变化，相当于没有进行训练。（2）解决Sigmoid函数带来的梯度衰减问题：更换激活函数为ReLU，使得不同数据训练的w参数都是不一样的，达到非线
2021-01-12 18:24:28
160
原创 贝叶斯算法
一、贝叶斯分类器运用贝叶斯公式计算概率进行分类。贝叶斯算法在二分类上的运用：计算特征数据在某一分类标签上的概率，如果大于另一分类标签，则认为这条数据对应于该类标签。二、朴素贝叶斯（基于贝叶斯定理与特征条件独立假设的分类方法）假设：特征与特征之间是独立的。...
2021-01-11 11:48:42
91
原创 分布
一、伯努利分布：随机变量X只能取0或者1，也就是说标签只有两类，可将这两类分别看成0、1。二、二项分布三、泊松分布四、正态分布（高斯分布）：（1）连续型随机变量（2）概率密度函数...
2021-01-10 19:43:56
69
原创 正则化
一、岭回归正则化（L2正则化用于线性回归模型就叫岭回归正则化）正则化的引入：正则的主要目的就是使得求出损失函数最小值对应的w更小。公式推理：使用条件：二、L1正则化（L1正则化用于线性回归模型就叫Lasso回归正则化）公式推理：三、L1正则化与L2正则化区别（1）L1正则化中w每次都会减小一个固定值，一定的迭代次数之后会减小到0；L2正则化每次都会减小w的一个比例，无论迭代多少次都不会减小到0。（2）L1正则化是按照固定的数值压缩，系数比较小压缩后可能变为0，系数比较大，压缩效果不是很
2021-01-10 13:04:23
220
原创 梯度下降
一、梯度下降法基础知识**梯度：**函数中的自变量沿着梯度方向运动函数增长最快。梯度的方向即函数值变化最快的方向，就是某点在等值面上的切线的垂直方向。二、梯度的计算三、梯度下降法分析思路：当损失函数过于复杂而无法求出最小值时采用梯度下降法求最小值—找到梯度的反方向，即函数下降最快的方向，沿着此方向一直找到最低或较低端，找到使损失函数最小的w值。步长：梯度下降法中某点沿着梯度反方向的步长为learning rate * L(w0) * -1，即损失函数上某点梯度的反方向乘以learning ra
2021-01-08 16:40:58
231
原创 欠拟合与过拟合
一、评价标准MSE(均方误差)=(预测值-真实值)2/nRMSE(均方根误差)=√￣MSER2=1-MSE/var(y) ——R2表示拟合程度，R2越大，越接近1表示拟合程度越好；R2越小，越接近0表示拟合程度越差。二、欠拟合与过拟合过拟合：模型在训练集中的MSE非常小而在测试集中的MSE非常大。当数据对应的最好的模型是X的2次方而你选定的模型是X的3次方以及以上就容易产生这种情况。欠拟合：模型在训练集与测试集中的MS...
2021-01-08 12:33:52
2724
原创 线性回归
线性回归问题的分析思路找到线性回归的模型，这个模型包含类似于函数y=b+w*x的集合。利用最小二乘法确定最能准确预测数据的函数，即求出（预测值-真实值）的平方的最小值。求解最小值的思路：...
2021-01-08 11:26:53
67
原创 机器学习的分类
**机器学习主要分为监督学习、半监督学习和无监督学习。**三者的区别在于训练集中标签的不同，监督学习的训练集中所有数据都有标签，半监督学习只有部分数据存在标签，而无监督学习只有特征数据不存在标签。监督学习的分类 回归：根据输入的特征数据预测出一个数据，适用于连续型变量。 分类：二分类与多分类。二分类主要解决0、1型数据，类似于根据某一患者的症状数据判断此患者是否属于某种证候，或者一封邮件是否为垃圾邮件。多分类用于判断某篇文章的分类。无监督学习的分类 聚类：根据输入的特征数据
2021-01-08 10:36:43
358
1
原创 JavaWeb项目在Tomcat运行报错：org.xml.sax.SAXNotRecognizedException
org.xml.sax.SAXNotRecognizedException: http://apache.org/xml/features/allow-java-encodings原先在Tomcat运行成功的JavaWeb项目再次在Tomcat运行时出现了这样的错误，在网上找了好多种解决办法都没有完全解决问题，其中采用以下方法可以运行成功：在成功启动tomcat之后，新建一个jaxp.properties，内容如下：javax.xml.parsers.SAXParserFactory:org.ap
2020-06-22 16:57:48
1204
原创 使用Eclipse+MySQL+tomcat将一个实现简单的用户登录与查询数据库并以图表的形式显示的功能的项目发布到云服务器遇到的相关问题
1.sql语句出错：在数据库进行查询时该有的空格在用Java编写代码时忽略了。 （1）在数据库使用sql语句进行查询：select * from test where name='xym' and password='123' (2) 在后台使用Java编写代码时，很容易忽略空格的问题，例如： String sql="select * fro...
2020-04-24 17:32:10
788
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人