人工智能模型
NanciZhao
这个作者很懒,什么都没留下…
展开
-
逻辑回归模型公式推导
原创 2020-01-04 12:29:56 · 242 阅读 · 0 评论 -
概率图模型与贝叶斯网络
一、什么是概率图模型把图论+概率论结合起来,具体来说二、贝叶斯网络原创 2019-12-30 09:37:23 · 229 阅读 · 0 评论 -
模型融合
一、有哪些模型融合方法1. Voting/Averagingsklearn.ensemble.VotingClassifiersklearn.ensemble.VotingRegressor在不改变模型的情况下,直接对各个不同的模型预测结果,进行投票或平均这种融合的前提条件是模型之间相互独立,结果之间没有相关性。越相近的模型进行融合,融合效果也会越差。可见模型之间差...原创 2019-11-26 09:40:33 · 520 阅读 · 0 评论 -
SVM模型结构
一、模型的思想、假设通俗来讲,SVM是一种二类分类模型,其基本模型定义为:特征空间上的间隔最大的线性分类器,其学习策略是间隔最大化,最终可转化为一个凸二次规划问题的求解。二、模型的构建和结构2.1 模型构建1)KEY IDEA1:决策边界,如果给定了一个训练集,目标是找到一个边界,使其离它最近的训练样本距离,越宽越好。决策公式:ifW*Ux>=Cthen 正类, el...原创 2019-10-10 10:31:23 · 4316 阅读 · 0 评论 -
LIGHTGBM集成模型
一、是对什么模型的改进LightGBM是对XGB提升性能的版本。而LightGBM相对于其他GBM来说,具有相近的准确率而且是其训练速度的20倍。二、做了哪些改进1. 直方图算法将原始连续的数据通过直方图进行离散化,好处: a. 数据空间变小,减少计算量2. 并行优化(Exclusive Feature Bundling / Merge Ex...原创 2019-10-24 20:00:06 · 566 阅读 · 0 评论 -
XGBoost模型
参考此链接,写的非常秦楚:https://cloud.tencent.com/developer/article/1513111一、模型相比GBDT做了哪些改进1)损失函数中加入了正则化项2)在节点的分裂过程中,进行了并行化3)二、模型的公式推导三、模型在求解什么东西1)每个叶结点j的最优分数: w∗j 的计算2)树如何分裂,即分裂点的选择 ...原创 2019-10-23 09:02:39 · 587 阅读 · 0 评论 -
提升树模型与GBDT
一、加法模型 其中,b(x;rm)为基函数,rm为基函数的参数,为基函数的系数。 在给定训练数据及损失函数L(y, f(x))的条件下,学习加法模型f(x)称为经验风险极小化即损失函数极小化问题: (8.14)二、前向分步优化算法 上述是一个复杂的优化问题。前向分步算法求解这一优化问题的思路是:因为学习的是...原创 2019-10-22 09:41:42 · 161 阅读 · 0 评论 -
Adaboost集成模型
前言、Boosting提升算法思想Boosting:提升、推进的意思一般来说,找到弱学习算法要相对容易一些,然后通过反复学习得到一系列弱分类器,组合这些弱分类器得到一个强分类器。Boosting算法涉及到两个部分:加法模型和前向分布算法。加法模型:就是说强分类器由一系列弱分类器线性相加而成。一组组合形式如下:前向分步,就是说再训练过程中,下一轮迭代产生的分类器是在上一轮的...原创 2019-10-18 14:58:26 · 337 阅读 · 0 评论 -
随机森林模型
模型构建思想随机采样->随机特征->多棵决策树->多数投票(分类)/取平均值(回归)“随机”体现在哪里:1)特征随机2)样本随机优缺点优点:1.并行2. 随机性的引入,增加了多样性,泛化能力非常强,抗噪声能力强,对缺失值不敏感;3.可省略交叉验证,因随机采样;4.并继承决策树的优点,包括: (1)可得到特征重要性排序,因此可做...原创 2019-10-14 16:14:14 · 1657 阅读 · 0 评论 -
决策树模型
前言 决策树生成模型三要素一般而言,一颗“完全生长”的决策树包含:特征选择、决策树构建、剪枝三个过程。决策树是一种启发式贪心算法,每次选取的分割数据的特征是当前的最佳选择,并不关心是否达到最优。一、特征选择1.1 熵(样本集合“纯度”/不确定性/稳定性的指标;熵越大,样本的不确定性就越大)在决策树的生成过程中,使用了熵来作为样本最优属性划分的依据。是描述样本集合“纯度”/稳...原创 2019-10-14 16:13:00 · 788 阅读 · 0 评论 -
伯努利分布、二项分布
一、伯努利分布(又称为0-1分布、两点分布)伯努利试验说的是下面一种事件情况:在生活中,有一些事件的发生只有两种可能,发生或者不发生(或者叫成功或者失败),这些事件都可以被称为伯努利试验。那么其概率分布称为伯努利分布(两点分布、0-1分布),如果记成功概率为p,则失败概率为q=1-p,则:认为概率质量函数为:二、二项分布假如某个试验是伯努利试验。进行n次这样的试验,成功了x...原创 2019-09-08 16:33:56 · 31002 阅读 · 0 评论 -
逻辑斯蒂分布模型、二项逻辑斯蒂回归模型、多项逻辑斯蒂回归模型
一、逻辑斯蒂分布/回归模型模型描述的是一种什么样的事件或现象:设X是连续随机变量,X服从逻辑斯蒂回归分布是指X具有下列分布函数和密度函数: 附上逻辑斯蒂分布的密度函数与分布函数,如下: 物理含义,一张密度函数,一张分布函数,他们有什么物理内...原创 2019-09-09 11:12:58 · 4067 阅读 · 0 评论 -
线性回归模型
一、模型的假设或前提假设特征满足线性关系。二、模型如何构建根据给定的训练数据训练一个模型,并用此模型进行预测。三、损失函数/cost function及优化 五、其它...原创 2019-09-14 17:18:58 · 113 阅读 · 0 评论 -
CNN神经网络
一、基础概念1.1 卷积(filter) 、CNN使用卷积的思想和意义改变全连接为局部连接,这是由于图片的特殊性造成的(图像的一部分的统计特性与其他部分是一样的),通过局部连接和参数共享,大范围的减少参数值。可以通过使用多个filter来提取图像的不同特征(多卷积核)。卷积的尺寸选择:通常尺寸多为奇数(1,3,5,7)二、模型构建一个CNN网络一般都是卷积、激活、池化、卷积、激...原创 2019-09-25 16:34:49 · 907 阅读 · 0 评论 -
人工神经网络ANN
一、基本概念 ANN:Artificial neural network前馈神经网络的缩写二、模型构建2.1 神经元 2.2 激活函数意义:激活函数是用来让给神经网络加入非线性因素的,因为线性模型的表达能力不够。如果没有激活函数,那么该网络仅能表达线性映射,此时即便有再多的隐藏层,其整个网络跟单层神经网络也是等价的。激活函数应该如下性质:1)非线...原创 2019-09-26 09:17:06 · 880 阅读 · 0 评论 -
RNN循环神经网络模型1-基本结构
0 序言RNN是一类用于处理序列数据的神经网络。时间序列数据是指在不同时间上收集到的数据,这类数据反映了某一事物、现象等随时间的变化。序列数据有一个特点:后面的数据跟前面的数据有关系。一、模型基本结构其中:1) Xt代表序列t时刻训练样本的输入;2) ht代表序列t时刻模型的隐藏状态;3) ot代表序列t时刻模型的输出;4) Lt代表序列t时刻模型的损失函数,模型整...原创 2019-10-09 10:23:01 · 2133 阅读 · 0 评论 -
RNN2-LSTM
一、LSTM是在什么基础上提出的,为了解决什么问题LSTM可以解决梯度消失问题从而记住长距离的依赖关系二、模型结构整体结构 遗忘门: 输入门: 输出门: C(t-1):上一个LSTM单元的记忆C(t):最新...原创 2019-10-09 10:23:44 · 186 阅读 · 0 评论 -
贝叶斯网络
前言贝叶斯模型属于概率图模型(概率+图)一、假设前提二、模型结构贝叶斯网络属于一个有向无环图三、朴素贝叶斯网络3.1 模型3.2 参数估计(优化算法)四、高斯朴素贝叶斯五、多项朴素贝叶斯六、伯努利朴素贝叶斯...原创 2019-10-10 10:32:11 · 146 阅读 · 0 评论 -
Seq2Seq模型+Attention机制
一、Seq2Seq1.1、模型提出的背景seq2seq是一个Encoder-Decoder结构的网络,它的输入是一个序列,输出也是一个序列,Encoder中将一个可变长度的信号序列变为固定长度的向量表达,Decoder将这个固定长度的向量变成可变长度的目标信号序列。1.2、模型结构seq2seq属于encoder-decoder结构的一种,基本思想就是利用两个RNN,一个RNN...原创 2019-10-10 14:43:49 · 1086 阅读 · 0 评论 -
逻辑回归模型
一、模型构建的前提或假设 第一个前提(基本假设)是数据服从伯努利分布,即每次只有两种结果,正的概率为p,负的概率为1-p。 第二个前提(基本假设)是假设样本为正的概率是 二、模型如何定义该模型认为数据的分布服从逻辑斯蒂回归分布。逻辑斯蒂回归模型学习时,对于给定的训练数据集T = (x1,y1), (x2,...原创 2019-09-06 10:31:31 · 933 阅读 · 0 评论