- 博客(26)
- 收藏
- 关注
RSS订阅原创 自然语言处理--Word Embedding（词嵌入）--Word2Vec（词向量）算法理论
一 Word2Vec基础1 one-hot编码（古老的Word Embedding算法模型）1）概念one-hot编码主要采用N位状态寄存器来对N位状态编码，并且仅有一个状态编码为1，其他状态编码为02）缺点尽管简单，但是当分词数量过于庞大的时候（如百万级别），会带来维度灾难2 CBOW（ContinuousBag of Words）1）核心思想使用特定分词的...
2020-05-02 13:16:53
1626
原创 机器学习--概率图算法--条件随机场
一 概率无向图1 概率无向图的概念（三段式描述）1）大前提联合概率分布，由无向图表示注意：：表示多维随机变量 ：表示无向图中的结点（随机变量） ：表示无向图中的边（随机变量之间的依赖关系）2）小前提联合概率分布，满足成对马尔可夫性、局部马尔可夫性、全局马尔可夫性3）结论联合概率分布，称为概率无向图（或者称为马尔可夫随机场）2 概率无向图的成对、局部、全局马...
2020-05-01 19:22:28
611
原创 深度学习--孪生神经网络（Siamese Neural Network）--基础理论
目录一 解决问题二 网络架构三 损失函数（使用contrastive loss处理paired data）1 当Y=1时2 当Y=0时一 解决问题数据集中类别数较多（即无法确认具体类别数或者类别数很多很多），并且每个类别对应的样本数量较少注意：人脸识别（验证）属于该种问题二 网络架构第一点：拥有两个相同的子神经网络，且权值共享第二点：属于有监督...
2020-04-30 08:26:45
3208
原创 深度学习--RNN架构（N：M）--Seq2Seq+Attention机制
目录一 Seq2Seq结构解析1Seq2Seq是一种Encoder-Decoder结构2 Encoder（编码阶段：将输入序列压缩成固定长度的语义向量）方式一：将最后一个隐状态输出进行变换（不变换），作为语义向量（不推荐使用）方式二：将所有的隐状态输出进行变换，作为语义向量（推荐使用）3 Decoder（解码阶段：将语义向量生成指定序列）方式一：将语义向量输入到Dec...
2020-04-29 21:41:53
473
原创 深度学习--生成式对抗网络--DCGAN/WGAN/WGAN-GP/LSGAN/BEGAN算法理论
一 生成式对抗网络基础1 生成式对抗网络的概念1）网络属于无监督学习2）网络中判别器D与生成器G的相互博弈，其纳什均衡为D(G(Z))=0.5判别器D：是一个二分类器，真实样本期望输出1，生成样本期望输出0 生成器G：将噪音数据尽量生成真实样本分布，以期望判别器D输出13）网络的训练阶段分为两个阶段第一阶段：冻结生成器G，使用真实样本和生成样本训练判别器D 第二阶段：...
2020-04-23 20:37:00
1272
原创 机器学习--相似度/相异度度量--距离公式
目录一 距离性质1 非负性2 同一性3 对称性4 三角不等式二 距离度量公式1 闵可夫斯基距离1）曼哈顿距离（城市距离）2）欧式距离3）切比雪夫距离2 标准欧式距离（加权欧式距离）3 马氏距离4 夹角余弦距离5 杰卡德距离6 皮尔逊距离7 KL距离与JS距离1）KL距离（相对熵）2）JS距离（KL距离的变种）8 Wasse...
2020-04-23 11:47:32
802
原创 深度学习--递归神经网络--LSTM/GRU算法理论
目录一 递归神经网络基础1 递归神经网络与前馈神经网络的联系与区别1）网络结构2）输入角度3）输出角度2 递归神经网络的架构类别第一种架构类别：从输入和输出的序列长度角度1）N：N（最为常见的架构）2）N：M（Seq2Seq或者Encoder-Decoder模型）3）1：N（处理如图片标注问题，x是图像特征，y是一个句子）4）N：1（处理如序列分类问题（...
2020-04-21 15:37:47
2322
原创 深度学习--卷积神经网络--LeNet-5/AlexNet/ZFNet/VGGNet/GoogleNet/ResNet算法理论
一 卷积神经网络基础注意：CNN主要用于图像分类与物品识别1 卷积神经网络与传统神经网络的联系1）降低神经网络的复杂性卷积核使神经元关注部分区域，从而降低了神经网络的复杂性2）提升神经网络的深度LeNet-5、AlexNet、ZFNet、VGGNet、GoogleNet、ResNet等CNN网络的发展，是不断增加深度第一点：使用更多的非线性获得更好的特征表达，从而更加逼...
2020-04-18 08:15:01
1098
原创 深度学习--神经网络--基础知识
一 神经网络的构成（架构+激活函数+最优参数学习算法）1 架构描述神经元的层次以及神经元的连接结构2 激励/激活函数1）S型函数（sigmoid函数）2）SS型函数（tanh函数）3）ReLU函数家族3 最优参数学习算法二 神经网络的分类1 从神经网络中的神经元的层次1）浅层神经网络（传统神经网络、全连接神经网络）...
2020-04-13 19:09:00
408
原创 深度学习--神经网络基础算法--BP/RBF算法理论
目录一 BP神经网络（隐层层数不做限制）1 前提1）神经元的层次为3层（隐层只有一层），神经元的连接结构为全连接形式2）激活函数使用S型函数3）权重的学习算法，使用BP算法2 训练阶段1）数学符号解释2）损失函数（采用平方和损失，对单个样本的损失）3）计算FP4）计算BP5）权重更新（使用梯度下降算法）二 RBF神经网络（径向基神经网络，隐层仅有一层...
2020-04-13 16:22:55
2501
原创 机器学习--概率图算法--主题模型算法理论
一 主题模型基础认知1 主题模型的概念第一点：主题模型是生成式模型一篇文章的每一个词：文档以一定概率选择某个主题，并从这个主题中以一定概率选择某个词第二点：主题模型的目的主题模型可以自动分析每个文档，统计文档内词语，根据统计的信息判断当前文档包含哪些主题以及这些主题所占比例大小2 主题模型的优点第一点：克服了传统信息检索中文档相似度计算的缺点（如词袋法等忽略语义...
2020-04-09 22:57:14
844
原创 机器学习--概率图算法--隐马尔科夫算法理论
一 马尔科夫性质与马尔科夫链1 马尔科夫性质（以三段式描述）大前提是一个随机过程，且为其状态空间小前提结论（当前状态的条件分布只与上一个状态有关）注意：满足马尔科夫性质的随机过程，称为马尔科夫过程2 马尔科夫链1）概念马尔科夫链是指具有马尔科夫性质的随机过程，在过程中，给定当前状态下，预测将来的状态与过去的状态无关2）三要素要素一：...
2020-04-09 10:02:47
564
原创 机器学习--特征工程问题
注意：特征工程通常占据开发时间的50%+，是一个比较重要的问题一 数据来源问题（数据收集问题）1 业务实现需要什么数据基于业务的理解，尽可能多的找出对因变量有影响的所有自变量数据2 自变量数据主要来源1）用户行为日志数据记录的用户在系统上所有操作所保留的用户行为日志2）业务数据比如商品信息、用户信息、商家信息等等3）第三方数据爬虫的数据、合作方的数据、购买的...
2020-04-06 22:48:47
685
原创 机器学习--聚类算法（无监督）--高斯混合模型算法理论
一 算法概述1 算法概念高斯混合模型（GMM）是指由多个高斯模型线性叠加，描述了数据本身的一种分布情况，其中每个高斯模型称为一个component
2020-04-04 16:17:14
1083
原创 机器学习--最大期望估计算法理论
一 最大似然估计（MLE）1 概念已知的样本结果，反推最大可能（最大概率）导致这样本结果的参数2 流程第一步：似然函数第二步：对似然函数求对数第三步：求导数第四步：解似然方程...
2020-04-04 09:56:57
362
原创 机器学习--分类算法--贝叶斯算法理论
一 朴素贝叶斯算法（不推荐使用）1 算法核心思想基于朴素的这一假设，即假设特征之间相互独立 采用贝叶斯公式2 算法原理第一步：假定样本，其中表示样本第个特征，第二步：依据贝叶斯公式第三步：依据朴素假设第四步：当样本给定的时候，其中表示常数第五步：预测3 算法流程第一步：计算各个类别的概率第二步：计算给定类别下...
2020-04-03 16:46:44
546
原创 机器学习--分类算法中单标签与多标签的问题
注意：正例记作1，负例记作-1一 单标签问题（二分类算法进行预测单标签多分类）1 ovo（one versus one，一对一）第一步：将k个类别的样本，进行两两类别样本组合，产生个训练数据子集第二步：使用组合之后的数据子集训练模型，产生个训练模型第三步：将分类器进行融合，采用多数投票法，产生预测值2 ovr（one versus rest，一对多）第一步...
2020-04-02 22:49:02
2596
原创 机器学习--聚类算法（无监督学习）--K-Menas/BIRCH/CURE/DBSCAN/MDCA算法理论
一 聚类算法概述1 聚类的概念给定数据集（仅有特征属性，无目标属性），依据样本之间的特征属性，将样本聚类为不同聚簇（簇），从而实现簇内样本相异度低，簇间样本相异度高2 聚类算法的评价指标1）轮廓系数（无需目标属性的评价指标）第一步：簇内不相似度（）计算当前簇中样本i到簇内所有样本的平均距离，越大代表样本i与当前簇的不相似度越高第二步：簇间不相似度（）计算当前...
2020-04-01 22:46:57
1019
原创 机器学习--分类算法--SVM算法理论
目录一 算法概述1 点到超平面的几何距离公式2 算法核心思想3 算法中几个重要概念1）线性可分2）线性不可分3）间隔4）划分超平面5）支持向量二 算法理论1 线性可分SVM1）硬间隔SVM算法流程2）软间隔SVM算法流程2 线性不可分SVM3 SVR三 SMO算法一 算法概述1 点到超平面的几何距离公式注意：分母为点到...
2020-03-31 22:40:05
1387
原创 机器学习--损失函数常用的凸优化算法
一 无约束条件下损失函数的凸优化算法1 牛顿法（不推荐使用）1）函数为可微凸函数，已知某点的函数值，求解该点的的方法2）算法流程第一步：令第二步：计算第三步：计算第四步：更新第五步：重复上述步骤（迭代），直至2 梯度下降法1）算法流程第一步：假定函数，为n元自变量第二步：初始化第三步：计算负梯度...
2020-03-30 16:19:40
1437
原创 机器学习--分类算法--集成学习算法理论（RF/AdaBoost/GBDT/XGBoost算法）
一 集成学习背景1 集成学习概念指将若干个学习器进行组合而得到一个新的学习器2 集成学习优势1）弱分类器之间存在差异性的问题导致分类边界的不同（换言之存在错误），那么将多个弱分类器合并之后，会得到更加合理的分类边界2）对于数据集过大或者过小的问题我们可以采用划分或者有放回操作，得到不同的数据子集，分别训练不同的学习器，在组合成一个新的学习器3）对于数据集的划分边界过...
2020-03-27 22:56:18
1106
原创 机器学习--分类算法--决策树算法理论
目录一 信息量1 信息量是指一个事件所蕴含的信息量大小2 信息量的度量1）熵相关公式熵的性质2）基尼系数基尼系数的相关公式基尼系数的性质3）错误率二 算法原理1 决策树构造关键是选择特征属性以及分裂特征属性（树结构）2 决策树构建过程是一种递归过程，所以必须给定停止条件，否则过程不会停止三 算法评价标准1 方式一 分类算法常用的混淆矩阵...
2020-03-26 15:45:21
379
原创 机器学习--分类算法--KNN算法理论
1 KNN算法原理从训练集中获取K个离待预测样本最近的数据样本 根据获取得到的K个样本数据预测当前待预测样本的目标属性（分类与回归的目标属性）2 KNN算法中最重要的三个影响因素1）K值的选择一般而言，依据样本分布选择一组K值，通过交叉验证的方式，选择合适的K值2）距离的度量一般采用欧式距离3）决策规则针对分类问题，采用多数表决法或者加权多数表决法 针对回归问题，...
2020-03-25 10:38:15
292
原创 机器学习--分类算法--softmax回归算法理论
本篇内容参考《百面机器学习》《统计学习方法》第一部分 理论概述1 Softmax回归是Logistc回归的一般化，适用于k分类问题，针对每个类别都有一个参数向量从而组成一个参数矩阵2 Softmax函数本质上就是将k维度实数向量压缩成另一个k维实数向量，其中每个维度取值范围是(0,1)第二部分 理论模型1 模型前提1）对于数据集而言，目标属性y具有k个类别（y=1,2...
2020-03-24 15:43:45
414
原创 机器学习--分类算法--Logistc回归算法理论
本篇内容参考《百面机器学习》《统计学习方法》第一部分 理论概述1 Logistic回归相比于线性回归而言，二者有何异同1）区别Logistic回归处理分类问题 线性回归处理回归问题2）相同是有监督学习，采用极大似然估计函数建模，使用梯度下降方法求解2 Logistic回归采用Sigmoid函数作为伯努利分布分布律引入odd思想：即一个事件发生概率与不发生概率的比值比...
2020-03-24 11:26:26
248
原创 机器学习--回归算法--线性回归算法理论
第一部分：导言阅读本章节，需要一定的数理统计基础第二部分：干货1 模型前提1）线性模型： （，截距以包含在内）注意：，，均为随机变量，为系数，且满足独立同分布2）3）极大似然原理：假设一场试验中，发生A结果，并未发生B结果或者其他结果，那么说明该试验对A有利，进而数学上可以表达为，其中为有利于A的条件2 建立模型3 模型问题,要求可逆，如何解...
2020-03-20 21:42:27
927
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人