vir_lee的博客

文章目录1、Encoder-Decoder框架2、attention机制3、Transformer模型4、Bert模型1、Encoder-Decoder框架知乎：一文看懂 NLP 里的模型框架 Encoder-Decoder 和 Seq2Seq深度学习笔记(六)：Encoder-Decoder模型和Attention模型2、attention机制attention经典论文：《Effective Approaches to Attention-based Neural Machine Tran

文章目录一、分类问题1. 0-1损失函数(zero-one loss)2. Hinge 损失函数3. log对数损失函数4. Logistic损失5. 交叉熵损失函数 (Cross-entropy loss function)二、回归问题1. 绝对值损失函数2. 平方损失函数3. Huber损失损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。不同的模型用的损失函数一般也不一样。损失函数分为经验风险损失函数和结构风险损失函数。经验风险损失函数指预测结果和实际结果的差别

参考文章：1. 神经网络中的softmax层为何可以解决分类问题——softmax前世今生系列(3)2. softmax函数的正推原理——softmax前世今生系列(1)文章目录1、softmax模型原理2、使用场景1、softmax模型原理Logistic模型只适合处理二分类问题，且在给出分类结果的同时还会给出结果的概率值。那么对于多分类问题，如果想要用类似的方法，输出分类结果的同时还给出概率，则可以使用softmax模型。softmax公式如下：softmax=eni∑j=1kejnso

文章目录推荐系统算法学习(二)——DNN与FM DeepFM推荐系统算法学习（一）——协同过滤(CF) MF FM FFMMuti-Task之MMOE (作者:阿猫阿狗)

文章目录一、FM模型1. 引入背景一、FM模型1. 引入背景FM(Factorization Machine)主要是为了解决数据稀疏的情况下，特征怎样组合的问题。以广告分类的问题为例，根据用户与广告位的一些特征，来预测用户是否会点击广告。...

文章目录一、过滤法（Filter）1. 数据缺失情况变量筛选2. 方差变量筛选3. 预测能力变量筛选4. 基于业务理解的变量筛选（IV值，PSI值）5. 相关性指标变量筛选6. 主成分分析PCA二、包装法（Wrapper）常用方法：递归特征消除法（RFE，后向搜索方法）三、嵌入法（Embedding）1. 加入L1正则的模型2. 基于树模型的变量选择（随机森林，Xgbosot）3. 在评分卡模型中如果使用逻辑回归模型，也可以做特征选择四、一般的变量选择流程1. 基于IV值进行初步筛选2. 聚类分析3. 相关

目录1 原理2 算法步骤3 复杂度4 优缺点5 合理选择 K 值1 原理K-means 是我们最常用的基于欧式距离的聚类算法，其认为两个目标的距离越近，相似度越大。2 算法步骤所以 K-means 的算法步骤为：选择初始化的 k 个样本作为初始聚类中心 a=a1,a2,...,aka=a_1,a_2,...,a_ka=a1​,a2​,...,ak​；针对数据集中每个样本 xix_ixi​计算它到 k 个聚类中心的距离并将其分到距离最小的聚类中心所对应的类中；针对每个类别 aja_jaj​，重

目录前言一、GBDT二、Xgboost前言集成学习大致可分为两种：并行的集成学习方法Bagging和串行的集成学习方法Boosting。并行的集成学习方法，如随机森林，各个基学习器的构建是独立的，没有先后顺序。串行的集成方法，各个基学习器之间有强烈的依赖关系，如Adaboost, GBDT, Xgboost，LightGBM等。一、GBDTGBDT算法实现步骤如下：给定数据集T=(x1,y1),(x2,y2),...,(XN,yN)T={(x_1,y_1),(x_2,y_2),...,(X_N,y

1、RNN1、RNN的原理2、LSTM1、RNN的原理在使用深度学习处理时序数据时，RNN是经常用到的模型之一。RNN之所以在时序数据上有着优异的表现是因为RNN在 ttt 时间片时会将t−1t-1t−1时间片的隐节点作为当前时间片的输入。这样有效的原因是之前时间片的信息也用于计算当前时间片的内容，而传统DNN模型的隐节点的输出只取决于当前时间片的输入特征。，RNN结构如下图：图1：RNN结构图展开细节如下：图2：RNN时间线展开图其中U,V,WU,V,WU,V,W为参数矩阵，公式如

前言Logistic模型常用的参数优化方法有，梯度下降法，牛顿法，拟牛顿法，坐标轴下降法等。Logistic回归模型可以表示如下：y=11+e−(wTx+b)y=\frac{1}{1+e^{-(w^Tx+b)}}y=1+e−(wTx+b)1​令y=h(x),则有下式：P(y∣x;w)=(h(x))y(1−h(x))1−yP(y|x;w)=(h(x))^y(1-h(x))^{1-y}P(y∣x;w)=(h(x))y(1−h(x))1−y其中，y取值0或1，构造似然函数如下：L(w)=∏i

前言logistic模型是基本线性回归模型的扩展，为了解决其无法对非线性问题分类，进行函数变换得到logistic模型，但logistic模型只能处理二分类问题，softmax在logistic模型的基础上进行改进，可以进行多分类。一、logistic模型基本线性回归模型公式如下：f(x)=wTx+bf(x)=w^Tx+bf(x)=wTx+b其中wTw^TwT是参数向量，x是样本，b为偏置项。为了得到非线性效果，进行函数变换得到对数线性回归模型：f(x)=ln⁡(wTx+b)f(x)=\

文章目录前言一、决策树原理二、决策树剪枝（pruning）前言在评分卡建模中，模型可解释性很重要，除了Logistic回归模型，决策树也是一个非常好理解的模型。决策树是一种贪心算法，得到的树不一定是最优的，而是效果较好的次优模型。决策树学习步骤为：特征选择->决策树生成->剪枝。一、决策树原理由于决策树模型无法提前知道，所以只能先从根节点开始在属性空间中选择最优的属性进行分裂得到不同的分支，即中间节点，然后中间节点继续在属性空间中选择最优的属性进行下一次分裂，以此类推，直到满足条

前言在实际的评分卡开发中，会出现样本不均衡问题，比如违约样本远少于不违约样本，，通常将少数样本（坏样本）定义为正样本，多数样本（好样本）定义为负样本。要求模型对正负样本均有较好的区分能力，但样本不均衡的情况下则很难实现。样本不均衡会在特征选择，模型训练，评估指标等环节均产生严重影响，降低模型性能。本文依次从数据层，算法层和模型评估层介绍样本不均衡的处理方法。一 数据层1. 数据层下采样方法1）随机下采样方法 自助法抽样（Bootstrap Sampling）2）样本邻域选择的下采样方法

学习研究项目：基于微博评论的数据挖掘与情感分析Github地址：情感分类模型源码项目简介学习卷积神经网络，循环神经网络在实际环境下的应用，提升实践能力，了解深度学习在自然语言处理方面的进展cnn_for_text_classify具备较强的自动关键词提取能力，在酒店评论测试集上达到95%的准确率采用l2正则和dropout来控制过拟合现象4种卷积核使其能提取局部高效的短特征...