关注
分享
文章平均质量分 94
这里是李宁宁的机器学习专栏。分享学习笔记、干货资料等等。从机器学习、深度学习、强化学习最基本的理论到最前沿的实践，带你走进人工智能的世界！
欢迎关注同名公众号: 机器学习荐货情报局
轻春
Talk is cheap, show me the code.
展开
-
推荐系统从零单排系列(四)—Word2Vec理论与实践(上)
推荐系统从零单排系列(四)—Word2Vec理论与实践(上)【导读】Word2Vec是Embedding中非常基本的模型，训练出来的词向量不仅能保持语义与语法上的相关性，并且可以实现类似代数运算的能力。除了在NLP中作为基本网络模块，在推荐系统等领域中也是应用广泛，相信聪明的你肯定看到过类似的介绍，但是又没有深入、系统的学习过。没关系，让我们现在开始来一步一步的解决这个问题。One-Hot...原创 2019-05-11 11:22:38 · 680 阅读 · 0 评论 -
计算广告CTR预估系列(八)--PNN模型理论与实践
计算广告CTR预估系列(八)–PNN模型理论与实践计算广告CTR预估系列(八)–PNN模型理论与实践一、介绍1.1 名词解释1.2 数据特点1.3 参数约定二、相关工作三、损失 & 评价函数3.1 损失函数3.2 评价函数四、PNN详解4.1 架构图4.2 IPNN4.3 OPNN4.4 PNN*五、优化六、总结七、代码实战IPNNO...原创 2018-09-12 23:28:07 · 3296 阅读 · 0 评论 -
计算广告CTR预估系列(九)--NFM模型理论与实践
计算广告CTR预估系列(九)–NFM模型理论与实践计算广告CTR预估系列(九)–NFM模型理论与实践一、引言二、Model Feature Interaction2.1 介绍2.2 FM2.2.1 优点2.2.2 缺点2.3 Deep Neural Network2.3.1 DNN优化困难三、Neural Factorization Machine(NFM)...原创 2018-09-12 23:29:04 · 5086 阅读 · 5 评论 -
计算广告CTR预估系列(十)--AFM模型理论与实践
计算广告CTR预估系列(十)–AFM模型理论与实践计算广告CTR预估系列(十)–AFM模型理论与实践一、简介二、FM三、AFM3.1 模型3.2 模型训练3.3 过拟合四、总结五、代码实践Reference计算广告CTR预估系列往期回顾一、简介AFM全称是Attentional Factorization Machine，和NFM是同一个作者。...原创 2018-09-12 23:30:05 · 3235 阅读 · 2 评论 -
计算广告CTR预估系列(十一)--谷歌DCN模型理论与实践
计算广告CTR预估系列(十一)–谷歌DCN模型理论与实践计算广告CTR预估系列(十一)–谷歌DCN模型理论与实践一、介绍二、相关工作三、DCN特点四、DCN4.1 Embedding and Stacking Layer4.2 Cross Network4.3 Deep Network4.4 Combination Layer五、泛化FM六、实验七、代码实战...原创 2018-09-12 23:31:25 · 7407 阅读 · 1 评论 -
计算广告CTR预估系列(七)--Facebook经典模型LR+GBDT理论与实践
计算广告CTR预估系列(七)–Facebook经典模型LR+GBDT理论与实践计算广告CTR预估系列(七)–Facebook经典模型LR+GBDT理论与实践一、介绍二、评估函数2.1 Normalized Cross-Entropy(NE)2.2 Calibration三、模型架构3.1 决策树Feature Transforms3.2 Data freshness3....原创 2018-06-13 16:38:11 · 13081 阅读 · 6 评论 -
计算广告CTR预估系列(六)--阿里Mixed Logistic Regression
计算广告CTR预估系列(六)–阿里Mixed Logistic Regression计算广告CTR预估系列(六)–阿里Mixed Logistic Regression一、技术背景二、研究现状三、MLR算法3.1 结构化先验3.2 线性偏置3.3 模型级联3.4 增量训练3.5 L1，L2,1正则化 / 分组稀疏四、实现技巧4.1 并行化4.2 Common Fe...原创 2018-06-13 16:41:17 · 3333 阅读 · 0 评论 -
计算广告CTR预估系列(五)--阿里Deep Interest Network理论
计算广告CTR预估系列(五)–阿里Deep Interest Network理论计算广告CTR预估系列(五)–阿里Deep Interest Network理论1. 背景1.1 名词解释1.2 相关工作2. 系统总览2.1 训练数据2.2 特征处理2.3 评价指标3. 原理3.1 Base Model3.2 DIN Design3.3 Dice: Data D...原创 2018-06-06 09:23:50 · 15351 阅读 · 5 评论 -
计算广告CTR预估系列(四)--Wide&Deep理论与实践
计算广告CTR预估系列(四)–Wide&Deep理论与实践计算广告CTR预估系列(四)–Wide&Deep理论与实践1. 名词解释1.1 Memorization 和 Generalization1.2 Wide 和 Deep1.3 Cross-product transformation2. Wide & Deep Model2.1 推荐系统2....原创 2018-06-06 09:22:35 · 19681 阅读 · 4 评论 -
【一网打尽】机器学习梯度下降优化算法
【一网打尽】机器学习梯度下降优化算法1. 梯度下降梯度的方向是上升的方向，所以我们是沿着梯度的反方向，每一次根据学习率来决定走的步长，争取到达谷底。2. 梯度下降变体各种各样的变体，主要是为了在参数更新准确度和所需要时间之间做一个trade-off。2.1 Batch gradient descent使用所有的数据集来计算更新梯度。 缺点：非常耗...原创 2018-06-06 09:25:42 · 769 阅读 · 0 评论 -
计算广告CTR预估系列(三)--FFM理论与实践
计算广告CTR预估系列(三)–FFM理论与实践计算广告CTR预估系列(三)–FFM理论与实践1. 发展2. 理论公式3. 思想3.1 Poly23.2 FM3.3 FFM3.3.1 FFM模型–思想3.3.2 FFM模型–方程3.3.3 FFM模型–学习算法3.3.4 FFM模型–多值类别型特征4. 各模型计算复杂度5. 优缺点6. 使用FFM需要注意的地...原创 2018-05-15 09:47:26 · 3661 阅读 · 0 评论 -
计算广告CTR预估系列(二)--DeepFM实践
计算广告CTR预估系列(二)–DeepFM实践计算广告CTR预估系列(二)–DeepFM实践0. 变量说明1. 架构图与公式1.1 架构图1.2 公式1.2.1 公式参考1.2.2 FM Component维度问题2. 核心代码拆解2.1 输入2.2 Embedding2.3 FM Component - 1维特征2.4 FM Component - 2维组合...原创 2018-05-10 10:19:07 · 3690 阅读 · 6 评论 -
计算广告CTR预估系列(一)--DeepFM理论
计算广告CTR预估系列(一)–DeepFM理论 本文首发于公众号： 机器学习荐货情报局 计算广告CTR预估系列(一)–DeepFM理论DeepFM1. CTR预估2. 模型演进历史2.1 线性模型2.2 FM模型2.3 遇上深度学习3. DeepFM3.1 FM Component3.2 Deep Component3.3 对比其他模型FNNPNNW...原创 2018-05-04 22:15:41 · 5538 阅读 · 4 评论 -
Batch Normalization, 会其意知其形
Batch NormalizationBatch Normalization归一化/正则化Batch Normalization原理BN添加位置效果反 normalize代码实践归一化/正则化数据归一化、正则化是非常重要的步骤，用于重新缩放输入的数值，确保在反向传播期间更好的收敛。一般来说，采用的方法是减去平均值在除以标准差。如果不这样做，某些特征...原创 2018-05-02 16:24:23 · 1315 阅读 · 0 评论 -
隐马尔可夫模型（HMM），了解一下？
隐马尔可夫模型（HMM）隐马尔可夫模型（HMM）1. 隐马尔可夫模型基本概念1.1 定义1.2 观测序列生成过程1.3 3个基本问题2. 概率计算方法2.1 直接计算法2.2 前向算法2.3 后向算法3. 学习算法3.1 监督学习方法3.2 非监督学习方法 EM算法 Baum-Welch算法4. 预测算法4.1 近似算法4.2 维特比算法...原创 2018-04-29 10:05:56 · 2264 阅读 · 1 评论 -
【机器学习荐货情报局】置信区间-看这一篇就够了
置信区间 - 看这一篇就够了欢迎关注公众号：机器学习荐货情报局 一起进步，一起学习，一起充电~ 欢迎投稿，讨论，拍砖 1. 定义在统计学中，一个样本的置信区间是对总体参数的一个区间估计。置信区间给出的是，声称总体参数的真实值在测量值的区间所具有的可信程度或者说是概率。这个概率又叫做置信水平。举例来说：再一次大选中，上帝视角看到某人的支持率是55%，而置信水平0.95上的置信区间是...原创 2018-04-28 13:44:01 · 4932 阅读 · 0 评论 -
【增强学习】Sarsa
增强学习之Sarsa 代码下载: github https://github.com/gutouyu/ReinforcementLearning 增强学习算法Sarsa（state-action-reward-state_-action_）。和QLearning非常相似。Sarsa是一种On policy的算法(整个循环都是在一个路径上)，state_ action_ 在Q_table更新的时原创 2017-09-27 23:11:39 · 727 阅读 · 0 评论 -
【强化学习】QLearning
强化学习之Q Learning标签： ReinforcementLearning QLearning 代码：https://github.com/gutouyu/ReinforcementLearning/tree/master1. 算法思想Q指的是状态动作效益。智能体Agent，每个时刻都有一个状态State， 在该状态下，它可以采取一系列动作中的一个动作Action。Q就是指在状态State下原创 2017-09-26 19:33:17 · 4851 阅读 · 4 评论 -
【机器学习读书笔记】 k近邻算法（KNN）
【机器学习读书笔记】 k近邻算法（KNN）一、K-近邻算法 kNN属于监督学习中的分类算法。与后面将要学习的决策树都属于结果确定的分类算法，数据实例最终会被明确划分到某个分类中。还有一种分类算法将不能完全确定数据实例应该划分到某个类，或者只能给出数据实例属于某个分类的概率。算法思路监督学习就一定存在训练样本集。训练样本中每个样本都有已知的分类标签。也就是说我们知道样本集中的每一个样本与所属分原创 2017-07-13 16:08:04 · 496 阅读 · 0 评论 -
【机器学习读书笔记】决策树
【机器学习读书笔记】决策树二、决策树 决策树也属于监督学习里面的分类算法。书中介绍的算法是ID3，比较流行的还有C4.5、CART。决策树也是最长使用的数据挖掘的算法。 决策树分类器就像带有终止块的流程图，终止块表示分类结果。开始处理数据集时，首先需要测量数据集中的不一致性，也就是熵，然后寻找最优方案划分数据集，然后寻找最优方案划分数据集，直到数据集中的所有数据处于同一分类。算法思路原创 2017-07-13 16:08:33 · 472 阅读 · 0 评论 -
【机器学习读书笔记】朴素贝叶斯分类
【机器学习读书笔记】朴素贝叶斯分类三、朴素贝叶斯分类 朴素贝叶斯是基于概率论的分类方法，不像之前给出的K-近邻和决策树会硬性的将输入分到一个类别中。朴素贝叶斯分类算法只给出该数据属于某一类别的可能性或者说概率。最终的类别标签会以较大概率的标签为准。 朴素贝叶斯在贝叶斯的基础上给出了条件独立性假设，我们也知道这个假设非常简单，这也是它称为朴素的原因。算法思路贝叶斯定理 我们先看看wi原创 2017-07-13 16:09:26 · 481 阅读 · 2 评论 -
【机器学习读书笔记】Logistic回归
【机器学习读书笔记】Logistic回归四、Logistic回归 Logistic回归属于广义线性回归模型，通过历史数据的表现对未来结果发生的概率进行预测，它属于分类和预测算法中的一种。他是用来解决二值分类（binary classification）,AndrewNG忠告：不要用线性回归去解决分类问题。 逻辑回归的回归方程和线性回归相比，在其基础上增加了一个逻辑函数（logistic原创 2017-07-13 16:11:26 · 644 阅读 · 1 评论