深度学习
文章平均质量分 85
一杯敬朝阳一杯敬月光
生命不息,代码不止
展开
-
paper阅读 Real-time Personalization using Embeddingsfor Search Ranking at Airbnb
论文阅读原创 2022-12-10 01:16:35 · 237 阅读 · 0 评论 -
李宏毅机器学习笔记(2016年的课程):Support Vector Machine (SVM)
李宏毅机器学习笔记(2016年的课程)Support Vector Machine (SVM)原创 2022-11-05 21:21:56 · 629 阅读 · 0 评论 -
DSSM 阅读 - Learning Deep Structured Semantic Models for Web Search using Clickthrough Data
paper 阅读 DSSM原创 2022-10-17 17:12:12 · 332 阅读 · 0 评论 -
反向传播 - 李宏毅机器学习笔记
反向传播 - 李宏毅机器学习笔记原创 2022-10-02 00:00:44 · 566 阅读 · 0 评论 -
Transformer - Attention Is All You Need - 跟李沐学AI
Transformer paper 详细阅读原创 2022-09-18 00:38:16 · 1080 阅读 · 0 评论 -
Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics 阅读
学习笔记原创 2022-06-23 14:56:02 · 1258 阅读 · 0 评论 -
DiSAN: Directional Self-Attention Network forRNN/CNN-Free Language Understanding 笔记
DiSAN阅读笔记原创 2022-06-19 23:08:10 · 588 阅读 · 0 评论 -
MMOE 【Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts】阅读
阅读笔记原创 2022-06-19 00:42:20 · 473 阅读 · 0 评论 -
损失函数MSE、Cross entropy、Hinge Loss-杂记
MSE、交叉熵损失、hinge loss原创 2022-06-10 21:16:04 · 779 阅读 · 0 评论 -
激活函数 Sigmoid、tanh、*LU、softPlus、maxOut、softmax、dice- 杂记
激活函数原创 2022-06-07 00:28:18 · 1180 阅读 · 0 评论 -
Wide & Deep Learning for Recommender Systems 阅读
摘要非线性特征变换的广义线性模型广泛应用于有稀疏特征输入的大规模回归和分类问题。通过特征交叉得到的memorization of feature interactions具有很好的效率以及可解释性,但是这种做法的泛化需要在特征工程上投入更多的精力。在特征工程下投入更少的精力,通过学习稀疏特征的低维稠密embedding向量,deep网络可以在隐式的特征交叉上取得很好的泛化性能。然而带embedding的deep网络可能过度泛化,特别是当user-item的交互是高维稀疏的时候,可能会推荐不相...原创 2021-02-01 13:02:39 · 318 阅读 · 0 评论 -
day3-搜索和推荐的matching技术
召回系统架构人工规则疲劳度过滤 (干掉一批用户不感兴趣的东西) 依据过去浏览的东西(可以把当前浏览作为实时的属性传到工程系统中消费) 业务要求...原创 2021-01-22 04:32:56 · 202 阅读 · 1 评论 -
day1 - 推荐系统碎碎念
三要素 item: 要推荐的货 user context 算法 机器学习 做推荐,一个基本点,货找人 label = model(item, user, context) -- 3个input label是指什么? --业务上的指标:可以是点击、收藏、加购、评分等 例如:对于点击指标-- label 是预估出当前item被user点击的概率 针对user我们可以设计哪些特征 兴趣,历史点击浏览行为,用户的标签,用户自身的属性 针对item我们可以设计哪些特...原创 2021-01-21 04:01:39 · 139 阅读 · 0 评论 -
Deep Interest Evolution Network for Click-Through Rate Prediction 阅读笔记
摘要点击率(Click-through rate,CTR)预测是广告系统的核心任务之一,其目标是估计用户点击的概率。对于CTR预测模型,需要捕获用户行为数据背后潜在的用户兴趣。此外,考虑到外部环境和内部认知的变化,用户兴趣会随着时间的推移而动态变化。兴趣建模的CTR预测方法有多种,但大多是将行为的表征直接视为兴趣,缺乏对具体行为背后潜在兴趣的专门建模。此外,很少有研究考虑到兴趣的变化趋势。在本文中,我们提出了一个新的模型,称为深兴趣演化网络(DIEN),用于CTR预测。具体地说,我们设计了兴...原创 2021-01-18 13:32:44 · 525 阅读 · 0 评论 -
改善深层神经网络-吴恩达学习笔记
一、正则化损失函数梯度非正则化部分反向传播的梯度(from backprop)+简单来说,添加了正则项后,损失函数计算梯度下降时就要同时满足原损失函数和正则项的权重同时等于0,压缩了解的空间,即对权重w的可能的取值做了限制。权重衰减weight decay,并不是一个规范的定义,而只是俗称而已,可以理解为削减/惩罚权重。在大多数情况下weight dacay 可以等价为L2正则化。L2正则化的作用就在于削减权重,降低模型过拟合,其行为即直接导致每轮迭代过程中的权重weight...原创 2020-12-15 13:24:33 · 159 阅读 · 1 评论 -
浅(深)层神经网络-吴恩达学习笔记
神经网络概览逻辑回归可以看成只有一个神经元的神经网络,浅层神经网络就是由多个神经元堆叠而成的。下图,浅层神经网络的神经元也是类似逻辑回归中的单元,计算z、a。一些标记的约定:[1]右上角方括号里面的数字表示第几层(输入层是1)...原创 2020-12-11 13:33:55 · 370 阅读 · 0 评论 -
优化算法-附各优化算法波士顿房价demo
i原创 2020-04-29 00:40:27 · 529 阅读 · 0 评论 -
深层神经网络-吴恩达神经网络和深度学习学习笔记
1 L2正则化 L2正则化又被称作权重衰减,因为相当于在为正则化的基础上将之前的先衰减倍。正则化为啥能降低过拟合?正则化会使一部分参数接近于0,相当于降低了一些隐藏层单元的影响,相对是模型变得简单 因为神经网络使用了非线性激活函数,但是当w比较小时,z通常也会比较小,对有些激活函数来说会相对集中在近线性区,例如tanh中红线部分,会使模型相对简单。 2 ...原创 2020-04-28 23:57:41 · 240 阅读 · 0 评论 -
浅(深)层神经网络-吴恩达学习笔记
1 神经网络概览2 神经网络表示其中g是激活函数,,是用来与l-1的输出当作l层的输入做矩阵乘法得到l层的值,的形状是(l层单元数,l-1层单元数),的形状是(l层单元数,1),故...原创 2020-04-28 00:34:50 · 190 阅读 · 0 评论 -
浪潮之巅-深度学习在推荐系统中的应用(深度学习推荐系统学习笔记)
1 深度学习推荐模型的演化关系图原创 2020-04-24 14:51:41 · 1174 阅读 · 0 评论 -
神经网络基础——吴恩达学习笔记
一些记号训练集:,其中将m个样本按列堆叠,其中每1列是一个样本,。logistic回归原创 2020-04-21 21:37:23 · 215 阅读 · 0 评论