深度学习
文章平均质量分 68
MusicDancing
这个作者很懒,什么都没留下…
展开
-
优化算法的一些知识
1122原创 2023-12-06 16:25:57 · 448 阅读 · 0 评论 -
编码器-解码器(seq-seq)
1122原创 2023-12-04 18:13:04 · 409 阅读 · 0 评论 -
词嵌入Word Embedding
1122原创 2023-11-30 20:26:09 · 624 阅读 · 0 评论 -
循环神经网络RNN及其变体LSTM、GRU
1122原创 2023-11-29 18:00:09 · 2576 阅读 · 1 评论 -
全卷积网络FCN简介
1122原创 2023-11-24 14:30:26 · 376 阅读 · 0 评论 -
多GPU训练
1122原创 2023-11-20 11:33:30 · 47 阅读 · 0 评论 -
神奇的WaveNet
1122原创 2023-11-17 11:44:25 · 303 阅读 · 0 评论 -
批量归一化
1122原创 2023-11-14 16:57:23 · 119 阅读 · 0 评论 -
GAN初识
111原创 2023-09-15 15:49:21 · 303 阅读 · 0 评论 -
图片生成--扰动旋转噪声
针对标准的CIFAR10 训练集,通过旋转、比例调整、水平/垂直翻转、缩放、信道交换等多种类型的转换来增加图形(生成更多的图片)。这也是针对训练图片数据不足的情况下提升模型性能的一个方法。原创 2023-04-21 18:39:00 · 157 阅读 · 1 评论 -
VGG网络与中间层特征提取
111原创 2023-04-20 16:13:03 · 1204 阅读 · 0 评论 -
LeNet网络简介
CIFAR-10是一个包含了6W张32*32像素的三通道彩色图像数据集,图像划分为10大类,每个类别包含了6K张图像。其中训练集5W张,测试集1W张。# 将类向量转换成二值类别矩阵model.summary() # 概要汇总网络。原创 2023-04-20 11:02:08 · 303 阅读 · 0 评论 -
深度卷积神经网络DCNN简介
卷积神经网络CNN(Convolutional Neural Network,又称ConvNet),因此可以更好地用于图像分类。原创 2023-04-17 10:58:04 · 607 阅读 · 0 评论 -
XGBoost+FFM级联模型实现
1. FFM模型构建训练样本的原始特征,以及xgb对训练样本的预测结果(样本在每棵树上的结果,作为一维特征),作为FFM模型的输入。2. FFM训练样本生成input:原始特征,xgb对训练样本在每棵树上的预测结果;output:含有field格式的ffm训练样本。原始特征处理:将之前已离散化处理的连续特征和xgb特征进行统一编码,转化为field_id:feature_id:value)格式。...原创 2022-01-28 09:50:45 · 1819 阅读 · 0 评论 -
DeepFM实践
参考:DeepFM在贝壳房源详情页推荐场景的实践1. DeepFM 模型简介W&D 是一个 Wide 侧使用 LR,Deep 侧使用 DNN 的联合学习模型,但在 Wide 侧 LR 一般需要大量的特征工程工作。华为的诺亚方舟实验室提出的 DeepFM 则使用 FM[3] 替换 W&D 模型中 Wide 部分的 LR,以实现 Wide 的自动特征交叉,降低人工特征工程的工作。左侧是一个 FM 结构,右侧是一个 DNN 结构。DeepFM 的预测公式因此为:2. FM原创 2022-01-20 23:38:29 · 278 阅读 · 0 评论 -
W&D实践应用
参考:wide&deep 在贝壳推荐场景的实践本文为“wide & deep 模型在贝壳首页二手房推荐场景中的实践”阅读笔记。无论在哪个推荐领域,推荐系统面临的一个共同挑战是如何同时满足推荐结果的准确性和多样性。准确性要求推荐的内容与用户高度相关,推的精准;多样性则要求推荐内容更加新颖,让用户具有新鲜感。设计合理的推荐策略,兼顾内容准确性和多样性,提升线上推荐效果,一直是我们算法同学的工作重点。1. wide & deep 模型概述 目前W&D模...原创 2022-01-20 16:15:00 · 163 阅读 · 0 评论 -
LightGBM原理简介
1. LightGBM的优点参考:LightGBM模型的特点和优点1.1 使用直方图的方式 对于每个特征的所有候选分割点按照其范围分成N个箱子,累加箱子内的梯度提升值,对于箱子里的每个候选分割点都计算带来的梯度增益,对于每个箱子分别保存其累计梯度、箱子内的样本数量。之后再分裂节点时直接对直方图遍历进行分割点的候选即可,通过直方图的方式,虽然分割的精度变差了,但是对最后的结果影响不大,一方面能够提升计算效率,另一方面这种较粗的分割点可以起到一种正则化的效果。 之后进...原创 2022-01-18 09:11:27 · 4298 阅读 · 0 评论 -
Wide&Deep简介
1.LR&FMLR属于Memorization比较强的model,主要记忆每个特征的历史点击率,在Generalization 上有很大的缺陷,需要大量的人工特征工程来提高泛化能力。另外,这种线性模型特征与特征之间在模型中是独立的,无法学到在训练集中未出现过的交叉信息。因此,在第二阶段我们切换到了FM(Factorization Machines),该模型可以在很少特征工程的情况下通过学习特征的embedding 表示来学习训练集中从未见过的组合特征,FM 模型公式:虽然理.原创 2021-03-17 16:50:05 · 4395 阅读 · 0 评论 -
Wide&Deep简介(二)
1. 核心思想W&D的核心思想是结合线性模型的记忆能力(memorization)和DNN模型的泛化能力(generalization),在训练过程中同时优化2个模型的参数,从而达到整体模型的预测能力最优。1. wide端对应的是线性模型,输入特征可以是连续特征,也可以是稀疏的离散特征,离散特征之间进行交叉后可以构成更高维的离散特征。线性模型训练中通过L1正则化,能够很快收敛到有效的特征组合中。2. deep端对应的是DNN模型,每个特征对应一个低维的实数向量(即特征的embeddin原创 2022-01-17 19:47:10 · 2703 阅读 · 0 评论 -
形变分析模型
参考美团的一篇类似文章。1. 形变分析 对时间序列两次处理归一形成形变量集合,通过形变量计算不同等级告警阈值。2. 模型适用范围 有规律(有周期、有趋势)的时间序列,可以使用傅立叶变换确定曲线的短周期。1. 归一化互相关公式:相似度越高说明曲线形状越相似。也可用余弦相似性;2. 形变量计算公式。...原创 2022-01-15 09:34:23 · 459 阅读 · 0 评论 -
为什么要引入Attention机制?
Attention mechanism在序列学习任务上具有巨大的提升作用,在编解码器框架内,通过在编码段加入Attention模型,对源数据序列进行数据加权变换,或者在解码端引入Attention 模型,对目标数据进行加权变化,可以有效提高序列对序列的自然方式下的系统表现。Attention的种类:空间注意力 Spatial Attention时间注意力 Temporal Attention这样的分类更多的是从应用层面上,而从 Attention的作用方法上,可以将其分为 Soft Att..原创 2022-01-11 15:44:25 · 2266 阅读 · 0 评论 -
时序数据的FE
时间序列预测常见方法:1. 传统的时序预测方法:ARIMA和指数平滑法等;2. 基于机器学习的方法:lightgbm和xgboost;3. 基于深度学习的方法:RNN、LSTM等。 虽然基于机器学习和深度学习方法的预测精度比较高,但依赖于特征工程,特征调的好的话是可以达到很高的预测精度的。一个典型的时间序列数据,会包含以下几列:时间戳,时序值,序列的属性变量,如下图,日期就是时间戳,销量就是时序值,序列的属性变量包括城市、产品、价格等。因此,时间序列的特征工程也大...原创 2021-09-22 19:12:00 · 190 阅读 · 0 评论