![](https://img-blog.csdnimg.cn/9f99a02a0ec04d87aa72fd4535f69104.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习
文章平均质量分 91
基于 Tensorflow + Keras,主要内容为 Tesnsorflow 基础知识与 CTR 推荐常用算法知识。
BIT_666
天道酬勤,厚积薄发
展开
-
Python 机器学习/深度学习/算法专栏/LLM - 导读目录
机器学习、深度学习、LLM、数据结构算法专栏目录与整理,方便查找与阅读。原创 2023-03-02 12:04:00 · 1576 阅读 · 6 评论 -
LLM - Transformer && Multi-Head Attention 维度变化与源码详解
Transformer && Multi-Head Attention 维度变化与源码详解。原创 2024-02-21 08:00:00 · 1404 阅读 · 4 评论 -
LLM - Transformer 的 Q/K/V 详解
Transformer 中 Self-Attention、Multi-Head-Attention 原理与实践。原创 2024-01-27 09:42:19 · 1399 阅读 · 2 评论 -
Python - PhotoMaker 初体验 - 快来 DIY 你的图像
Python PhotoMaker DIY 自定义图像。原创 2024-01-18 09:30:00 · 3028 阅读 · 0 评论 -
Python - 搭建 Flask 服务实现图像、视频修复需求
搭建 Flask 服务使用 Real-ESRGAN 修复图像、视频。原创 2023-12-11 14:51:56 · 1018 阅读 · 0 评论 -
Python - Real-ESRGAN 提高 gif 图像质量
使用 Real-ESRGAN 修复 GIF 图像。原创 2023-12-07 10:02:24 · 371 阅读 · 0 评论 -
Python - Real-ESRGAN 提升图像、视频清晰度 - 最高可达 4 K
Real-ESRGAN 提升图像、视频清晰度。原创 2023-11-29 16:30:52 · 8150 阅读 · 31 评论 -
Python - Wave2lip 环境配置与 Wave2lip x GFP-GAN 实战 [超详细!]
Wave2lip 环境搭建与 Wave2lip x GFP-GAN 实战案例。原创 2023-11-21 08:00:00 · 3319 阅读 · 6 评论 -
Python - GFPGAN + MoviePy 提高人物视频画质
利用 moviepy + gfp-gan 优化 gif 人物图像质量。原创 2023-11-13 08:00:00 · 1065 阅读 · 0 评论 -
Python - 利用 OCR 技术提取视频台词、字幕
使用 MoviePy 与 PaddleOCR 实现视频字符识别与处理。原创 2023-11-09 14:34:28 · 5407 阅读 · 11 评论 -
Python - 面向现实世界的人脸复原 GFP-GAN 简介与使用
GFP-GAN - 用于真实世界人脸恢复的实用算法。原创 2023-11-07 15:48:22 · 5735 阅读 · 15 评论 -
深度学习 - 53.Bert 简介与 Keras-Bert 常用示例
Bert 简介与 Keras-Bert 常用 Demo 展示。原创 2023-06-01 17:24:16 · 1304 阅读 · 1 评论 -
深度学习 - 52.推荐场景的多样性与 MMR [Maximal Marginal Relevance] 简介与 Python 实现
MMR 最大边界相关算法与多样性简介与实现。原创 2023-05-31 14:23:33 · 1801 阅读 · 0 评论 -
深度学习 - 51.推荐场景下的 Attention And Multi-Head Attention 简单实现 By Keras
推荐场景下 Attention 与 Multi-Attention Layer 简单实现 By Keras。原创 2023-05-25 08:00:00 · 1174 阅读 · 0 评论 -
深度学习 - 50.推荐场景下的 Attention And Multi-Head Attention
Attention、Multi-Attention 注意力与多头注意力简单理解。原创 2023-05-23 08:00:00 · 540 阅读 · 0 评论 -
深度学习 - 49.SIM 搜索兴趣网络 GSU 与 Soft Search 简单实现 By Keras
SIM 搜索兴趣网络 GSU 通用搜索模块与 Soft Search 软搜索 Kears 实现。原创 2023-05-18 08:00:00 · 906 阅读 · 0 评论 -
深度学习 - 48.SIM Search-based Interest Model 搜索兴趣网络
Alibaba 序列模型 SIM Search-based Interest Model 搜索兴趣网络论文注解。原创 2023-05-16 08:00:00 · 1005 阅读 · 0 评论 -
深度学习 - 47.DIN 深度兴趣网络保姆级实现 By Keras
DIN 深度兴趣网络与 Dice 激活函数 Keras 实现。原创 2023-05-11 08:00:00 · 1009 阅读 · 0 评论 -
深度学习 - 46.DIN 深度兴趣网络
Alibaba Attention 序列模型 DIN 之 Deep Interest Nerwork。原创 2023-05-09 08:00:00 · 1285 阅读 · 0 评论 -
深度学习 - 45.MMOE && Gate 简单实现 By Keras
Keras 实现 Multi-gate Mixture-of-Experts [MMoE] 简易结构。原创 2023-04-27 10:53:34 · 1473 阅读 · 0 评论 -
深度学习 - 44.MMOE 与 Gate 之多目标学习
Google 多任务学习模型 Multi-gate Mixture-of-Experts。原创 2023-04-26 14:41:52 · 1226 阅读 · 0 评论 -
深度学习 - 43.SeNET、Bilinear Interaction 实现特征交叉 By Keras
kears 实现 FiBiNet 论文中的 SENET Layer 与 Bilinear Interaction Layer。原创 2023-04-25 08:00:00 · 896 阅读 · 0 评论 -
深度学习 - 42.特征交叉与 SENET、Bilinear Interaction 与 FiBiNet
新的特征重要性和双线性特征交叉网络 FiBiNet 模型论文笔记。原创 2023-04-24 10:41:49 · 1345 阅读 · 0 评论 -
深度学习 - 41.Word2vec、EGES 负采样实现 By Keras
Word2vec、EGES 负采样实现 By Keras。原创 2023-04-21 12:04:46 · 1471 阅读 · 0 评论 -
深度学习 - 40. N-Gram 采样与 Session 数据获取 For EGES
Tensorflow N-Gram 采样与 Session 数据获取 For EGES。原创 2023-04-19 17:43:44 · 1145 阅读 · 1 评论 -
深度学习 - 39. EGES 与推荐系统用户冷启动
阿里巴巴百亿级商品 Embedding 电子商务推荐之 EGES 算法。原创 2023-04-10 08:00:00 · 913 阅读 · 1 评论 -
Python - Huffman Tree 霍夫曼树实现与应用
Python - Huffman Tree 霍夫曼树实现与应用。原创 2023-04-01 14:00:28 · 1525 阅读 · 1 评论 -
深度学习 - 38.Gensim Word2Vec 实践
Python Gensim 库之word2vec 理论与实战。原创 2023-03-30 11:18:37 · 4583 阅读 · 10 评论 -
深度学习 - 37.TF x Keras Deep & Cross Network DCN 实现
DCN Deep Cross Network 模型结构分析与实现。原创 2023-03-03 17:05:32 · 1030 阅读 · 0 评论 -
深度学习 - 5.TF x Keras 编写回调函数
一.回调函数概述1.回调函数的功能回调是一种强大的工具,可以在训练,评估或推理期间自定义Keras模型的行为。我们可以在不同时期实现不同功能的回调函数,例如每次训练的开始或结束,每轮epoch的开始或结束,每一批batch的开始或结束等,并实现以下行为:1.在训练过程中的不同时间点进行验证(除了内置的按时间段验证)2.定期或在超过特定精度阈值时对模型进行检查3.当训练似乎停滞不前时,更改模型的学习率4.当训练似乎停滞不前时,对顶层进行微调5.在训练结束或超出特定性能阈值时发送电子邮件或即原创 2020-10-09 17:24:49 · 1386 阅读 · 6 评论 -
深度学习 - 36.TF x Keras TF 常用矩阵计算方法大全
tf 常用矩阵计算方法,包括 multiply、matmul、tensordot、dot、batch_dot 与 einsum原创 2023-03-01 10:54:07 · 796 阅读 · 10 评论 -
深度学习 - 35.TF x Keras FM、WideAndDeep、DeepFM、DeepFwFM、DeepFmFM 理论与实战
CTR 推荐场景下常用推荐算法 FM、DeepFM、FwFM、FmFM keras 实现。原创 2023-02-24 17:28:00 · 1493 阅读 · 12 评论 -
深度学习 - 34.GraphEmbedding Line 图文详解
一.引言前面介绍了 DeepWalk,Node2vec,通过不同游走方法获取游走序列,然后通过 word2vec 进行 embedding 训练, 在 word2vec 训练中,所有向量共用了同一个 embedding 空间即同一个 Variable,Line 提出了一阶和二阶相似度的概念,从而丰富了 embedding 空间。二.Line 算法1.Line 简介如上是一个信息网络的例子,在上例中 6 和 7 存在直连关系,可以判定为有较强联系,按照传统方法, 5 和 6 没有相连一原创 2021-09-13 13:27:15 · 1156 阅读 · 0 评论 -
深度学习 - 32.GraphEmbedding Alias 采样图文详解
一.引言Alias Sample 即别名采样应用于离散采样,假设有一个随机事件包含 N 中情况,每种情况发生的概率为 P1,P2,...Pn 且其和为1,我们希望采样得到的事件能够符合随机事件的原始概率分布,这时候就需要 Alias 采样, Alias 是一个通过空间复杂度换取时间复杂度的算法,构造采样表的复杂度为 O(n),而采样的复杂度为 O(1)。在Graph Embedding 中,本质上节点用户对不同邻居节点的权重大多是不一致的,但之前提到的 DeepWalk 对用户的权重没有考虑或者默认节点原创 2021-08-23 17:50:04 · 1477 阅读 · 0 评论 -
深度学习 - 31.GraphEmbedding 向量降维与可视化
一.引言通过最基础的 DeepWalk 已经可以获取关注关系图中节点的 embedding,除了通过 embedding 计算内积获取两个节点的语义是否相近之外,还可以通过可视化的方式观测得到的 embedding。下面通过几种基本的降维方法获取降维后的向量与其对应的分布图,可以更好的分析和评估 embedding 质量。Tips:CSDN-BITDDD要降维的向量可以使用自己提前准备好的高维向量,也可以结合上一节DeepWalk生成的随机向量进行测试。上图为 DeepWal...原创 2021-08-19 19:08:28 · 4182 阅读 · 6 评论 -
深度学习 - 30.GraphEmbedding DeepWalk 图文详解
一.引言上一篇文章讲到了如何使用networkx 获取图,通过networkx 获得的图我们可以通过获取节点的邻居开始随机游走,从而获得游走序列,进而结合 word2vec 进行节点向量化操作。二.DeepWalk 原理1.获得关注关系图通过节点之间的关系生成图,在DeepWalk算法中,各个节点之间的权重默认为1。2.在图中游走获取序列DeepWalk 涉及到的随机游走是一种可重复访问已访问节点的深度优先遍历(DFS)算法。给定起始节点,从该节点的邻居中随机选取访问..原创 2021-08-18 19:34:58 · 3436 阅读 · 4 评论 -
深度学习 - 29.GraphEmbedding networks 获取图结构
一.引言GraphEmbedding 基于各种图结构获取游走序列,通过游走序列 + word2vec 模型,获取图中节点的 embedding,本文主要聚焦于如何生成 Graph 以及 Graph 的相关操作。主要使用了 python 的 networkx 库,可以 pip install 提前安装。import networkx as nx二.生成图1.构造图生成图主要有 nx.DiGraph 有向图和 nx.Graph 无向图两种,除了图的不同外,边可以区分为有权重和无权重,下原创 2021-08-17 16:57:06 · 2525 阅读 · 3 评论 -
深度学习 - 28.TF x Keras 训练中出现 Nan 值
一.引言使用 mean-std 归一化数值型 Tensor 时,出现 Nan 值,导致训练时出现 Nan Loss:CSDN-BITDDD通过下面几种方法简单处理下 Nan 值。二.情景再现出现 Nan 值是因为归一化时原始 Tensor 为全0导致 variance 为 0,从而 x - mean / std 得到 Nan # 初始化全0 Tensor tensor = tf.constant(np.zeros(shape=(5, 3)), dtype..原创 2021-08-20 17:33:37 · 3234 阅读 · 0 评论 -
深度学习 - 27.TF DataSet 使用与优化
一.引言上一篇文章Tensorflow - 一文搞懂 TF2.x tf.feature_column讲到了 tensorflow 如何构建特征工程,本文继续反向探索,构造特征工程之前需要处理源数据构造原始样本,下面主要介绍 DataSet 的使用与优化技巧。二.基础使用这里以 tf.data.TextLineDataset 生成 DataSet 为例。最基本的处理方法:1.读取对应文件夹文件 file_names = "./tr" field_size = 100..原创 2021-08-05 18:03:38 · 1931 阅读 · 0 评论 -
深度学习 - 26.TF TF2.x tf.feature_column 详解
一.引言上一篇文章Tensorflow - TF1.x VS TF2.x tf.feature_column介绍了 feature_column 在 TF1.x 与 TF 2.x 在使用上的区别,这里介绍一下 feature_column 中用到的特征列以及对应方法。二.feature_column 整体介绍1.整体关系feature_column 模块中包含下述9个函数,除 buketized_column 函数外,其他函数只能返回 Categorical Column 或 D....原创 2021-07-30 10:47:32 · 2113 阅读 · 6 评论