珍妮的选择-CSDN博客

原创当大语言模型遇上扩散模型（一、简要介绍）

本系列文章对近期学习的大语言模型（LLM）和扩散模型（Diffusion Model）的相关内容进行简要总结，作为该系列文章的开篇，主要谈谈近期学习的感受和心得。

2023-04-16 22:01:18 1626 1

原创 Alpaca-cpp（羊驼-cpp）: 可以本地运行的 Alpaca 大语言模型

本文简要介绍 Alpaca-cpp，可以使用本地电脑 CPU 流畅运行大语言模型 Alpaca/LLaMA 的 C++/C 框架。

2023-03-23 21:10:35 5007 1

原创 Stable Diffusion 原理介绍与源码分析（二、DDPM、DDIM、PLMS算法分析）

本文对 Stable Diffusion 主要使用的如 DDPM、DDIM、PLMS 等算法进行分析，详解其代码实现。

2023-03-19 23:31:06 7309 3

原创 Stanford Alpaca (羊驼)：ChatGPT 学术版开源实现

最近 ChatGPT 大热，让人惊叹其强大的对话、上下文理解、代码生成等等能力，3 月 15 日 OpenAI 又放出了能实现图像理解的多模态大模型 GPT-4，直让人感觉通用人工智能（AGI）仿佛离自己不远了。本文对其学术版开源实现进行简要介绍。

2023-03-16 03:09:29 3281 1

原创 Stable Diffusion 原理介绍与源码分析（一）

本文以 “文本生成图像（text to image）” 为主线，考察 Stable Diffusion 的运行流程以及各个重要的组成模块，在介绍时采用 “总-分” 的形式，先概括整体框架，再分析各个组件（如 DDPM、DDIM 等），另外针对代码中的部分非主流逻辑，比如 `predict_cids`、`return_ids` 这些小细节谈谈我的看法。

2023-03-12 13:30:19 19040 9

原创扩散模型 (Diffusion Model) 简要介绍与源码分析

Diffusion Model (扩散模型) 是一类生成模型, 和 VAE (Variational Autoencoder, 变分自动编码器), GAN (Generative Adversarial Network, 生成对抗网络) 等生成网络不同的是, 扩散模型在前向阶段对图像逐步施加噪声, 直至图像被破坏变成完全的高斯噪声, 然后在逆向阶段学习从高斯噪声还原为原始图像的过程.

2022-10-23 19:46:16 19046 11

原创 Tensorflow 模型保存、节点修改以及Serving 图优化

本文介绍 Tensorflow 模型部分保存方式, 主要包含 `checkpoint` 格式、`frozen_graph` 格式(`SavedModel` 格式暂略), 通过代码实例了解模型的保存方式, Serving 图的优化以及对 Serving 图中的节点进行修改更新.

2022-08-14 13:33:11 1298

本文通过对一定数量的动态规划问题的分析, 试图找寻求解这类问题的 "规律". 在行文上, 尽量对能使用同一方法解决的问题进行聚类, 然后逐题进行思路分析与解答. 这样的好处是, 当介绍完一种思路后, 可以尝试用该思路去解决相似的问题, 以验证自己的掌握情况.文章不介绍基础的动态规划概念(标题中所谓的 "从 1 开始"), 比如 "重叠子问题"、"最优子结构" 以及 "状态转移方程" 等, 开始选的题目都不难, 可以在做题时可以深刻体会这些概念.............

2022-07-31 00:59:52 358

原创 GAT 算法原理介绍与源码分析

GAT 算法原理介绍与源码分析文章目录GAT 算法原理介绍与源码分析零. 前言 (与正文无关, 请忽略)广而告之一. 文章信息二. 核心观点三. 核心观点解读四. 源码分析4.1 Graph Attention LayerTODO4.2 GAT 网络五. 总结零. 前言 (与正文无关, 请忽略)没有感想…广而告之可以在微信中搜索 “珍妮的算法之路” 或者 “world4458” 关注我的微信公众号；另外可以看看知乎专栏 PoorMemory-机器学习, 以后文章也会发在知乎专栏中. CSDN 上的

2021-10-30 08:36:01 3674 1

原创 DMIN 模型介绍与源码分析

DMIN 模型介绍与源码分析四. 源码分析DMIN 模型定义在 https://github.com/mengxiaozhibo/DMIN/blob/master/code/model.py 文件中, 类名为 Model_DNN_Multi_Head.Behavior Refiner Layer采用 Multi-Head Self-Attention 完成对用户兴趣的初步提取:maxlen = 20other_embedding_size = 2## 生成 Position Embedding

2021-10-28 09:15:36 1154

原创 DMR (Deep Match to Rank) 网络介绍与源码浅析

DMR (Deep Match to Rank) 网络介绍与源码浅析文章目录DMR (Deep Match to Rank) 网络介绍与源码浅析零. 前言 (与正文无关, 请忽略)广而告之一. 文章信息核心观点核心观点解读User-to-Item 子网络Item-to-Item 子网络源码分析Position Embedding 的生成User-to-Item 网络Item-to-Item 网络MLP 网络总结零. 前言 (与正文无关, 请忽略)晚上(2021-10-13)参加了一个会议, 体验了啥叫

2021-10-15 09:29:46 1080

原创 Graph Neural Network 综述介绍

Graph Neural Network 综述介绍文章目录Graph Neural Network 综述介绍零. 前言一. 文章信息二. 开源算法三. ConvGNN 算法零. 前言看到一篇综述《A Comprehensive Survey on Graph Neural Networks》, 文章对 GNN 做了详细的分类和总结, 还特地汇总了开源的 GNN 算法. 这里把算法记录一下, 后面可以慢慢学习.一. 文章信息论文标题: A Comprehensive Survey on Grap

2021-10-12 18:06:40 304

原创 GraphSage 算法原理介绍与源码浅析

GraphSage 算法原理介绍与源码浅析前言最近在做 Graph 相关的工作, 两年前做过一段时间, 想不到兜兜转转又回到最初的起点~???????????? 工作继续稳步推进, 同时打算复习下基础算法. 论文也忒多了, 一段时间没看, 已经跟不上了 ????????????这里插句题外话, 之前我写的一些博客, 代码分析的太过细节了, 我自己平时翻看的时候, 都会直接将琐碎的东西给略过. 从这一行为可以看出, 之前博客中记录了太多冗余的内容, 不仅在记录时浪费了时间, 更给后续查阅带来了一些阻碍.

2021-10-02 15:20:41 3830 3

原创 746. Min Cost Climbing Stairs* (使用最小花费爬楼梯)

746. Min Cost Climbing Stairs* (使用最小花费爬楼梯)https://leetcode.com/problems/min-cost-climbing-stairs/题目描述You are given an integer array cost where cost[i] is the cost of ith step on a staircase. Once you pay the cost, you can either climb one or two steps.

2021-06-18 10:34:15 225 2

原创 461. Hamming Distance*(汉明距离)

461. Hamming Distance*(汉明距离)https://leetcode.com/problems/hamming-distance/题目描述The Hamming distance between two integers is the number of positions at which the corresponding bits are different.Given two integers x and y, return the Hamming distance be

2021-04-22 21:33:14 356

原创 200. Number of Islands**(岛屿数量)

200. Number of Islands**(岛屿数量)https://leetcode.com/problems/number-of-islands/题目描述Given an m x n 2D binary grid grid which represents a map of '1's (land) and '0's (water), return the number of islands.An island is surrounded by water and is formed by

2021-04-22 09:21:12 278

原创 152. Maximum Product Subarray**(乘积最大子数组)

152. Maximum Product Subarray**(乘积最大子数组)https://leetcode.com/problems/maximum-product-subarray/题目描述Given an integer array nums, find a contiguous non-empty subarray within the array that has the largest product, and return the product.It is guaranteed

2021-04-22 00:44:44 239

原创 796. Rotate String* (旋转字符串)

796. Rotate String* (旋转字符串)https://leetcode.com/problems/rotate-string/题目描述We are given two strings, A and B.A shift on A consists of taking string A and moving the leftmost character to the rightmost position. For example, if A = 'abcde', then it will

2021-03-21 22:52:42 277

原创 300. **Longest Increasing Subsequence (最长递增子序列)

300. **Longest Increasing Subsequence (最长递增子序列)https://leetcode.com/problems/longest-increasing-subsequence/description/题目描述Given an integer array nums, return the length of the longest strictly increasing subsequence.A subsequence is a sequence that c

2021-03-05 00:31:21 261 1

原创 64. Minimum Path Sum**(最小路径和)

64. Minimum Path Sum** (最小路径和)https://leetcode.com/problems/minimum-path-sum/题目描述Given a m x n grid filled with non-negative numbers, find a path from top left to bottom right which minimizes the sum of all numbers along its path.Note: You can only mov

2021-03-04 00:47:15 285 2

原创 53. Maximum Subarray*(最大子序和)

53. Maximum Subarray* (最大子序和)https://leetcode.com/problems/maximum-subarray/题目描述Given an integer array nums, find the contiguous subarray (containing at least one number) which has the largest sum and return its sum.Example 1:Input: nums = [-2,1,-3,4,

2021-03-04 00:00:44 201 2

原创 MMOE 多任务学习模型介绍与源码浅析

MMOE 多任务学习模型介绍与源码浅析前言 (与正文无关, 请忽略~)后续打算写 DMT, 先介绍一些基础模块.文章信息论文标题: Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts论文地址: https://www.kdd.org/kdd2018/accepted-papers/view/modeling-task-relationships-in-multi-task-le

2021-01-29 08:44:59 3331

原创 DeepMCP 网络介绍与源码浅析

DeepMCP 网络介绍与源码浅析前言 (与正文无关, 请忽略~)又有一段时间没写博客了, DIEN 写了一部分, 在草稿箱内躺着, DMT 看完了代码, 在想啥时候写… 一直拖着是因为早上真的不愿起床了 ????文章信息论文标题: Representation Learning-Assisted Click-Through Rate Prediction论文地址: https://www.ijcai.org/Proceedings/2019/0634.pdf代码地址: https://git

2021-01-28 09:04:36 515 2

原创 DSIN 深度 Session 兴趣网络介绍及源码剖析

DSIN 深度 Session 兴趣网络介绍以及源码剖析前言（可以忽略~)本文介绍 DSIN 网络的基本原理，并对源码进行详细分析，从数据预处理，训练数据生成，模型构建等方面对 DSIN 的完整实现进行详细介绍。(PS：好久好久没有写文章了，罪过罪过，这段时间发生了太多的事情，似梦如幻，2020 年结尾钟声快要敲响之际，平静终于回归了我的内心，过去的事情不再留恋，2021 年开启新的征程。“星空”我望过了，还差的就是脚踏实地。祝新的一年身体健康，万事如意！）文章信息论文标题: Deep Sess

2021-01-07 08:32:48 1610 12

原创开通知乎专栏和公众号啦！

开通知乎专栏和公众号啦！可以在微信中搜索 “珍妮的算法之路” 或者 “world4458” 关注我的微信公众号；另外可以看看知乎专栏 PoorMemory-机器学习, 以后文章也会发在知乎专栏中；最近堕落了，以后会坚持吸取养分并总结的????...

2020-12-20 17:21:07 623

原创 TFNet: Multi-Semantic Feature Interaction for CTR Prediction 论文简读

TFNet: Multi-Semantic Feature Interaction for CTR Prediction 论文简读TFNet文章信息文章标题: TFNet: Multi-Semantic Feature Interaction for CTR Prediction发表时间: Tencent, SIGIR 2020主要内容本文介绍了 Tensor-based Feature interaction Network (TFNet) 模型, 它引入了一个 operating ten

2020-10-28 07:23:29 1164

原创 InteractionNN 论文简读

InteractionNN 论文简读前言 (与主题无关, 可以忽略~)准备在博客新开一个目录, 名为 “论文阅读”, 讨论那些粗读的论文, 证明我曾经读过… ???? ???? ????文章信息文章标题: InteractionNN: A Neural Network for Learning Hidden Features in Sparse Prediction主要内容介绍了 InteractionNN 网络:由三个部分组成:Embedding LayerNonlinear I

2020-10-14 23:06:28 227

原创 FuxiCTR 介绍 -- CTR 预估任务中的 Open Benchmark

FuxiCTR 介绍 – CTR 预估任务中的 Open Benchmark前言 (与主题无关, 可忽略~)上班太用功了, 眼睛有点不舒服 … 今早终于 7 点醒了, 正常了一点, 平时 4 ~ 5 点醒简直可怕 ????推荐一个 Chrome 插件: Find Code for Research Papers - CatalyzeX, 可以主动搜索论文中的源代码; 相关介绍可以查看 Chrome 科研神器！去谷歌学术搜到文章，代码链接就能自动展示FuxiCTR文章信息论文标题: FuxiCT

2020-10-12 22:44:09 1959

原创 xDeepFM 网络介绍与源码浅析

xDeepFM 网络介绍与源码浅析前言 (与主题无关, 可以忽略)哈哈哈, 十月第一篇博客, 希望这个季度能更奋进一些~~~ 不想当咸鱼了… ????????????xDeepFM文章信息论文标题: xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems论文地址: https://arxiv.org/abs/1803.05170代码地址: https://github.com/

2020-10-11 22:51:19 1048

原创 FiBiNet 网络介绍与源码浅析

FiBiNet 网络介绍与源码浅析前言 (与主题无关, 可以忽略)我知道这有点不太厚道, 文章不写全就发出来, 但最近真的很忙, 同时给自己立了 9 月再写一篇博客的 Flag~ 可是这个月只写了一篇 ???????????? 今晚是 9 月 30 日, 月色很美 … (猜测的, 毕竟明日中秋和国庆一起过; 走路忘了抬头看看夜空, 忧桑~). 虽然下班较早, 但心事重重, 不到最后一刻不动笔. 因此现在先扯一点前言, 后续一定会以全副精力来完成 Flag! 我最近可是看了很多 paper 的, 可以乘着

2020-09-30 22:38:20 829

原创 AutoInt 网络介绍与源码浅析

AutoInt 网络介绍与源码浅析前言 (与正文无关可以忽略~)好几个星期没有写博客了, 表层原因是最近这段时间确实比较忙, 但深层原因是本质上放松了对自己的要求, 好在论文还是抽空看了几篇, 所以这里就做个简单的总结~ 另外提醒下自己, 写过的博客也应该经常查阅和复习呀, 现在琐事太多了, 记忆力明显不像原来那么有活力了, 即使是最近学习的内容, 也会将一些细节忘记…好吧, 我承认不止只忘一些细节 (核心原理都快忘了) ???????????? 所以啊, 记录下来至少能证明我曾经学过 ????????

2020-09-20 22:41:10 1053 2

原创 DeepFM 网络介绍与源码剖析

DeepFM 网络介绍与源码剖析前言好吧, 我承认, 本周末我的精力确实有些过剩; 如果写完这篇, 那么就肝完了 3 篇博客啦 (打广告: FNN 网络介绍与源码浅析与 NFM 网络介绍与源码浅析, 哈哈哈 ???? ???? ????; duang~~~. 另外, 主要原因是本周看的 Paper 也比较多, 希望能及时将相关感受想法记录下来, 后面回忆起来核心观点也会很快. ????DeepFM文章信息论文标题: DeepFM: A Factorization-Machine based N

2020-08-22 23:55:07 426 2

原创 NFM 网络介绍与源码浅析

NFM 网络介绍与源码浅析前言OK, 周末继续肝!!! 昨晚完成了 FNN 网络介绍与源码浅析NFM (Neural Factorization Machines)文章信息论文标题: Neural Factorization Machines for Sparse Predictive Analytics论文地址: https://arxiv.org/abs/1708.05027代码地址: https://github.com/hexiangnan/neural_factorization_

2020-08-22 10:46:29 752

原创 FNN 网络介绍与源码浅析

FNN 网络介绍与源码浅析前言周五晚上分享 paper !!! 感动自己一把~ ???? 感觉本周看的 Paper 还挺多的, 打算尽可能都做下记录, 方便日后查阅.文章信息论文标题: Deep Learning over Multi-field Categorical Data – A Case Study on User Response Prediction论文地址: https://arxiv.org/abs/1601.02376代码地址: https://github.com/wnz

2020-08-22 00:06:55 1370

原创 TensorFlow 中的 Loss 函数介绍

TensorFlow 中的 Loss 函数介绍前言TensorFlow 提供了很多计算 Loss 的 API, 很多时候容易忘记这些 API 的输入和输出的 Shape. 这里对经常用到的 API 做个记录, 并配上 API 的使用实例, 加深体会.softmax_cross_entropy_with_logitstf.nn.softmax_cross_entropy_with_logits 用于分类问题计算交叉熵, 输入分别是 labels 和 logits (logits 是神经网络的输出结果,

2020-08-17 23:41:03 975

原创 AFM 网络介绍与源码浅析

AFM 网络介绍与源码浅析前言分享一篇上上个星期看过的论文, 记录下重点吧~Attentional Factorization Machines (AFM)文章信息论文标题: Attentional Factorization Machines:Learning the Weight of Feature Interactions via Attention Networks论文地址: https://www.ijcai.org/Proceedings/2017/0435.pdf代码地址:

2020-08-15 16:59:16 582

原创 Product-based Neural Network (PNN) 介绍与源码浅析

Product-based Neural Network (PNN) 介绍与源码浅析前言继续介绍论文~ 本文初看的时候有些懵逼, 多看几次总算有些 Get 到了, 总结一下.Product-based Neural Network (PNN)文章信息论文标题: Deep Interest Network for Click-Through Rate Prediction论文地址: https://arxiv.org/abs/1611.00144代码地址: https://github.com/

2020-08-14 10:01:54 1001 1

原创 metapath2vec 异构网络表示学习

metapath2vec 异构网络表示学习前言周末立了个 Flag, 说要完成两篇博客的编写 (更精准的说法是至少两篇), 昨天完成了一篇 DIN 深度兴趣网络介绍以及源码浅析, 今天白天由于忙着买菜, 洗菜和做菜还有运动, 白天恍恍惚惚的过去了, 现在距离夜里 12 点还有 20 分钟左右, 水一篇~距离 12 点还有 10 分钟时突然想到 … 可以先写一点, 留个坑, 以后再填, 这样的话, 只需要新立一个小小的 Flag, 不仅能完成我这个周末的 Flag, 还可以督促我未来用功, 一举两得,

2020-08-09 23:51:46 1678 2

原创 DIN 深度兴趣网络介绍以及源码浅析

DIN 深度兴趣网络介绍以及源码浅析前言继续分析论文, 养成及时记录的好习惯; 周末立了写两篇博客的 Flag, 期望能够完成 … ???? ???? ????另外需要说明的是, 本篇文章并不打算详细的解读原文, 而是按照我的理解记录文章最核心的观点, 以及对相关代码进行解读, 最终的目标是以后我再翻看本文能够快速回忆起文章最重要的内容. OK, 下面开始分析.Deep Interest Network (深度兴趣网络, DIN)文章信息论文标题: Deep Interest Network f

2020-08-08 20:31:22 3055 10

原创 PySpark 使用过程中遇到的典型问题及处理办法

PySpark 使用过程中遇到的典型问题及处理办法前言不知道为啥, 现在写博客总得弄点前言, 观者无不叹息为何生命中宝贵的 20 秒钟要浪费在这无意义的前言上 ???????????? 好吧, 就是想水点文字, 今天是 7 月的最后一天, 距离零点还有 1 个小时左右, 我想抓住 7 月的尾巴, 再水篇博客, 在 7 月份完成两篇~ 原本是想分享论文的, 但还在酝酿当中. 思来想去, 最快达到目的的方法就是记录一些平时的笔记, 哈哈… 下面的内容考虑在 PySpark 使用过程中, 遇到的一些问题以及处

2020-07-31 23:34:59 2018

空空如也

空空如也