LiQZ的博客

曾经有个人给我说过，当年有个男的追她，天天给她发天气预报。但是女神不会看天气预报啊？或者她不会抬头望望天啊？于是秉持着舔到最后应有尽有，偷懒是人类进步的最大动力这两大原则，我为女神训练出了一个专属的衣服穿搭神经网络。整个项目已开源至github：https://github.com/Balding-Lee/PyTorch-MLP-for-personalized-dress-matching。目录1 数据获取2 数据处理3 模型定义与训练3.1 模型定义3.2 评价指标与损失函数3.3 训练模型3.

本文参考的是《动手学深度学习》(PyTorch版)，链接在下面。由于照着网站上的代码敲一遍自己印象也不是很深刻，所以我整理了该书本中的内容，整理了自己的思路梳理了一遍。希望该文章能够对初学者的你来说有所帮助。同时由于我也是第一次用torch写代码，可能会有许多疏漏，如果有错误，希望各位能够指正。目录0 代码目的1 数据集创建2 神经网络搭建流程3 从0搭建一个线性回归神经网络3.1 参数定义3.2 模块定义3.2.1 神经网络构建3.2.2 损失函数定义3.2.3 优化器定义3.3 模型训练3.3.1.

由于我没有读过原论文，该博客写的内容几乎来自于李宏毅老师的Transformer课程，链接在这里：《台大李宏毅21年机器学习课程 self-attention和transformer》。该博客用于梳理笔记，以便后面复习的时候使用。如果后面读了相关论文或者有了新的理解会进行更改补充。目录1 简介2 Encoder3 Decoder4 参考1 简介Transformer是一个Seq2seq(sequence to sequence)模型，其实质上是一个Encoder和Decoder的结合。其简略结构图.

由于我没有读过原论文，该博客写的内容几乎来自于李宏毅老师的self-attention课程，链接在这里：《台大李宏毅21年机器学习课程 self-attention和transformer》。该博客用于梳理笔记，以便后面复习的时候使用。如果后面读了相关论文或者有了新的理解会进行更改补充。目录1 self-attention的思想及框架2 self-attention工作流程3 Multi-head self-attension4 几个tricks5 参考1 self-attention的思想及框架.

本文的代码来自于《TensorFlow自然语言处理》(Natural Language Processing with TensorFlow)，作者是Thushan Ganegedara。对了宝贝儿们，卑微小李的公众号【野指针小李】已开通，期待与你一起探讨学术哟~摸摸大！目录0 前言1 数据准备2 定义超参数与常量3 定义输入的占位符4 定义权重与偏置的参数5 定义不同作用域中不同参数的作用6 定义损失函数与优化器7 定义预测8 运行神经网络8.1 准确率计算8.2 循环epoch8.2.1 训练样.

本文主要是我在学习GNN的时候补充的信号与系统的内容，暂且本文的内容够用，如果后续还有那就后面补充。我看这部分内容没有做数学推导，主要是考虑在应用层面的内容，最主要的在于理解这是个什么东西。当然由于学无止境，我难免会有些东西理解的错误或者没有写明白的部分，希望各位多多指教。对了宝贝儿们，卑微小李的公众号【野指针小李】已开通，期待与你一起探讨学术哟~摸摸大！目录1 时域与频域1.1 时域1.2 频域1.3 时域与频域可视化解释2 复变函数3 傅里叶变换3.1 傅里叶变换简洁理解3.2 傅里叶变换图.

其实我很不愿意写这篇文章的，主要是我代码没跑通！没跑通！没跑通！对于我一个多月没敲过代码后敲的第一份代码来说打击感巨大。但是想了想之前两篇文章都说了国庆要写一篇……然后我的完美主义犯了……代码没跑通其实真不是我的原因，因为书上代码是错的……一方面是书上用python2写的，我是python3环境，第二方面是代码中的公式错了……这个代码我用了3天时间，推了整整3页草稿纸，又向师兄请教了两天，最后发现，好像代码真的错了……嗯……开始正文前我还是放出我公式推导的草稿纸……这是其中一页，然后原谅我计算机.

本来说直接看BP算法的代码的，但是看书的时候又确实遇到了这两个东西，所以就先记上这么一个学习笔记。虽然这种纯数学的东西放在神经网络的学习笔记中好像也不太对，但是确实是学习神经网络的时候遇到的，所以就勉强记录在内。目录期望与算数平均数方差与均方误差期望与算数平均数无论是期望还是算数平均数，从大的概念来说都是求的一个均值，不过建立在的不同的基础上。我们来看一个样本数为100的样本集合{(x1,p1),(x2,p2),⋅⋅⋅,(x100,p100)}\{(x_1,p_1),(x_2,p_2),···.

结合上上两篇文章的叙述，这一篇文章主要讲解梯度的公式的推导，笔记来自于3B1B的视频，链接会放在最后。同样的，这一篇文章依旧没有代码。上篇文章中稍稍写漏了点东西，就是说在梯度下降过程中，步长是与该点的斜率有关，如果无关的话，那么如果步长太大，是不是就从坑中心滚过去了呀？比如这样：下面开始正文。每层只有一个神经元根据上篇文章的内容，梯度会有正有负，代表的意思就是这个点该如何移动。而每一项的相对大小告诉了改变哪个值影响更大。如下图所示：由于在神经网络中，我们的经验风险是在最后一步才求得的，那.

同样的，这篇还是纯理论，不涉及代码部分。有些地方我也没有深究，所以有可能会有错误，如有错误，请麻烦指正。目录代价函数梯度下降梯度偏导数方向导数公式：参考结合上篇文章的内容，我们不妨来想一下，在最开始的时候，整个网络是混乱的，那么我们要怎样才能找到最合适的权重和偏置呢？由于神经网络是需要学习的，所以学习的过程就是找到最合适的权重和偏置。于是我们就要引入代价函数。代价函数继续借用3B1B的栗子，假设我们输入的图片是手写的3，想要获得的结果是3，输出层灰度值与期望值如下：代价（cost）也称作.

作为一个第一次了解神经网络的学生来说，这一块基本上就是搬运的网上各个资源的内容，如果后续在使用和学习的过程中有了新的理解和感悟再来做更深入的补充。这一块由于才开始接触理论，就还没有运用代码实现出来，后续撸了代码出来后再补上。最后日常吹3B1B，3B1B永远滴神！目录神经网络简单介绍神经元与激活函数参考神经网络简单介绍由于我的规划是先看神经网络（包括概念与梯度下降），再看word2vec、RNN、LSTM，所以现在也不清楚神经网络放在NLP中是怎样输入输出的，我就以3B1B的栗子来简单讲解下神.