小猴子的博客

变分自编码器（Variational Auto-Encoder，VAE），原论文《Auto-Encoding Variational Bayes》目标：希望构建一个从隐变量生成目标数据的模型，假设了服从某些常见的分布（比如正态分布或均匀分布），然后希望训练一个模型，这个模型能够将原来的概率分布映射到训练集的概率分布，也就是说，目的是进行分布之间的变换。那现在假设服从标准的正态分布，那么我就可以从中采样得到若干个Z1Z_1Z1​,Z2Z_2Z2​,…,ZnZ_nZn​，然后对它做变换得到X1宝盖=g(Z

文章目录Transformer详细解读与预测实例记录1、位置编码1）输入部分：2）位置编码部分：2、多头注意力机制1）基本注意力机制2）transformer中的注意力3、残差和LayerNorm1）残差2）LayerNorm4、前馈神经网络5、DecoderTransformer详细解读与预测实例记录1、位置编码之后细化：注意：encoder结构完全相同，但其参数不完全相同；decoder也是一样，不过decoder和encoder也是不相同的。transformer模型结构如下图：

一阶差分与二阶差分及还原一阶差分arr = np.arange(10)np.random.shuffle(arr)arr = pd.Series(arr)arrd1 = arr.diff()print(d1)二阶差分d2 = d1.diff()d2还原d1_shift = d1.shift()d1_r = d2.add(d1_shift)d2_shift = arr.shift()d2_r = d1_r.add(d2_shift)d2_r补充：多阶差分ar

用pandas填充时间序列缺失值例如，下有时间缺失值： Date_time current_demand Temp_Mean humidity_Mean0 2018-05-01 00:00 15951.0 300.904267 49.6000001 2018-05-01 00:15 16075.0 300.904267 49.6000002 2018-05-01 00:30 1

文章目录神经网络（第五章补充）--手写数字识别MNIST数据集第一步：导入我们的数据包第二步：定义获得数据的函数第三步：定义获取权重参数的函数第四步：三层神经网络计算函数定义第五步：调用函数，取得参数第六步：计算精度batch批处理神经网络（第五章补充）–手写数字识别我们要处理的问题是手写数字的识别手写数字的数据存在MNIST的数据包里假设我们已经得到了权重参数，我们来模拟一下测试过程MNIST数据集第一步：导入我们的数据包import sys,ossys.path.append(os.

文章目录神经网络（补充）（第五章）感知机与门与非门或门感知机的局限：异或门神经网络开始激活函数引入阶跃函数sigmoid函数sigmoid函数与阶跃函数的比较Relu函数三层神经网络的实现代码总结输出层的激活函数softmax神经网络（补充）（第五章）感知机感知机是神经网络（深度学习）的起源算法，所以我们从感知机起步，进入深度学习的世界。主要使用的Python库：感知机接收多个输入信号，输出一个信号水流向前流动，向前方输送水电流向前流动，向前方输送电子感知机的信号也会向前流

西瓜书学习记录-神经网络（第五章）第五章啦，大佬的视频没讲第五章，所以看书自学一下：书籍来自周志华的《机器学习》。

西瓜书学习记录-决策树（第四章）第四章啦知乎黄耀鹏-决策树算法的Python实现：https://zhuanlan.zhihu.com/p/20794583一般分布例子如下：（见下具体例题）以上例题详情可见西瓜书第4章：（截图如下，其中图和表均见上方截图）代码示例：简单说一下：根据gini指数来决定要不要继续往下分支（预剪枝）第一次分：第二次分：精度从7分之5下降到了7分之4，所以剪枝

西瓜书学习记录-线性模型（第三章）第三章啦反函数（上图）梯度下降法：补充：：看的大佬的教学视频，标明一下出处：https://www.bilibili.com/video/BV17J411C7zZ记录一下，方便以后自己复习，加油！...

西瓜书学习记录-模型评估与选择整个过程可以描述为在训练集上去训练，在验证集上去调参，调完参之后再到训练集上去训练，直到结果满意，最后到测试集上去测试。例子（反例）：上图选择蓝色的线，坏的增加得越慢越好。上、下图表示AUC与rank-loss之间的关系（相减）接下来是对代价曲线的理解，西瓜书中可能不那么容易理解，可参照知乎的一篇文章解说：https://www.zhihu.com/question/63492375

西瓜书-机器学习-绪论看的大佬的教学视频，标明一下出处：https://www.bilibili.com/video/BV17J411C7zZ记录一下，方便以后自己复习，加油！

KNN算法原理与简单实现K最近邻(k-Nearest Neighbor，KNN)分类算法，是最简单的机器学习算法之一，涉及高等数学知识近乎为0，虽然它简单，但效果很好，是入门机器学习的首选算法。但很多教程只是一笔带过，在这里通过该算法，我们可以学习到在机器学习中所涉及的其他知识点和需要注意的地方。在之前的鸢尾花数据集中，我们只将2种花的150个样本的前2个特征在二维特征空间中表示，如下图那么当来了一个新的数据(如下图中绿色的点)，我们如何判断它最可能属于哪种花呢KNN算法原理我们

简单认识Scikit-learnScikit-learn是一个专门用于机器学习的Python库。它基于NumPy，SciPy和matplotlib构建，是一个简单有效的数据挖掘和数据分析工具。官网：http://scikit-learn.org安装Scikit-learn:pip install -U scikit-learn 或 python -m pip install -U scikit-learn官方开源地址：https://github.com/scikit-learn/scikit

Matplotlib的基本使用1Matplotlib是一个Python 2D绘图库，它可以在各种平台上以各种硬拷贝格式和交互式环境生成出具有出版品质的图形。官网：https://matplotlib.org安装Matplotlib:pip install -U matplotlib 或 python -m pip install -U matplotlib中文显示配置：​ 由于matplotlib库中无中文字体，图例为中文时将无法显示​ 推荐解决方案一：每次编码前进行参数配置：impor

Numpy的基本使用3官网：http://www.numpy.orgimport numpy as np#聚合#生成10个随机数L = np.random.random(10)Larray([0.05703554, 0.03902933, 0.4824235 , 0.15286251, 0.25063995, 0.86616324, 0.39476347, 0.86343803, 0.77289392, 0.13780678])#Python中：sum(L)4.017056

numpy的基本使用2官网：http://www.numpy.orgimport numpy as np##数组（矩阵）间操作：x = np.array([1,2,3])y = np.array([3,2,1])z = np.array([6,6,6])#拼接合并：np.concatenate([x,y,z])array([1, 2, 3, 3, 2, 1, 6, 6, 6])A = np.array([])A = np.array([[1,2,3], [3

numpy 的基本使用1NumPy是一个由多维数组对象和用于处理数组的例程集合组成的库。可以执行以下操作：数组的算数和逻辑运算；傅立叶变换和用于图形操作的例程；与线性代数有关的操作，NumPy拥有线性代数和随机数生成的内置函数。NumPy 通常与 SciPy（Scientific Python）和 Matplotlib（绘图库）一起使用。官网：http://www.numpy.org安装Numpy:pip install numpy 或 python -m pip install numpy