PuJiang-的博客

原创 sigmoid、softmax函数/交叉熵损失函数/二分类、多分类详细推导过程

交叉熵损失函数、MSE、二分类、多分类

原创 线性回归(Linear Regression)、逻辑回归(Logistic Regression)的原理、联系与区别

线性回归、逻辑回归、原理

原创 逻辑回归(Logistic Regression)原理及损失函数、极大似然估计

逻辑回归原理及公式推导过程

原创 模型评估指标_精准率、召回率、F1-score、ROC曲线、AUC曲线

一、分类结果混淆矩阵1、T、F、P、N辨析P(Positive)、N(Negative)针对的是预测值的结果。P表示对样本的预测结果为正例，N表示对样本的预测结果为反例。T(True)、F(False)针对的是预测值的结果是否预测对了。TP表示对该样本预测结果为正例，同时预测对了，真实标签和预测标签都为正例，FP表示对该样本预测结果为正例，但是预测错了，真实标签为反例，预测标签为正例，TN表示对该样本预测结果为反例，同时预测对了，真是标签和预测标签都为反例，FN表示对该样本预测结果为反

原创 Python英文分词_词频统计_按词频排序

文本cet6read.txtQuestionS 61 to 65 are based on the following passage.Many bankers may be worried about whether some fancy product dreamed up might yetlead to a visit from the police. Daniel Dantas, a financier, who has profited by operating at themiddle

原创 Python数据处理_pandas读取csv文件_numpy进行归一化处理

请执行以下命令下载样本数据数据为CSV表格有8列，其中abstime列为时间列，其余列为特征列!wget http://82.156.209.173/s/dHCnaH32rtZdxcs/download!mv download sample_data_A100159.csv1. 对给出的样本文件中的所有特征列做normalization，映射至（0-255）的区间，从abstime的第一行开始每隔200条取一次整行数据，并将最终取出的数据并以PNG格式的图片输出。提示：输出图片用PIL库可参

原创 Python内置数据结构_元组、列表、字典_基本操作

一、Python元组Python 的元组与列表类似，不同之处在于元组的元素不能修改。元组使用小括号，列表使用中括号元组不允许修改元素值，只能进行多个元组的连接组合，这样生成的是一个全新的元组元组不允许删除元素值，只能删除整个元组元组进行的都是整体级别的操作，内部细粒度的元素不能更改，首次创建好之后进行的都是元组整体的操作了。1.1元组创建tup1 = ('physics', 'chemistry', 1997, 2000)tup2 = (1, 2, 3, 4, 5 )tup3 = "a

原创 Attention的汇总与辨析_Additive、Multiplication、Scaled dot-product、Self Attention、Multi-head Self-Attention

一、Seq2Seq1.1Seq2Seq(Encoder-Decoder)是什么简介：使用Encoder将input编码为一个固定长度的context向量，使用Decoder将context解码为output。input、output长度不一定相同。奠基论文：Sequence to Sequence Learning with Neural Networks...

原创 RNN改进_GRU_LSTM基本原理及辨析、GRU激活函数为什么使用Sigmoid而不是ReLU

一、RNN存在的问题对RNN来讲，没有特别关注的部分，都是一个序列进去。而且RNN的梯度消失指的是每一项一项进行相加，可以发现距离拉的越长，连乘的项就越多，远距离的梯度会趋于0的，近距离的梯度不会消失。RNN梯度消失的真正含义是总的梯度受近距离梯度的主导，远距离的梯度消失。二、GRU门控单元引入重置门和更新门：Rt=σ(XtWwr+Ht−1Whr+br)Zt=σ(XtWwz+Ht−1Whz+bz)R_t=\sigma(X_tW_{wr}+H_{t-1}W_{hr}+b_r) \\ Z_t=\sigm

原创 深度神经网络中的激活函数_导数推理过程_python绘制图像示意_特点及使用场景

1、Sigmoid激活函数f(z)=11+e−zf(z)=\frac{1}{1+e^{-z}}f(z)=1+e−z1​f′(z)=0−1∗(1+e−z)′(1+e−z)2=−e−z∗−1(1+e−z)2=e−z(1+e−z)2=1+e−z−1(1+e−z)2=1(1+e−z)−1(1+e−z)2=f(z)(1−f(z)) f^{'}(z)=\frac{0-1*(1+e^{-z})^{'}}{(1+e^{-z})^2}\\ =\frac{-e^{-z}*-1}{(1+e^{-z})^2}\\=\frac{e

原创 RNN基本原理及梯度消失、梯度爆炸的问题原因及解决方法

一、RNN基本结构1、隐层状态sts_tst​st=σ(Uxt+Wst−1+b)s_t=\sigma(Ux_t+Ws_{t-1}+b)st​=σ(Uxt​+Wst−1​+b)σ\sigmaσ()是激活函数，通常选用Tanh、ReLU。2、输出状态oto_tot​ot=g(Vst+c)o_t=g(Vs_t+c)ot​=g(Vst​+c)ggg()是激活函数，对于分类任务通常选用sigmoidsigmoidsigmoid()。3、Loss计算输出状态oto_tot​与目标输出yty_tyt​计

原创 Pytorch计算Loss值为Nan的一种情况【exp计算溢出，利用softmax计算的冗余性解决】

一、报错提示FutureWarning: Non-finite norm encountered in torch.nn.utils.clip_grad_norm_; continuing anyway. Note that the default behavior will change in a future release to error out if a non-finite total norm is encountered. At that point, setting error_if_n

原创 beam search

原创 Linux操作系统安全登录实现_usb认证安全加固

一、实验目的本实验在linux系统中使用usb进行身份验证。采用双重登陆方法即输入正确的登陆密码同时还需要插入正确的usb设备才能通过身份认证，以此来实现linux系统登录过程中的安全加固。二、实验环境1、系统环境虚拟机版本：VMware Workstation 16 Pro 16.0.0Linux版本：2.6.32-131.0.15.el6.x86_64gcc版本：4.4.4 20100726 (Red Hat 4.4.4-13) (GCC)发行版本：CentOS 6.12、插件及依赖包

原创 tensorboard_SummaryWriter_event定义及使用示例

一、导包并创建SummaryWriter使用SummaryWriter创建events：from torch.utils.tensorboard import SummaryWriterwriter = SummaryWriter()writer = SummaryWriter("test0")writer = SummaryWriter(comment="user")SummaryWriter()：自动生成文件夹名称"runs"，以及随机的events名称SummaryWriter(“t

原创 Scaled dot-product Attention、Self-Attention辨析

一、Scaled dot-product Attention有两个序列X、YX、YX、Y：序列XXX提供查询信息QQQ，序列YYY提供键、值信息K、VK、VK、V。Q∈Rx_len×in_dimQ\in R^{{x\_len}\times {in\_dim}}{}Q∈Rx_len×in_dimK∈Ry_len×in_dimK\in R^{{y\_len}\times {in\_dim}}{}K∈Ry_len×in_dimV∈Ry_len×out_dimV\in R^{{y\_len}\times {out

原创 Self-Attention原理、Multi-head Self-Attention原理及Pytorch实现

一、Self-Attention原理下图虚线框内为Self-Attention模块基本功能，输入a1,a2,a3,a4a_1,a_2,a_3,a_4a1​,a2​,a3​,a4​，输出b1,b2,b3,b4b_1,b_2,b_3,b_4b1​,b2​,b3​,b4​。输入序列与输出序列长度相同，内部实际上做的是加权求和的运算。1、计算a1a_1a1​与所有向量(包括自己)的attention-score使用q1q_1q1​与k1,k2,k3,k4k_1,k_2,k_3,k_4k1​,k2​,k3​,

原创 BatchNorm、LayerNorm详细过程及示例_Pytorch

一、BatchNorm1、对batch中的每个维度进行归一化y=x−E[x]Var[x]y=\frac{x-E[x]}{\sqrt{Var[x]}}y=Var[x]​x−E[x]​其中：E[x]=1n∑i=1nxi,Var[x]=1n∑i=1n(xi−E[x])2E[x]=\frac{1}{n}\sum_{i=1}^nx_i,Var[x]=\frac{1}{n}\sum_{i=1}^n(x_i-E[x])^2E[x]=n1​∑i=1n​xi​,Var[x]=n1​∑i=1n​(xi​−E[x])22

原创 dropout手工实现_FashionMNIST数据集

一、dropout原理神经网络中dropout以p的概率丢弃该层的节点。p=0时，没有节点被丢弃。p=1时，将丢弃所有节点。被丢弃的节点hi=0h_i=0hi​=0,保留下来的节点hi=hi′h_i=h_i'hi​=hi′​。其中要满足E[hi′]=hiE[h_i']=h_iE[hi′​]=hi​。h′={0丢弃概率为ph1−p其他情况h'=\begin{cases}0& \text{丢弃概率为p}\\\frac{h}{1-p}& \text{其他情况}\end{cases}h′=

原创 线性回归模型——范数、L1，L2正则化及其手工实现

一、p范数及实现对于线性模型Y=XW+bY=XW+bY=XW+b，其中X∈Rn×dX\in R^{n \times d}X∈Rn×d，nnn为样本数，ddd为每个样本的特征维度，W∈Rd×1W \in R^{d \times 1}W∈Rd×1，Y∈Rn×1Y \in R^{n \times 1}Y∈Rn×1。可以使用权重向量WWW的某个范数来衡量该模型的复杂度。W=(w1,w2,...,wd)W =(w_1,w_2,...,w_d)W=(w1​,w2​,...,wd​)1-范数：∣∣W∣∣1\vert\

原创 多层感知机及手工实现_FashionMNIST数据集

一、多层感知机上图是只有一个隐层的多层感知机网络结构。这里区分上角标(i)(i)(i)表示数据集中第iii个样本，<1><1><1>表示权重矩阵的第1层。实际上，不管是哪个样本x(i)x^{(i)}x(i)，它们的权重矩阵是相同的，也就是网络要学习的权重矩阵W<1>W^{<1>}W<1>、b<1>b^{<1>}b<1>、W<2>W^{<2>}W<2>、b<2

原创 线性回归的数据维度解释，softmax回归、交叉熵损失函数及手工实现_FashionMNIST数据集

一、线性回归与Softmax回归在上一篇线性回归原理及手工实现实现了一层简单的线性回归模型。对于一层简单的Softmax回归模型，可以在线性回归模型输出的基础上再套一层Softmax函数，输出每个类别的概率。对于一层线性回归模型，网络预测的输出Y^\hat{Y}Y^如下所示，其中X∈Rn×dX\in{R}^{ n\times d}X∈Rn×d，W∈Rd×qW\in{R}^{ d\times q}W∈Rd×q，b∈R1×qb\in{R}^{1\times q}b∈R1×q，O∈Rn×qO\in{R}^{n

原创 梯度下降法求解3个向量的均值(未知向量到已知向量的Minimum Distance)

Minimum DistanceWrite a python function def min_dist(u1,u2,u3)(u_1, u_2, u_3)(u1​,u2​,u3​)the functions takes in 3 lists of floats, each of length k, representing k-dimensional vectors. The function returns a list representing a k-dimensional vector v, s

原创 多项式回归原理及手工实现

一、线性回归与多项式回归上一篇对于Y=2x1−3x2+4x3−5Y=2x_1-3x_2+4x_3-5Y=2x1​−3x2​+4x3​−5函数进行了拟合，如果函数对于Y=2t4−3t3+4t2−5Y=2t^4-3t^3+4t^2-5Y=2t4−3t3+4t2−5该如何拟合？{x1=t4x2=t3x3=t2 \left\{\begin{aligned}x_1 & = & t^4 \\x_2 & = & t^3 \\x_3 & = & t^2\end{a

原创 线性回归(Linear Regression)原理及手工实现_解析解法、梯度下降法求解最优解

一、什么是线性回归直观来讲，就是y=kx+by = kx+by=kx+b的形式，可以用一条直线来进行拟合。一元线性回归：只有一个自变量和一个因变量，y=k1x1+by = k_1x_1+by=k1​x1​+b的形式表示。多元线性回归：两个及以上的自变量和一个因变量，y=k1x1+k2x2+...+knxn+by=k_1x_1+k_2x_2+...+k_nx_n+by=k1​x1​+k2​x2​+...+kn​xn​+b的形式表示。在这里可以再与多项式回归进行区分，y=k1x1+k2x22+...+k

原创 tensorflow2.2.0+python3.7+keras2.3.1

##使用镜像源下载包！！！！pip install -U tensorflow==2.2.0 -i https://pypi.tuna.tsinghua.edu.cn/simple