weixin_42673117的博客

原创 数据库课程设计: jsp+servlet宾馆客房管理系统

宾馆客房管理系统效果展示图：1、登录系统2、员工管理界面(BootStrap界面优化)3、入住/会员注册等界面(都差不多)4、管理员管理界面（套用信息管理系统模板）5、添加员工2、数据库展示概念设计：1、E-R图2、功能模块图：套用建议：1、JDBC修改：左侧是JDBC目录，找到这个文件之后将连接URL user和password改成自己的即可2、数据库信息修改...

原创 SpringBoot热部署 新版idea找不到Onupdate action

Springboot

原创 深度学习09 -Transformer2 - 理论篇

参考文档：详解Transformer1、开局来一张Transformer的整体结构图2、结构图每步分析1、Encoder1、Input Embedding就是对输入的数据进行向量化编码，可能是one-hot等等2、Positional Encoding主要目的是对输入数据的位置有一个确定的前后关系因为在Self-Attention中，没有考虑到前后位置关系，而是直接从总体进行学习的，因此此处需要加一个可以前后位置关系的表示，在论文中使用的是以下方法:(1)使用了偶数位置用sin，奇数位

原创 深度学习09 -Transformer - 理论篇

1、Transformer简介Transformer与RNN输入输出一样，但是RNN后面的运算依赖于前面的输出，所以不能并行运算，但是使用Transformer是可以并行的，所以其b1-b4是同时被计算出来的2、计算过程1、与attention机制一样，在这个模型中，我们会从输入的x线通过乘一个矩阵变换为a，然后再通过query(q)、key(k)、value(v)进行运算attention公式(根号d可有可无)：2、self-attention：通过计算出来的q与每一个k进行相似性运算(

原创 深度学习08 - 决策树

部分图片及教程源自bilibili-等等很简单1、决策树简介决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。Entropy = 系统的凌乱程度，使用算法ID3, C4.5和C5.0生成树算法使用熵。这一度量是基于信息学理论

原创 深度学习07 - Attention机制-seq2seq序列模型

1、seq2seq简介Seq2Seq模型是输出的长度不确定时采用的模型，这种情况一般是在机器翻译的任务中出现，将一句中文翻译成英文，那么这句英文的长度有可能会比中文短，也有可能会比中文长，所以输出的长度就不确定了。如下图所，输入的中文长度为4，输出的英文长度为2。在网络结构中，输入一个中文序列，然后输出它对应的中文翻译，输出的部分的结果预测后面，根据上面的例子，也就是先输出“machine”，将"machine"作为下一次的输入，接着输出"learning",这样就能输出任意长的序列。机器翻译、人

原创 深度学习07 - Attention机制-理论篇

参考文档：一文看懂 Attention（本质原理+3大优点+5大类型）1、Attention的本质1、Attention（注意力）机制如果浅层的理解，跟他的名字非常匹配。他的核心逻辑就是「从关注全部到关注重点」。2、Attention在AI领域中的位置2、Attention的三大优点参数少模型复杂度跟 CNN、RNN 相比，复杂度更小，参数也更少。所以对算力的要求也就更小。速度快Attention 解决了 RNN 不能并行计算的问题。Attention机制每一步计算不依赖于上一步

原创 深度学习06 - LSTM网络-处理可变长序列输入问题

1、问题RNN的输入是按照批次来进行

原创 深度学习06 - GRU网络-理论篇

原创 原创 深度学习06 - LSTM网络-理论篇

原创 使用例子看懂RNN

1、RNN产生原因一些数据前后有关联，且关联的长度不确定，需要根据数据前后关系进行预测。比如视频每一帧与之前与之后的关联，要分析这些帧连接起来的整个序列。2、几种神经网络(1)基本循环神经网络考虑例子：我 昨天 上学 迟到 了 ，老师 批评 了 ____。分为如下几步：1、通过one-hot编码将数据向量化变为对应的数字序列2、根据如下神经网络进行预测后面的数据通过公式：计算St与Ot(1)首先随机初始化一个W作为向后传递的初始值(2)然后通过输入的x向量与权重矩阵U做乘积

原创 深度学习05 - 循环神经网络-实践篇-RNN预测sin函数

1、导包import torch.utils.datafrom torch import optim, nnimport numpy as npimport matplotlib.pyplot as plt2、设定参数#参数设定num_time_steps = 50#训练时循环次数input_size = 1#输入维度hidden_size = 16#隐藏层节点个数output_size = 1#输出维度就是相当于每个节点1维扩展成了16维然后再映射到1维3、通过pyt

原创 深度学习04 - 循环神经网络(RNN)-理论篇

1、RNN提出原因？某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。比如，当我们在理解一句话意思时，孤立的理解这句话的每个词是不够的，我们需要处理这些词连接起来的整个序列；当我们处理视频的时候，我们也不能只单独的去分析每一帧，而要分析这些帧连接起来的整个序列。这时，就需要用到深度学习领域中另一类非常重要神经网络：循环神经网络(Recurrent Neural Network)。2、几类循环神经网络1、基本循环神经网络使用场景：之前语言模型主要是采用N-Gram。N可

原创 pytorch中常用的技术

一、torch.save()的使用参考链接：pytorch利用torch.save()保存模型参数及载入假设网络为model = Net(), optimizer = optim.Adam(model.parameters(), lr=args.lr), 假设在某个epoch，我们要保存模型参数，优化器参数以及epoch先建立一个字典，保存三个参数：state = {‘net':model.state_dict(),optimizer':optimizer.state_dict(), 'epoc

原创 深度学习04 - 卷积神经网络-实践篇-使用pytorch(CNN)实现手写数字识别

1、问题使用Pytorch及CNN框架实现手写数字识别问题2、代码1、导包导入如下一些包，后面会用到import torchimport torch.nn as nnfrom torch.autograd import Variableimport torch.utils.data as Dataimport torchvisionimport timefrom torchvision import transformsimport matplotlib.pyplot as plt

原创 深度学习04 - 卷积神经网络-理论篇

1、CNN概念1、卷积神经网络(CNN)常用于图像、语音识别领域2、ReLU激活函数ReLU激活函数定义：使用ReLU激活函数的优势：(1)速度快 和sigmoid函数需要计算指数和倒数相比，relu函数其实就是一个max(0,x)，计算代价小很多。(2)减轻梯度消失问题 回忆一下计算梯度的公式。这个值最大是15，当这个值很小的时候，梯度会逐渐变小梯度计算公式：(3)稀疏性 通过对大脑的研究发现，大脑在工作的时候只有大约5%的神经元是激活的，而采用sigmoid激活函数的人工神

原创 深度学习02-神经网络和反向传播算法-理论篇

理论篇1、神经网络神经网络其实就是按照一定规则连接起来的多个神经元。上图展示了一个全连接(full connected, FC)神经网络，通过观察上面的图，我们可以发现它的规则包括：神经元按照层来布局。最左边的层叫做输入层，负责接收输入数据；最右边的层叫输出层，我们可以从这层获取神经网络输出数据。输入层和输出层之间的层叫做隐藏层，因为它们对于外部来说是不可见的。同一层的神经元之间没有连接。第N层的每个神经元和第N-1层的所有神经元相连(这就是full connected的含义)，第N-1层神经

原创 深度学习02-神经网络和反向传播算法-pytorch实现多层感知机的神经网络算法

算法详解1、导入数据（1）使用np的方式将数据进行导入print("读取数据") train_drug_targets = np.loadtxt('/Users/fengxiaolin/Desktop/data/train_DPI.txt') train_drug_fps = np.loadtxt('/Users/fengxiaolin/Desktop/data/train_fps.txt')（2）将数据转为Tensor类型并转为float类型print("numpy 转 ten

原创 深度学习02-神经网络和反向传播算法-pytorch实现反向传播算法

0、问题使用pytorch实现正向传播与反向传播算法1、预先知识学习1、pytorch数据结构-Tensor参考自：https://zhuanlan.zhihu.com/p/48982978在深度学习中，Tensor实际上就是一个多维数组（multidimensional array），其目的是能够创造更高维度的矩阵、向量Tensor中存储两个元素，一个是w(权重的值)、一个是损失函数对权重的偏导数2、代码1、构建数据集import torchx_data = [1.0,2.0,3

原创 深度学习基础01-2-利用感知器实现and功能

参考文档1、预先知识学习1、and函数2、Python zip函数>>>a = [1,2,3]>>> b = [4,5,6]>>> c = [4,5,6,7,8]>>> zipped = zip(a,b) # 打包为元组的列表[(1, 4), (2, 5), (3, 6)]>>> zip(a,c) # 元素个数与最短的列表一致[(1, 4), (2, 5), (3

原创 深度学习基础01-感知器

参考自：参考文档1、相关概念1、感知器即为神经网络的一个神经元2、构造图：其中x为输入值w为权值(其中w0为偏置项)从weighted sum到step function的过程称为激活函数最终结果为输出3、感知器迭代训练感知器训练算法：将权重项和偏置项初始化为0，然后，利用下面的感知器规则迭代的修改wi和b，直到训练完成。其中:每次从训练数据中取出一个样本的输入向量，使用感知器计算其输出，再根据上面的规则来调整权重。每处理一个样本就调整一次权重。经过多轮迭代后（即全部的训练数据

原创 吴恩达-机器学习课后题07-PCA-图像降维

1、题目题目：使用PCA的方法，对图像进行降维处理2、解题1、导入数据mat = sio.loadmat(path)print(mat.keys())X = mat['X']2、显示数据内容利用前面手写数字识别时定义的显示图片的方法，显示前100张图片def plot_100_image(): fig,ax = plt.subplots(ncols=10,nrows=10,figsize=(10,10)) for i in range(10): for j

原创 吴恩达-机器学习课后题07-PCA-主成分分析法

1、预先知识学习1、什么是PCA：将数据从二维降至一维/从三维降至二维使得投影距离最小找到一个更低维度的平面，对数据进行投影，使得投影距离最小2、使用步骤:3、U,S,V = np.linalg.svd （C）此方法用于计算特征值与特征向量，其中解释1、S返回的是特征值，U返回的是协方差矩阵。？不确定解释2、总共有三个返回值u,s,vu大小为(M,M)，s大小为(M,N)，v大小为(N,N)。A = usv其中s是对矩阵a的奇异值分解。s除了对角元素不为0，其他元素都为0，并且对

原创 特征值与特征向量&协方差矩阵

一、特征值与特征向量教程观摩：b站视频1、定义：从数学上看，如果向量v与变换A满足Av=λv，则称向量v是变换A的一个特征向量，λ是相应的特征值。这一等式被称作“特征值方程”。意思：一个矩阵,左乘一个向量等于一个常数乘这个向量满足这个条件，v被称为矩阵A的特征向量，λ是A的特征值????：所以(111)为A 的特征向量，3为特征值二、协方差矩阵观摩视频：协方差矩阵1、针对一维样本求的协方差就是方差，方差是协方差的一种特殊情况，意义与方差相同，都是反映集合中各个元素的离散程度2、针

原创 吴恩达-机器学习课后题07-Kmeans-使用算法对一张图片的颜色进行聚类

1、问题：问题：使用kmeans对图片颜色进行聚类RGB图像，每个像素点值范围0-255原始图像每个点的取值在0-255之间，也就是说，每个点都可以有256种颜色可以选择，所以每个像素点需要用8byte进行存储,现在我们希望用16种颜色对其进行表示，也就是每个像素点只需4byte2、解题0、导包：import numpy as npimport scipy.io as sioimport matplotlib.pyplot as pltfrom skimage import io导入新

原创 吴恩达-机器学习课后题07-Kmeans-无监督学习

1、Kmeans算法：2、问题给出一个二维数据结构，使用Kmeans算法对其进行聚类3、解题1、导入数据顺便可视化data1 = sio.loadmat(path)# print(data1.keys())X = data1['X']# print(X)plt.scatter(X[:,0],X[:,1])结果：2、Kmeans计算第一步：随机选取几个中心点：从图上我们可以看出，这个数据大致可以分为三类，所以划分三个中心点：centros = np.array([[3,3]

原创 吴恩达-机器学习课后题06-SVM(支持向量机)2-垃圾邮件

1、问题垃圾邮件分类2、解题1、导入数据：data1 = sio.loadmat(path)data2 = sio.loadmat(path2)print(data1.keys())X,y = data1['X'],data1['y']X_test,y_test = data2['Xtest'],data2['ytest']print(X.shape,y.shape)print(X)输出：dict_keys([‘header’, ‘version’, ‘globals’, ‘X’,

原创 吴恩达-机器学习课后题06-SVM(支持向量机)2-线性不可分2-寻找最优gamma

1、问题找出最优化gamma2、解题1、导入数据mat = sio.loadmat(path)# print(mat.keys())X,y = mat['X'],mat['y']Xval,yval = mat['Xval'],mat['yval']#验证集2、数据可视化：#数据可视化def plot_data(): plt.scatter(X[:,0],X[:,1],c=y.flatten(),cmap='jet') plt.xlabel('x1') plt.y

原创 吴恩达-机器学习课后题06-SVM(支持向量机)2-线性不可分

1、预先知识学习1、核函数从低维空间计算高维空间的值降低运算量2、常用核函数：2、问题：任务:使用高斯核函数解决线性不可分问题，并观察gamma取值对模型复杂度的影响3、解题1、导入数据集data = sio.loadmat(path)print(data.keys())X,y = data['X'],data['y']print(X.shape,y.shape)2、数据可视化def plot_data(): plt.scatter(X[:,0],X[:,1],c=

原创 吴恩达-机器学习课后题06-SVM(支持向量机)1-线性可分

1、概念1、支持向量机：支持向量机（support vector machines, SVM）是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；SVM还包括核技巧，这使它成为实质上的非线性分类器。SVM的的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。SVM的的学习算法就是求解凸二次规划的最优化算法。参考自：https://zhuanlan.zhihu.com/p/318869342、直观理解支

原创 吴恩达-机器学习课后题05-偏差与方差2

1、问题我们从上一篇文章中可以看出，简单的线性模型造成了最终欠拟合（高偏差）的状态。要解决此情况就要使用高阶非线性曲线函数。2、解决1、如何发现高偏差/方差的情况：因为目前还没有利用lamda，给定的特征也是固定的，所以采用第二种方式2、构造多项式特征多项式特征即为加入了多次方的x，然后使用theta判定每个次幂的权重，最终拟合出方程#构造多项式特征def poly_feature(X,power): for i in range(2,power+1): X =

原创 吴恩达-机器学习课后题05-偏差与方差

1、预先知识学习1、偏差与方差概念直观看：红心是真实值，蓝色点是预测值2、训练集、验证集、测试集概念2、题目题目：利用水库水位变化预测大坝的出水量3、解题第一步：尝试拟合出一条训练好的线性回归1、引入数据：data = sio.loadmat(path)print(data.keys())2、分别构造训练集、验证集、测试集#训练集X_train,y_train = data['X'],data['y']print(X_train.shape,y_train.shape)

原创 吴恩达-机器学习课后题03-神经网络实现手写数字识别-使用BP神经网络优化权重theta

1、题目同上一篇2、预先知识处理1、One-hot编码对数组进行处理，将每一位数组用一个数组10个数字表示，若第一个数字是1，表示当前数组为1，第十个数组为1，表示数字10使用原因：因为损失函数要沿用之前的损失函数公式，之前公式中y只有0和1两种状态，所以要对其进行处理3、解题1、导入数据data = sio.loadmat(path)X = data['X']y = data['y']X = np.insert(X,0,values=1,axis=1)2、one-hot编码#

原创 吴恩达-机器学习课后题07-使用神经网络实现手写数字识别

1、题目与上一题相同，使用神经网络实现2、预先知识学习神经网络：对每一层传入值进行计算，然后插入偏置单元，即全为1的单元 ，进入下一层计算，层层传递，最终得出结果。由于给出了theta的值，具体如何推导在下一节课给出3、实现1、导入数据data = sio.loadmat(path)X = data['X']y = data['y']将y转为一维数组方便未来与结果进行对比，得出准确率#将y转为一维数组，方便将来计算准确率y = y.flatten()2、对第一层加入偏置项#插

原创 吴恩达-机器学习课后题06-多分类实现手写数字识别

1、预先知识学习1、使用scipy中minimize函数将代价函数最小化Method有很多种方法：本次使用节段牛顿方法TNC因为x0是一个二维数组，在使用这个方法时，要求传入一位数组，所以要做一些改动2、矩阵相乘3、注意，在Python中(5000,1)是二维数组，而(5000,)才是一位数组(5000,1):[[10][10][10]…c[ 9][ 9][ 9]](5000,):[10 10 10 … 9 9 9]一位转二维:y.reshape(5000,1)二

原创 吴恩达-机器学习课后题04-逻辑回归二分类

1、题目：根据学生的俩门学习成绩，预测该学生能否会被大学录取2、解题

原创 吴恩达-机器学习课后题02-线性不可分

一、题目设想你是工厂的生产主管，你有一些芯片在两次测试中的测试结果。对于这两次测试，你想决定是否芯片要被接受或抛弃数据集：ex2data2.txt2、解题1、导入数据data = pd.read_csv(path,names=['test 1','test 2','Accepted'])print(data.head())使用data.head() 查看数据是否正确，表头是否添加2、可视化数据#数据可视化fig,ax = plt.subplots()ax.scatter(data[d

原创 mybatis中Example快速查询

部分引用自：https://blog.csdn.net/biandous/article/details/65630783

原创 SpringMVC过滤器实战

1、Spring已经集成了Filter，可以直接引用进行配置1、找到引入jar包中的web在其中找到web文件夹，内部有Filter的类2、引用复制引用路径在web.xml中建立引用filter的mapping<filter> <filter-name>CharacterEncodingFilter</filter-name> <filter-class>org.springframework.web.filter.Charac

原创 SpringMVC文件上传实战

1、引包：<!--文件上传--><dependency> <groupId>commons-io</groupId> <artifactId>commons-io</artifactId> <version>2.4</version></dependency><dependency> <groupId>commons-fileupload</gro