- 博客(33)
- 收藏
- 关注
RSS订阅原创 Transformer
文章目录Transformertransformer模型transformer的pytorch实现多头注意力层多头注意力模型多头注意力pytorch基于位置的前馈网络（FFN)Add and Norm位置编码编码器(Encoder)解码器（Decoder)小结Transformertransformer模型在之前的章节中，我们已经介绍了主流的神经网络架构如卷积神经网络（CNNs）和循环神经网...
2020-02-17 17:21:15
2869
原创 LeNet、AlexNet、VGG、NiN、GoogLeNet
文章目录LeNet、AlexNet、VGG、NiN、GoogLeNet全连接层与卷积层的优势对比LeNetLeNet模型LeNet的pytorch实现AlexNetAlexNet模型AlexNet的pytorch实现VGGVGG模型VGG的实现NiN(网络中的网络）NiN模型NiN的pytorch实现GooLeNetInception块完整goolenet模型GooLeNet的pytorch小结...
2020-02-17 16:56:43
485
原创 卷积神经网络基础（CNN)
文章目录卷积神经网络基础二维互相关运算二维卷积层互相关运算与卷积运算特征图和感受野填充和步幅填充步幅多输入通道和多输出通道多输入通道多输出通道1x1卷积层卷积层与全连接层的比较卷积层的pytorch实现池化层二维池化层池化层的pytorch实现卷积神经网络基础二维互相关运算虽然卷积层得名于卷积（convolution）运算，但我们通常在卷积层中使用更加直观的互相关（cross-correla...
2020-02-17 16:24:45
1083
原创 注意力机制
文章目录注意力机制注意力机制框架softmax的屏蔽超出二维矩阵的乘法点积注意力多层感知机注意力计算背景变量矢量化计算引入注意力机制的S2SDecoder注意力机制在“编码器—解码器（seq2seq）”⼀节⾥，解码器在各个时间步依赖相同的背景变量（context vector）来获取输⼊序列信息。当编码器为循环神经⽹络时，背景变量来⾃它最终时间步的隐藏状态。将源序列输入信息以循环单位状态编码，...
2020-02-16 23:18:16
3088
1
原创 模型选择、过拟合与欠拟合
文章目录模型选择与过拟合与欠拟合训练误差与泛化误差模型选择验证集K折交叉验证欠拟合与过拟合模型复杂度多项式拟合权重衰减L2正则化权重衰减的pytorch实现dropoutdropout的pytorch实现梯度消失与梯度爆炸随机初始化模型参数PyTorch的默认随机初始化Xavier随机初始化小结模型选择与过拟合与欠拟合训练误差与泛化误差训练误差（training error）指模型在训练数据...
2020-02-16 20:38:53
425
原创 机器翻译相关基础模型
文章目录机器翻译读取和预处理数据数据预处理分词建立词典载入数据encoder-decoderSeq2SeqBeamsearch机器翻译机器翻译是指将一段文本从一种语言自动翻译到另一种语言。因为一段文本序列在不同语言中的长度不一定相同，所以我们使用机器翻译为例来介绍编码器—解码器和注意力机制的应用。读取和预处理数据数据预处理将数据集清洗、转化为神经网络的输入minbatch%导入模块i...
2020-02-16 20:35:11
830
原创 循环神经网络
文章目录循环神经网络简单循环神经网络的构造裁剪梯度循环神经网络的pytorch实现GRULSTM深度循环网络双向循环网络循环神经网络简单循环神经网络的构造[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OSYqSmCS-1581672461049)(https://img.vim-cn.com/a8/d90fe522138ebfb79547e687f5fd826...
2020-02-14 17:28:36
281
原创 文本预处理与n元语法
文章目录文本预处理读入文本分词建立字典用现有工具包分词NLTKSPACY语言模型（基于统计的语言模型）n元语法相邻采样随机采样文本预处理读入文本分词建立字典，将每个词映射到一个唯一的索引（index）将文本从词的序列转换为索引的序列，方便输入模型读入文本import collectionsimport redef read_time_machine(): with ...
2020-02-14 17:27:33
207
原创 多层感知机
文章目录多层感知机隐藏层激活函数ReLU函数sigmod函数tanh 函数关于激活函数的选择多层感知机的pytorch实现多层感知机我们已经介绍了包括线性回归和softmax回归在内的单层神经网络。然而深度学习主要关注多层模型。在本节中，我们将以多层感知机（multilayer perceptron，MLP）为例，介绍多层神经网络的概念。隐藏层多层感知机在单层神经网络的基础上引入了一到多个...
2020-02-14 17:26:48
313
原创 softmax回归
文章目录softmax回归分类问题softmax回归模型softmax运算单样本分类的矢量计算表达式小批量样本分类的矢量计算表达式交叉熵损失函数softmax的pytorch实现训练模型softmax回归前几节介绍的线性回归模型适用于输出为连续值的情景。在另一类情景中，模型输出可以是一个像图像类别这样的离散值。对于这样的离散值预测问题，我们可以使用诸如softmax回归在内的分类模型。和线性回...
2020-02-14 17:26:09
126
原创 深度学习线性回归（pytorch)
线性回归模型y=wx+by = wx + by=wx+b损失函数ℓ(w1,w2,b)=1n∑i=1nℓ(i)(w1,w2,b)=1n∑i=1n12(x1(i)w1+x2(i)w2+b−y(i))2.\ell(w_1, w_2, b) =\frac{1}{n} \sum_{i=1}^n \ell^{(i)}(w_1, w_2, b) =\frac{1}{n} \sum_{i=1}^n...
2020-02-14 14:28:45
376
原创 Linux命令与系统文件
文章目录1. linux 的基础系统命令2. linux常用的实用命令3. 文件系统文件和路径目录结构访问权限磁盘管理4 编辑器 **vim**1. linux 的基础系统命令在linux中系统命令通常是如下的格式：命令名称 【命令参数】 【命令对象】获取登录信息# w# who # who am i查看自己使用的shellps# ps查看命令的说明whatis...
2019-11-30 20:09:24
122
原创 《机器学习实战》《西瓜书》学习（八）- K均值聚类
文章目录K均值聚类源代码二分K均值聚类源代码K均值聚类算法伪代码：创建k个点作为起始质心（经常是随机选择）当任意一个点的簇分配结果发生改变时 对数据集中的每个数据点 对每个质心 计算质心与数据点之间的距离 将数据点分配到距离其最近的簇 对每一个簇，计算簇中所有点的均值，并且将该值作为质心"""函数说明：k-me...
2019-11-30 20:07:41
894
原创 《机器学习实战》《西瓜书》学习（七）- SVM
文章目录SVM（支持向量机）核函数（kneral function)径向基函数代码示例SVM（支持向量机）支持向量（support vector)就是离分隔超平面最近的那些点。最大化支持向量到分割面的距离。核函数（kneral function)核函数就是将数据转化成易于分类器理解的一种形式，目前相对流行的一种核函数：径向基函数径向基函数把数据从一个特征空间映射到另一个特征空间...
2019-11-30 20:04:34
280
原创 《机器学习实战》《西瓜书》学习（六）- 回归
文章目录logist回归最佳回归系数与Sigmod函数梯度上升法绘制决策边界随机梯度上升法梯度下降法logist回归最佳回归系数与Sigmod函数σ=1/(1+e−z)\sigma = 1/(1 + e^{-z})σ=1/(1+e−z)z=w0x0+w1x1+w2x2+....wnxnz = w_0x_0+ w_1x_1+ w_2x_2+ ....w_nx_nz=w0x0+w1x1...
2019-11-30 20:02:54
150
原创 《机器学习实战》《西瓜书》学习（五）- 贝叶斯
贝叶斯贝叶斯贝叶斯定理朴素贝叶斯的一般过程文本分类准备数据，从文本中构建词向量训练算法，从词向量计算概率测试算法，改进贝叶斯贝叶斯定理p(c∣x)=p(x∣c)p(c)p(x)p(c|x) = \frac{p(x|c)p(c)}{p(x)}p(c∣x)=p(x)p(x∣c)p(c)其中c为类别，x为实例具有特征{x1,x2,...xi}\{x_1,x_2,...x_i\}{x1,x2...
2019-11-30 20:01:28
192
原创 《机器学习实战》《西瓜书》学习（四）-决策树
决策树决策树本质上是一种流程图，长方形代表判断模块，椭圆代表终止模块，左右箭头指引节点的上下分支决策树相比较于KNN，其重要的原因就是其数据形式非常容易理解，而KNN的数据形式所包含的内在含义却不是很容易理解优点计算复杂度不高，可以处理不相关特征数据，对中间数据的缺省值不敏感缺点会产生过度匹配问题信息论划分数据集"""划分数据集的伪代码"""检测数据集是否属于同一类： ...
2019-11-27 17:39:05
760
原创 Java(五）
方法方法的定义MethodDeclaration: MethodHeader MethodBodyMethodHeader: Modifiersopt ResultType Identifier(FormalParameterListopt) ThrowsoptModifiers: public protected private static abstract final syn...
2019-11-26 23:23:16
192
原创 Java(四）
循环while循环int i = 0;while (i < 100) { System.out.println(“Welcome to Java!”); i++; //必须有语句改变循环条件}do while循环"""循环体至少执行一次"""do statement or block while (loop-continuation-con...
2019-11-26 23:22:25
75
原创 《机器学习实战》《西瓜书》笔记（三）- KNN
《机器学习实战》《西瓜书》笔记（三）- KNNKNN原理输入带有标签的训练集输入没有标签的新数据算法将输入数据的特征与训练集的数据的特征进行比较求新数据与样本集中数据的距离算法提取样本集中最相似数据（最近邻）的分类标签，只选择前K个最相似的数据选取k个相似数据频率最多的分类属性作为新数据的分类属性KNN伪代码计算已知类别数据集中点与当前点的距离按照距离从小到大递增排序选...
2019-11-26 19:50:39
600
原创 Java(三）
Shy-Learnjava（3）基础3 数学函数、字符与字符串3.1 数学函数Math是final类：在java.lang.Math中，所有数学函数都是静态方法# Math类中定义了常用的数学常量，如PI : 3.14159265358979323846E : 2.7182818284590452354# 方法:注意都是静态函数# 三角函数sin, cos, tan, asin,...
2019-11-26 15:48:46
255
原创 Java(二）
Shy-Learnjava（2）基础2 选择2.1 布尔类型和逻辑运算符boolean类型的值有真(true)或假(false)。关系运算符: <, <=, >, >=, ==, !=关系运算符的计算结果是boolean类型boolean类型不能与其它数据类型混合运算布尔运算符: !, &&, ||, ^, &, | &&am...
2019-11-26 15:47:56
150
原创 Java(一）
从今天开始复习javaShy-Learnjava（1）基础0 编程风格注释类和方法前使用文档注释方法步骤前使用行注释。命名变量和方法名使用小写，如果有多个单词，第一个单词首字母小写，其它单词首字母大写。类名的每个单词的首字母大写。常量使用大写，单词间以下划线分隔。缩进、空格、块样式（在eclipse中使用ctrl+shift+f）1 基本程序设计编写一个程...
2019-11-26 15:46:54
82
原创 《机器学习实战》《西瓜书》笔记（二）- 模型评估与选择
《机器学习实战》《西瓜书》笔记（二）- 模型评估与选择经验误差与过拟合错误率与精度错误率是分类错误的样本数占样本总数的比例，精度是分类正确的样本数占样本总数的比例。误差与经验误差学习器的实际预测输出与样本的真实输出之间的差异称为“误差”，学习器在训练集上的误差称为训练误差/经验误差，在新样本上的误差称为“泛化误差”。过拟合与欠拟合然而，当学习器把训练样本学得"太 好"了的时候，很可...
2019-11-26 15:29:04
1186
1
原创 《机器学习实战》《西瓜书》笔记（一）
《机器学习实战》《西瓜书》笔记（一）机器学习的相关概念我们要做的其实是让机器他有自己学习的能力，也就我们要做的应该machine learning的方向。讲的比较拟人化一点，所谓machine learning的方向，就是你就写段程序，然后让机器人变得了很聪明，他就能够有学习的能力。接下来，你就像教一个婴儿、教一个小孩一样的教他，你并不是写程序让他做到这件事，你是写程序让它具有学习的能力。然后...
2019-11-26 15:28:07
718
原创 科技论文写作常用句式结构
学术论文写作的常用句式结构科技论文的时态的用法Abstract：过去时Introduction：现在时（已过时的结果用过去时）Method：过去时Result：过去时（对图表的描述用现在时）Discussion：现在时Conclusion：研究成果用过去时，展望用现在时或将来时图表中的数据描述：过去时AbstractA basic problem in the desi...
2019-11-25 19:57:17
2710
1
转载 《矩阵论》总结
前言：《矩阵论》更像进阶版的线性代数，是一门高级数学。《线性代数》运算的对象是：常数。 《矩阵论》运算的对象是：矩阵。这门学科使得数学更加贴近于生活。小白将研究生阶段学习的《矩阵论与数理统计——理论及其工程应用》中“矩阵论”部分的提纲列写在下面。既可以梳理知识点，也为后面的复习巩固和查阅使用做些笔记。...
2019-11-25 19:15:55
2703
原创 Python复习笔记（3）
SHYLearn_python6 错误异常与文件读写6.1 错误异常捕捉6.1.1 异常语句结构try: passexcept(ZeroDivisionError, ValueError): print('错误')except: print('其它异常’)except Exception as e: # 捕捉未知异常 print(e)else: ...
2019-11-25 18:42:10
172
原创 Python复习总结（2）
SHYLearn_Python3. 格式化输入与输出3.1 格式化输入a = input(<info>)a = input(repr(str))3.2 格式化输出3.2.1 print语句print(a, b) 同行以空格隔开输出print(a, b,s ep=',') 以逗号隔开进行输出print(s, ewp='\n') 以换行隔开进行输出print...
2019-11-25 18:40:51
196
原创 Python复习总结（1）
Shypython-learn-notes1. python 数据类型1.1 变量1.1.1 算术运算符- 加减乘除+、-、*、/- 取余、取整、取绝对值 %、//、abs()- 最小、最大值 min()、max()- 复数 complex(re,im)- 取共轭 c.conjugate()- 返回商和余数 divmod(x,y) 1.1.2 布尔运算符- 小于、大于 ...
2019-11-25 18:39:11
159
转载 Matlab 基本绘图基础
Matlab 基本绘图基础基本的绘图方法最近准备数学竞赛需要对Matlab重新进行一个系统的学习，于是将在学习中学到的东西以博客的形式记录一下，这里介绍的是Matlab中的基本的绘图方法概论 对Matlab中的一些基本绘图方法的一个小的概括二维图形：其中的plot等函数的选项描述：三维图形 专有图形实际代码效果二维图形- 特殊二维图形polar s...
2019-11-25 18:35:28
2109
原创 数学建模绘图
数学建模绘图1. matalb 绘图坐标的处理i. 设置坐标轴范围axis([xmin xmax ymin ymax]) % 二维坐标axis([xmin xmax ymin ymax zmin zmax]) % 三维坐标axis auto % 恢复默认ii. 设置坐标轴纵横比axis square % 让x轴与y轴长度相同axis equal % 让 ...
2019-09-12 17:38:05
4837
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人