- 博客(670)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 【DL学习笔记】4：长短期记忆网络(Long Short-Term Memory)
在前面学习的循环网路中，因为梯度中有参数weight_hh的k次幂的存在，所以会导致梯度弥散和梯度爆炸的问题。对于梯度爆炸问题，可以用PyTorch笔记22最后面给出的梯度裁剪的方式解决。但是梯度弥散的问题没法这样直接解决，LSTM一定程度上解决了这样的问题，从而为长序列记忆提供了较好的解决方案。长序列难题在原始的循环网络中，实际上能处理的记忆信息比较短。如对自然语言的处理中，只能记住之前较少...
2020-02-22 01:58:51
1799
2
原创 【PyTorch学习笔记】22：使用nn.RNN构建循环网络预测序列数据的例子
简述在这个例子中，从[k,k+n)[k,k+n)[k,k+n)时刻的正弦函数，要去预测[k+t,k+n+t)[k+t,k+n+t)[k+t,k+n+t)时刻的正弦曲线。因为在每个时刻曲线上的点是一个值，所以这个例子中不需要做embedding，也就是feature_len=1。如果要给出49个时刻的点，也就是seq_len=49。如果只提供一条曲线在训练时喂入，也就是batch=1。按照之前...
2020-02-21 12:04:58
2364
2
原创 【PyTorch学习笔记】21：nn.RNN和nn.RNNCell的使用
这节学习PyTorch的循环神经网络层nn.RNN，以及循环神经网络单元nn.RNNCell的一些细节。1 nn.RNN涉及的TensorPyTorch中的nn.RNN的数据处理如下图所示。每次向网络中输入batch个样本，每个时刻处理的是该时刻的batch个样本，因此xtx_txt是shape为[batch,feature_len][batch, feature\_len][batch,f...
2020-02-19 15:15:43
10557
8
原创 【DL学习笔记】3：循环神经网络(Recurrent Neural Network)
1 序列数据表示1.1 简述语音、文字等有先后顺序，属于序列数据，将序列据表达为能处理的形式就叫Sequence Representation。如对文字而言，PyTorch中没有对string的支持，所以要将其表示成数值形式，相应的方法就是Word Embedding。通常将一个序列表示为[元素数、每个元素的向量长]的Tensor形式：[seq_len, feature_len]...
2020-02-18 18:36:46
563
原创 【PyTorch学习笔记】20：使用nn.Module类及其周边
关于nn.Module在PyTorch中nn.Module类是用于定义网络中前向结构的父类，当要定义自己的网络结构时就要继承这个类。现有的那些类式接口（如nn.Linear、nn.BatchNorm2d、nn.Conv2d等）也是继承这个类的，nn.Module类可以嵌套若干nn.Module的对象，来形成网络结构的嵌套组合。以下说明使用这个类的一些好处和基本方式。1 嵌套现有的类在torc...
2020-02-17 15:08:59
1619
原创 【DL学习笔记】2：ResNet和DenseNet
1 一些经典CNN模型这些经典CNN的架构已经没有学习的必要，只要知道它们引入了什么好的训练方法即可。1.1 LeNet最开始Yann Lecun发明的CNN即是LeNet，用来做手写数字的识别，LeNet-5是2层卷积+2层全连接+1层高斯连接（现在已经不怎么用了）。每层卷积操作后面还跟着下采样，这里的下采样就是使用例如隔行采样的传统下采样方法。1.2 AlexNet2012年Hint...
2020-02-16 23:04:24
1129
原创 【Avalonia学习笔记】1：数据绑定(Data Binding)的基本使用
1 简述数据绑定数据绑定（Data Binding）常用于将程序中的数据对象绑定到UI上，当程序中数据发生变化时让UI上显示的内容也跟着变化，或者当用户在UI上操作时就将程序中的后台数据也同步变化。Vue中也有类似的功能，只是Vue默认就做了双向数据绑定，但是Avalonia和WPF中不是这样，而且需要手动注册通知才能在数据set时候通知使用者（从这个角度看又很像是Qt的“信号槽”的封装）。使...
2020-01-25 17:37:29
4945
2
原创 【模型检测学习笔记】8：无限字上ω正则LT性质的验证
Bu¨chi自动机⇌ω正则语言⇌ω正则表达式Büchi自动机\rightleftharpoons \omega 正则语言 \rightleftharpoons \omega 正则表达式Bu¨chi自动机⇌ω正则语言⇌ω正则表达式1 无限字上的自动机1.1 Büchi自动机Büchi自动机（Büchi Automata）可以用于描述无限字上的LT性质。老师PPT上还是用了Peterson’s ...
2019-12-14 21:51:28
972
原创 【模型检测学习笔记】7：有限字上正则LT性质的验证
有限自动机⇌正则语言⇌正则表达式有限自动机\rightleftharpoons正则语言\rightleftharpoons正则表达式有限自动机⇌正则语言⇌正则表达式1 有限字上的自动机1.1 有限自动机有限自动机（Finite Automata）可以表示为确定性的DFA，或者更一般的非确定的NFA：A=(Q,Σ,σ,Q0,F)A=(Q, \Sigma, \sigma, Q_0, F)A=(...
2019-12-02 10:41:49
718
原创 【Bison学习笔记】1：生成简易的语法分析程序,使Bsion和Flex协同工作
简述Bison是在Yacc上改写并添加了大量特性后诞生的语法分析生成器，在编译前端（词法分析->语法分析->语义分析）中处在中间的位置，它可以用来生成特定的语法分析程序。安装Bison：apt-get install bison没有专用于Bison的IDE，可以在VSCode安装Lex Flex Yacc Bison插件，可以让Bison语法高亮。Bsion和Flex协同工...
2019-12-01 16:45:36
3863
原创 【Flex学习笔记】1：生成简易的词法分析程序
简述Flex是重写Lex诞生的快速词法分析生成器，在编译前端（词法分析->语法分析->语义分析）中处在最靠前的位置，它可以用来生成特定的词法分析程序。安装Flex：apt-get install flex没有专用于Flex的IDE，可以在VSCode安装Lex Flex Yacc Bison插件，可以让Flex语法高亮。Flex使用示例Flex程序通常写成.l文件，其中由...
2019-12-01 00:27:18
1389
原创 【模型检测学习笔记】6：线性时序性质(Linear-time Properties)
为方便，线性时序性质（linear-time properties）后续均简称LT性质。在系统分析中，描述线性时序行为（linear-time behavior）可以是基于动作的（action-based approach），也可以是基于状态的（state-based approach），本章主要学习的是基于状态的（但在学习公平性时用动作描述），也就可以在TS中刻意忽略转移过程中的具体动作，而只...
2019-11-12 21:35:17
2079
原创 【WebGME学习笔记】1：配置和使用WebGME
配置WebGME环境整体和配置使用Vue的时候很像。注意WebGME需要事先安装和启动本地的MongoDB服务。安装webgme-cli脚手架：npm install -g webgme-cli配置自动补全，打开WSL命令行，执行：echo ". G:\Program Files\nodejs\node_global\node_modules\webgme-cli\extra\webg...
2019-11-11 23:16:42
2304
1
原创 【进程代数学习笔记】4：[CSP]进程间的通道通信,管道与活锁避免
1 记号1.1 通道和数据同系统分析与验证课上学的Channel system记号类似，CSP中用序偶c.vc.vc.v（参见笔记一的2.14）表示在通道ccc上传送数据vvv。则进程PPP能够在通道ccc上通信的数据记为：αc(P)={v ∣ c.v∈αP}\alpha c(P) = \{v \ | \ c.v \in \alpha P \}αc(P)={v ...
2019-10-20 21:36:52
875
原创 【模型检测学习笔记】5：PG向TS的转换,进程并发的几种模型
1 PG向TS的转换在上节学习的数据依赖的系统中使用PG对系统进行了建模，在其他的场景下，如后面要学习的某些特殊的进程并发场景，也需要用PG对系统建模，将其转换成TS表示对实际实现是重要的。PG六元组：PG=(Loc,Act,Effect,↪,Loc0,g0)PG=(Loc,Act,Effect,\hookrightarrow,Loc_0,g_0)PG=(Loc,Act,Effect,↪,L...
2019-10-19 20:21:41
854
原创 【进程代数学习笔记】3：[CSP]进程与不确定性
前面一二章所学习的进程分裂或协作的方式有：选择（P∣QP|QP∣Q）：用于和环境交互，由环境（CSP里亦用进程表示）选择当前动作以决定进程接下来的分支。并发（P∣∣QP||QP∣∣Q）：用于进程间的协作，或用于为进程施加影响它的环境进程。如上面所述的，一条竖线表达的选择即是确定性（deterministic）选择，确定性选择是环境能把控的。与之相对地可以引入不确定性（nondeterm...
2019-10-18 23:57:26
902
原创 【进程代数学习笔记】2：[CSP]进程的并发执行与相关操作
1 并发(concurrency)与死锁1.1 例子如课本P8的复杂贩卖机进程：VMC=(in2p→(large→VMC∣small→out1p→VMC)∣in1p→(small→VMC∣in1p→(large→VMC∣in1p→STOP)))VMC = (in2p \to (large \to VMC | small \to out1p \to VMC) \\| in1p \to (s...
2019-10-18 19:05:36
684
原创 【进程代数学习笔记】1：[CSP]进程的基本表示,迹及其操作
1 进程的基本表示进程的普适表示是(x:A→P(x))(x:A \to P(x))(x:A→P(x))，意为选择字母表AAA中一动作xxx，在PPP执行过xxx这一动作后接下来的行为记作P(x)P(x)P(x)。A=αPA=\alpha PA=αP表示进程PPP的动作集合。STOPASTOP_ASTOPA表示无法执行任何动作的进程（注意AAA不同STOPASTOP_ASTOPA不同，但仅...
2019-10-13 23:05:06
1957
2
原创 【SciKit-Learn学习笔记】9：常用的特征编码手段
在Kaggle上看到了一个专门训练特征编码的竞赛，其中一个Kernel讲了常用的几种特征编码的手段，基于这篇教程做了些扩展学习。用于数据分析的特征可能有多种形式，需要将其合理转化成模型能够处理的形式，特别是对非数值的特征，特征编码就是在做这样的工作。常见特征种类二值数据：只有两种取值的变量（不一定是0/1，但是可以映射到{0,1}\{0,1\}{0,1}上）类别数据：多类的数据，如星期一...
2019-10-05 00:49:53
6589
2
原创 【模型检测学习笔记】4：基于TS以及Program Graph的软硬件系统建模
在TS中“变量”一词要以广义的方式理解，可以表示程序变量、程序计数器、寄存器值、输入位等。1 顺序硬件电路的建模1.1 一个简单的例子1.1.1 简要分析下面电路有输入xxx，寄存器rrr和输出位yyy：其中：λy=¬(x⊕r)δr=x∨r\lambda_y = \neg (x \oplus r) \\\delta_r = x \vee rλy=¬(x⊕r)δr=x∨r在...
2019-10-01 10:53:48
706
原创 【模型检测学习笔记】3：基于Transition System的系统模型
TS是一种常用的描述系统行为的模型，用结点表示状态，边表示转移关系，和KS的主要区别是状态转移是需要动作支持的，不同的动作往往对应着不同的状态转移。1 基本概念1.1 状态(State)状态是在某时刻系统所具有的特性和行为。和KS一样用原子命题集合表示状态，例如{a=2,b>3}\{a=2,b>3\}{a=2,b>3}。对交通灯而言，灯的颜色就是状态。对顺序程序而言，...
2019-09-30 19:54:42
1678
原创 【模型检测学习笔记】2：基于Kripke Structure的系统模型
形式化模型的构建思路舍弃和性质无关的细节，保留系统中的关键属性。如对于电路而言，各个门和布尔值是需要关心的，而电压是不关心的。对于通信协议而言，信息的交换过程是需要关心的，而具体交换的信息是和建模没关系的。本章学习的是对响应式系统（reactive system）以及它随时间的行为的建模，响应式系统会和环境进行交互，并且一般不会终止。State：在某一特定时刻系统中所有变量的取值，表征...
2019-09-26 10:44:45
1707
8
原创 【模型检测学习笔记】1：系统分析与验证概览
验证方法模拟：动态验证，常用，如今最主流的验证方法。仿真：类似模拟，但依赖于硬件。形式化验证：静态验证，用数学方法对模型的功能、功能、规范做检验。验证的完备性高，但实施困难。半形式化验证：形式化验证和前面结合。形式化验证分类按验证内容分类性质检验（property checking）：是否满足某些规范和功能需求。等价性验证（equivalence verification）：...
2019-09-24 16:05:41
1835
4
原创 【Nginx学习笔记】3：配置文件的语法,命令行的使用(重载配置文件,热部署,切割日志文件)
Nginx二进制文件中已经指定了Nginx包含了哪些模块，所有模块有独立的配置，但遵循相同的配置语法。Nginx配置文件语法基本规则有些指令块可以有参数（跟在指令块名后面），有些指令块不能有参数，具体是由提供指令块的Nginx模块来决定的。时间单位后缀空间单位后缀一个例子Nginx命令行的使用简述Nginx命令行和大多Linux命令是类似的，格式是nginx -参数 参数...
2019-08-19 16:44:51
450
原创 【算法学习笔记】4：贪心法，回溯法，分支限界法，解空间树剪枝
[4]贪心算法贪心算法不从整体最优上考虑，而是在局部最优上做出选择。对于很多问题贪心法不能得到整体最优解，但对于某些特殊的问题，仍然可以得到整体最优解。使用贪心算法应满足这些性质： ①最优子结构性质：一个问题的最优解包含的子问题也是最优的。 ②贪心选择性质：整体最优解可以通过一系列局部最优的选择，即贪心选择来达到。活动安排问题n个活动的集合E，都需要使用同一资源，活动i有开始时间si和
2019-08-17 22:38:09
8958
原创 【Nginx学习笔记】2：Nginx的版本发布情况,选择哪种Nginx,安装符合自己需求的Nginx
版本发布情况在Nginx开源版官网点击右侧download可以看到各个版本的Nginx，其中Mainline是抢先的主干版本（版本号是奇数），Stable是稳定版（版本号是偶数）。点击某个版本左侧的CHANGES可以查看CHANGES文件，其中Feature标注了新增的功能，Bugfix标注了修复的bug，Change标注了做了重构的部分。选择哪种Nginx没有特殊需求一般就用开源版Ngi...
2019-08-17 22:32:37
865
原创 【Nginx学习笔记】1：Nginx的使用场景,出现背景,优点,组成部分
Nginx的使用场景[1]反向代理服务应用服务对开发效率要求很高，其使用效率（QPS，TPS等）是非常有限的，所以需要很多应用服务构成集群，这时候就要用到Nginx的反向代理功能，将动态请求传给各个应用服务。这些应用服务构成集群后至少又会产生两个需求：动态扩容容灾处理（服务可能会出问题）所以Nginx反向代理要有负载均衡的功能。另外，Nginx往往处在企业内网的边缘，随网络链路...
2019-08-14 15:33:48
766
原创 【MATLAB学习笔记】1：基本操作技巧和矩阵的使用
特殊变量和常量使用iskeyword命令可以看到众关键字，但还有些特殊变量和常量也不能作为标识符来使用。ans：最近一次计算的结果i，j：用于表示复数Inf（即inf）：无穷大，试计算1/0和log(0)将分别得到正负无穷大eps：表示浮点数的相对精度，浮点数越靠近0精度越大，MATLAB无法表示1至1+1eps之间的数，也无法表示2至2+2eps之间的数NaN：Not a Numb...
2019-07-24 22:07:36
744
原创 【PyTorch学习笔记】19：Batch Normalization
归一化(Normalization)简述现在常使用ReLU函数，避免梯度弥散的问题，但是有些场合使用Sigmoid这样的函数效果更好（或者是必须使用），如Sigmoid函数当函数值较大或者较小时，其导数都接近0，这会引起梯度弥散，所以要将输入控制在一个较好的范围内，这样才避免了这种问题。Batch Normalization就是为了解决这个需求的，当将输出送入Sigmoid这样的激活函数之前...
2019-04-30 12:40:53
1939
1
原创 【PyTorch学习笔记】18：pooling,up-sample,ReLU
pooling池化是下采样（down-sample）的一种手段，让feature map减小；而up-sample则是上采样，实际上做了放大图像的操作。在CNN中，基本的单元是一个Conv2d，后面配上[Batch Norm, pooling, ReLU]，后面三个的顺序不一定。pooling图像的down-sample在图像中要缩小图像的尺寸，常用的是隔行采样的方式，例如纵向每隔一行...
2019-04-29 10:21:26
3039
1
原创 【Go学习笔记】1：变量,常量,数组
变量基本使用package mainimport "fmt"var e = "一个全局变量字符串"var f, g int = 1, 2 //一次定义多个//可以用因式分解的写法var ( h, i, j int = 3, 4, 5 k bool = false l, m float32 = 2.5, 3.5)func main() {...
2019-04-26 21:10:23
2319
原创 【Keras学习笔记】11：CNN识别MNIST手写数字
CNN架构卷积层 layers.Conv2Ddata-format: 输入图像的格式,当为"channels_last"时为(batch, height, width, channels);当为"channels_first"时为(batch, channels, height, width)filters: 生成多少个卷积核(要得到的图像的厚度),即变换后的图像通道数kernel_si...
2019-04-24 15:28:04
378
原创 【Keras学习笔记】10：IMDb电影评价数据集文本分类
读取数据import kerasfrom keras import layersimport numpy as npfrom matplotlib import pyplot as pltimport pandas as pd%matplotlib inlineUsing TensorFlow backend.data = keras.datasets.imdb# 最多提取1...
2019-04-20 18:50:20
2393
1
原创 【Keras学习笔记】9：从MNIST手写数字识别中初识ANN超参数的选择
读取数据import kerasfrom keras import layersimport numpy as npfrom matplotlib import pyplot as pltimport pandas as pd%matplotlib inlineUsing TensorFlow backend.from keras.datasets import mnist a...
2019-04-19 19:31:39
2318
2
原创 【Keras学习笔记】8：使用Dropout和正则化项抑制过拟合
读取数据和预处理import kerasfrom keras import layersimport numpy as npfrom matplotlib import pyplot as pltimport pandas as pd%matplotlib inlineUsing TensorFlow backend.data = pd.read_csv("./data/cre...
2019-04-19 17:38:01
1848
原创 【Keras学习笔记】7：较多参数的MLP在信用卡欺诈数据集上过拟合
读取数据和预处理import kerasfrom keras import layersimport numpy as npfrom matplotlib import pyplot as pltimport pandas as pd%matplotlib inlineUsing TensorFlow backend.# header=None表示数据文件没有表头,第一行就是数...
2019-04-17 19:59:47
1618
1
原创 【Keras学习笔记】6：MLP预测Titanic数据集
读取数据和预处理import kerasfrom keras import layersfrom matplotlib import pyplot as pltimport numpy as npimport pandas as pd%matplotlib inlineUsing TensorFlow backend.data = pd.read_csv("./data/tt_...
2019-04-17 18:04:57
2564
2
原创 【Keras学习笔记】5：Softmax多分类预测Iris鸢尾花数据集(顺序编码)
读入数据和预处理import kerasfrom keras import layersimport numpy as npimport pandas as pdfrom matplotlib import pyplot as plt%matplotlib inlineUsing TensorFlow backend.df = pd.read_csv('./data/Iris....
2019-04-16 15:27:34
4013
1
原创 【Keras学习笔记】4：Softmax多分类预测Iris鸢尾花数据集(one-hot编码)
读入数据和预处理import kerasfrom keras import layersimport numpy as npimport pandas as pdfrom matplotlib import pyplot as plt%matplotlib inlineUsing TensorFlow backend.df = pd.read_csv("./data/Iris....
2019-04-16 15:04:16
4514
1
原创 【Keras学习笔记】3：Logistic回归预测Kaggle泰坦尼克数据集
Logistic回归预测Titanic读取数据import pandas as pdimport kerasfrom keras import layersimport numpy as npUsing TensorFlow backend.data = pd.read_csv("./data/tt_train.csv")data.head() ...
2019-04-13 20:41:58
1099
算符优先分析法
2018-05-22
已经整合好的小型S2SH框架(完全注释+依赖jar包)
2018-05-13
举例说明汇编语言子程序递归调用过程中堆栈内容的变化过程
2017-12-03
有关Linux进程家族树
2017-10-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人