- 博客(18)
- 问答 (8)
- 收藏
- 关注
RSS订阅原创 智能问答系统研究_王瑛（论文收获）
智能问答系统分为任务型和非任务型。面向任务型问答系统的目的是完成具体的任务，例如查询酒店，订餐等。面向非任务问答系统的主要目的是和用户进行自由交流，很典型的就是当前流行的聊天机器人。 答案生成三种方式：检索、自动生成、检索+自动生成。...
2022-01-17 17:26:08
520
原创 pytorch学习笔记（12）
RNN优化方法 一、增加网络容量的通常做法是增加每层单元数（增加hidden的维数）或增加层数。 循环层堆叠 二、使用循环dropout来降低过拟合。 对每个时间步应该使用的dropout掩码（dropout mask，相同模式的舍弃单元），而不是让dropout掩码随着时间步的增加而随机变化。 三、使用双向RNN 双向RNN是一种常见的RNN变体，它在...
2021-11-17 20:33:41
113
原创 pytorch学习笔记（11）
Word2VecWord2Vec是一种能有效从文本语料库中学习到独立词嵌入的统计方法。GloVe GloVe算法是对于word2vec方法的扩展，更为有效。它是由斯坦福大学Pennington等人开发。文本分类预处理的步骤 一、分词 二、创建词表 三、词嵌入表示...
2021-11-14 10:42:11
352
原创 pytorch学习笔记（10）
增加层的缺陷：模型想取得更高的正确率，一种显然的思路就是给模型添加更多的层。随着层数的增加，模型的准确率得到提升，然后过拟合；这时再增加更多的层，准确率会开始下降。在到达一定深度后加入更多层，模型可能产生梯度消失或爆炸问题可以通过更好的初始化权重、添加BN层等解决现代架构，试图通过引入不同的技术来解决这些问题，如残差连接。...
2021-11-13 15:26:17
227
原创 pytorch学习笔记（9）
什么是超参数 搭建神经网络中，需要我们自己选择（不是通过梯度下降算法去优化）的那些参数。比如中间层的神经元个数、学习速率如何提高网络拟合能力 1.增加层2.增加神经元的个数 单纯的增加神经元个数对于网络性能的提高并不明显，增加层会大大提高网络的拟合能力，这也是为什么现在深度学习的层越来越深的原因。 注意：单层的神经元个数，不能太小，太小的话，会造成信息瓶颈，使得模型欠拟合参数选择原则： ...
2021-11-11 15:51:32
754
原创 pytorch学习笔记（8）
批标准正则化 简介： 一般我们只在输入数据传到神经网络前进行一次标准化，而批标准正则化是在网络的每一次变换之后都应该考虑数据标准化。优点：批标准化解决的问题是梯度消失与梯度爆炸 批标准化是一种训练优化方法优点：具有正则化的效果提高模型的泛化能力允许更高的学习速率从而加速收敛...
2021-11-11 10:22:53
813
原创 pytorch学习笔记（7）
代码实现dropout使用nn.Dropout()初始化dropout层，由于在训练时dropout会随机丢弃而预测时不会，所以在调用model(input)前要使用model.train()或者model.eval()声明现在是在训练还是预测
2021-11-10 21:29:38
658
原创 pytorch学习笔记（6）
dropout解决过拟合问题dropout可以随机丢弃一些神经元，训练时由于每次丢弃的神经元不一样，所以等同于创建多个模型，预测时会使用所有的神经元dropout可以解决过拟合的原因取平均的作用。减少神经元之间复杂的共适应关系：因为dropout程序导致两个神经元不一定每次都在一个dropout网络中出现。这样权值的更新不再依赖于有固定关系的隐含节点的共同作用，阻止了某些特征仅仅在其它特定特征下才有效果的情况。dropout类似于性别在生物进化中的角色：物种为了生存往往会倾向于适
2021-11-10 21:17:24
505
原创 pytorch学习笔记（5）
使用gpu加速训练使用torch.cuda.is_available()检查gpu是否可用创建model后使用model.to('cuda')将模型放到gpu上 将输入x通过 x.to('cuda')放到gpu上将标签y通过 y.to('cuda')放到gpu上 其它不变即可从cpu上训练转为gpu上训练...
2021-11-10 21:00:52
228
原创 pytorch学习笔记（4）
不同问题使用的损失函数和输出设置回归问题： 损失函数：均方误差mse 输出层激活方式：无二分类问题 回答是和否的问题损失函数：BCEloss输出层激活方式：sigmoid 输出张量长度为1损失函数：CrossEntropyLoss输出层激活方式：无输出张量长度为2多分类问题 多个分类的问题，输...
2021-11-09 16:25:01
465
原创 pytorch学习笔记（3）
优化器SGD优化器：随机梯度下降优化器 定义：随机梯度下降优化器SGD是对一个小的批次（就是一个batch）训练，计算出它们的平均梯度之后再对参数进行优化。 SGD参数： lr：（float）学习率 momentum：（float）用于加速SGD在相关方向上前进，并抑制震荡decay：（float）每次参数更新后学习率衰减值 nes...
2021-11-09 15:23:11
71
原创 pytorch学习笔记（2）
在pytorch中，对于多分类问题我们使用 nn.CrossEntropyLoss()和nn.NLLLos等来计算softmax交叉熵
2021-11-09 15:00:57
82
原创 pytorch学习笔记（1）
训练数据最好使用DataSet和DataLoader，可以自动一个batch一个batch的取出数据，同时可以使用shuffle来打乱源数据顺序，防止因为顺序对模型造成一些不好的影响。from torch.utils.data import DataLoaderHR_ds = TensorDataset(X, Y)HR_dl = DataLoader(HR_ds, batch_size=batch)model, opt = get_model()for epoch in range(ep
2021-11-04 20:44:48
78
原创 神经网络前向传播与反向传播
神经网络中的正向传播：确定w和b。神经元算出一个值后要通过激活函数的运算才能输出。神经网络中的反向传播：根据损失函数计算的偏差反向去调整w和b的大小。在反向传播过程中采用向量的加法去分配偏差值。梯度的方向是增加数值最快的方向，它的反方向是数值减小最快的方向，把损失函数看做是一个向量。...
2021-10-10 15:04:48
100
原创 vuex和mixin中data的区别
vuex是所有组件公用数据，响应式。组件a对vuex的state的x修改，组件b使用了vuex的state的x会跟着变化。mixin中的data大概可以理解为复制粘贴代码到引用mixin的组件，即组件a和组件b中的data中的x是相互独立的，不会组件a中的x改了组件b中的x跟着改。...
2021-08-13 20:30:04
448
原创 vue2 基础知识点（由尚硅谷视频总结）
视频网址https://www.bilibili.com/video/BV1Zy4y1K7SH?p=53&spm_id_from=pageDriverel 两种指定方法el:'#root',v.$mount('#root')data两种写法 data:{ a:'1'}最好使用第二种（模板中第一种不能用） data(){...
2021-08-09 16:31:33
176
原创 vue中使用引用的js文件中的函数
要将引用的js放到vue的函数中去。例如：a.js中有函数test（），我们要在vue中使用，那么需要在vue的methods中写一个函数vue_a(){window.test()}这样就可以调用a.js中的test函数
2021-06-28 14:55:28
1556
原创 正则表达式
正则表达式https://www.bilibili.com/video/BV1da4y1p7iZ?from=search&seid=1033822496613978103? 表示0个或者1个* 表示0个或者多个+ 表示出现1次以上的字符{n} 表示出现n次{low，height} 表示出现在此区间内{n，} 表示出现大于n次(字符字符) 使用括号括起来多个字符 即将多个字符视为一个整体 可以继续使用上面出现的方法或 |a （cat|do...
2021-06-16 15:40:15
78
空空如也
怎么Bert用来生成词向量？
2021-12-20
IIS服务器发布不显示网页，显示根目录文件，请问怎样才能让其显示网页？
2021-08-21
为什么ul的内容呈现阶梯状显示？
2021-08-11
引用js文件，给js文件里的变量一个初始值
2021-07-14
C# 有什么方法可以让obj.a用obj["a"]表示？
2021-06-24
C#项目开发总体设计分层？
2020-07-31
C#Combobox中SelectedItem的使用方法？
2020-07-14
C#的form的事件中的Form1_Enter是在什么情况下触发？
2020-07-11
TA创建的收藏夹 TA关注的收藏夹
TA关注的人