- 博客(26)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 win7激活及问题的解决
小马激活工具出现的问题及解决：C:\OEMSF拒绝访问报错 http://www.windows7en.com/Win7/16540.html， https://jingyan.baidu.com/article/8065f87f951d47233024984f.html如何显示C盘隐藏文件夹...
2019-03-27 23:10:30
1604
原创 pytorch从打印输出的张量确定维度
tensor( [[[[ 0.4024, 0.8702], [-0.0625, -0.3826]], [[-1.1489, -0.5550], [ 0.0176, 1.0890]]]]) tensor( [[[ 0.4024, 0.8702, -0.0625, -0.3826], [-1....
2019-03-24 19:15:39
3493
转载 解决matplotlib将中文显示成白框框的问题
解决方法很简单，在导入plt包后面加入两条语句。如下import matplotlib.pyplot as pltplt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签plt.rcParams['axes.unicode_minus']=False #用来正常显示负号转载自https://blog.csdn.net/qq_37315...
2019-03-24 10:07:29
641
原创 qt报错Cannot find the androiddeploy Json file
https://blog.csdn.net/vivian0239/article/details/82255656这篇文章的做法试过，不能解决我的问题。我的解决：在左下方构建和运行的选项中，选择可以运行的那个（不清楚为什么要选特定的）...
2019-03-19 12:09:09
1082
原创 AllenNLP实践——fine-tune
AllenNLP的commands命令中有一个fine-tune命令，可以在新的数据集上训练模型，或者在原来的模型上继续训练。fine-tune命令跳过配置文件的model部分，即网络结构是要固定下来的，其他参数可以变。比如可以在配置文件设置trainer的no_grad，冻结一些层，让他们不进行参数更新，而其他层的参数正常更新。以qanet.jsonnet为例在windows中首先要去...
2019-03-17 10:42:47
725
原创 BERT的vocabulary字典
在pytorch-pretrained-BERT/pytorch_pretrained_bert/tokenization.py文件中可以看到BERT使用的vocabulary链接，但是不用特殊的上网方式打不开。PRETRAINED_VOCAB_ARCHIVE_MAP = { 'bert-base-uncased': "https://s3.amazonaws.com/models.hu...
2019-03-17 09:40:17
9640
4
原创 AllenNLP源码学习——embedder（简略）
token_embedders用于将index后的词转为tensor。常用的是Embedding类（可以读取预训练词向量）和TokenCharactersEncoder类。对于TextField，需要用TextFieldEmbedder，更具体地，BasicTextFieldEmbedder。BasicTextFieldEmbedder用来管理多个token_embedder，这样单词可以有...
2019-03-11 15:33:25
1520
转载 Counter most_common
转载自：https://blog.csdn.net/qq_39865495/article/details/81589372
2019-03-10 17:16:47
638
原创 AllenNLP源码拓展——自动完成一批训练任务
前几天突然想到，AllenNLP的train命令是根据一个配置进行一项训练任务，如果可以把train命令打包到一个for循环里，那不是可以自动完成多个训练任务嘛。如果完成一个训练任务需要一个小时，那么一个晚上可以设置不同的参数，或者对于不同的模型，完成十几次的训练任务，充分地利用了晚上的时间。于是就在前几天，趁着实验室的机器还没有修好，尝试实现了一下我的想法，参考train命令的代码，自己加了一...
2019-03-09 14:28:25
720
原创 AllenNLP源码学习——Embedding
上次阅读Vocabulary的代码时，我注意到，加入词典的token先用词频进行了排序，再加入词典的，那么它的顺序就和预训练词向量文件不一样了，于是阅读Embedding，了解了它是如何使用预训练词向量的。Embedding.py文件中定义了一些类和函数，对于处理URL和hdf5文件相关的，我没有看。训练配置文件vocabulary有一项pretrained_files，用来构造词典mod...
2019-03-08 17:03:18
1013
转载 Pytorch快速离线安装
    前一阵配置Ｐytorch的虚拟环境，即使加了清华镜像也好像跳到了默认路径，装载龟速，更可恶的是中间会挂掉，无奈之下，开始研究如何快速安装，终于找到了（泪奔）～～～～～ 首先，到https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/linux-64/中下载所需的.tar
2019-03-08 10:17:55
3538
原创 CUDA与对应版本cuDNN的下载安装
从ubuntu+cuda8.0+cudnn5.1+tensorflow gpu的配置CUDA：https://developer.nvidia.com/cuda-toolkit-archivecuDNN：https://developer.nvidia.com/rdp/cudnn-archive
2019-03-08 10:15:55
6556
原创 AllenNLP源码拓展——训练结束向邮箱发邮件
训练模型时，不知道什么时候会结束（特别是设置了早停时），因此之前习惯过一会看一下状况。所以前不久想到，如果添加代码，在训练结束后向自己的邮箱发送邮件，那不是很方便嘛。于是我尝试在AllenNLP的源码上添加发送邮件的代码。如果需要改写源码，不能直接用pip安装，需要按照https://github.com/allenai/allennlp的Installing from source部分所说的方...
2019-03-07 16:39:21
1869
原创 AllenNLP学习资料
http://www.realworldnlpbook.com/blog/AllenNLP官方教程：https://allennlp.org/tutorials ，https://github.com/allenai/allennlp/tree/master/tutorials利用AllenNLP，百行的Python代码训练情感分类器AllenNLP 使用教程CSDN博客...
2019-03-06 15:45:29
452
原创 AllenNLP源码学习——Batch与DataIterator
DataIterator类用来把读取数据集类输出的Instance打包为Batch。子类需要重写_create_batches()方法，把Instances打包成Batch。最常用的子类是BucketIterator。BucketIterator默认情况下，根据每Batch的最大输入长度填充Batch可以提供Field名字的List和padding keys，在执行此批处理之前将对数据集...
2019-03-06 14:32:16
1513
1
原创 AllenNLP源码学习——Instance
Instance是Field的集合，是一个Dict，Mapping[str, Field]。例如{'passage':TextField(passage_tokens, token_indexers), 'span_start':IndexField(span_start, passage_field)}在读取数据集的def _read()方法（生成器，返回迭代器）中，输出为yield，即一次...
2019-03-05 22:50:38
531
原创 AllenNLP源码学习——Vocabulary
class _NamespaceDependentDefaultDict(defaultdict)记录non_padded_namespaces（哪些namespace不需要pad，例如tags，labels），以及如何进行pad（padded_function），或者不pad（non_padded_function）def missing(self, key: str)： 处理如果key在...
2019-03-05 18:07:29
1637
原创 AllenNLP笔记——Reading-Comprehension如何得到答案最佳的起始，终止位置
输入start与end的logits数据start = torch.tensor([[0.3, 0.4, 0.1, 0.1, 0.2]])end = torch.tensor([[0.1, 0.2, 0.2, 0.4, 0.5]])start与end求和的矩阵，行为start，列为endtensor([[[0.4000, 0.5000, 0.5000, 0.7000, 0.8000],...
2019-03-04 17:41:46
474
原创 AllenNLP源码学习——CategoricalAccuracy和BooleanAccuracy
CategoricalAccuracy构造参数：top_k（取logits值的最大的前k个），tie_break（如果最大logits值出现多个相同的值，是否可以取平均）例：输入为[[0.3, 0.5, 0.5, 0.2, 0.1]，label为[[2]]如果tie_break=True，最终得到的correct（计数）为0.5如果tie_break=False，最终得到的correct（...
2019-03-04 15:55:32
746
原创 pyinstaller打包.py文件为.exe可执行文件
安装pyinstallerpip install pyinstaller使用pyinstaller -F XXX.py -i icon.jpg-F是打包成单个exe，-i是设置exe图标。执行后，看到同级目录下多出几个文件。等待一段时间后。。最终失败。。=,=’...
2019-03-04 10:52:40
289
原创 CrossEntropyLoss与NLLLoss的总结
nll_loss(negative log likelihood loss)：最大似然 / log似然代价函数CrossEntropyLoss: 交叉熵损失函数。交叉熵描述了两个概率分布之间的距离，当交叉熵越小说明二者之间越接近。nn.CrossEntropyLoss() 与 NLLLoss()NLLLoss 的 输入 是一个对数概率向量和一个目标标签. 它不会为我们计算对数概率. 适合网络...
2019-03-03 13:22:20
21941
1
原创 AllenNLP源码学习——trainer
trainer是模型训练的中枢，它的内部控制着模型训练的各个组件，如model，iterator，datasets，num_epochs，optimizer，读取与保存，打印输出，早停，summary_interval(多少个epoch用tensorboard记录一次)，should_log_learning_rate（是否记录学习率变化）等。一个epoch全部数据训练一轮结束后，输入一遍验证...
2019-03-02 17:29:22
1688
原创 深度学习为什么会出现validation accuracy大于train accuracy的现象？
知乎：深度学习为什么会出现validation accuracy大于train accuracy的现象？概括他们的答案：validation的样本数量一般远小于training的val的时候是用已经训练了一个epoch的model进行测试的(经过大量的训练学习到东西了)data augmentation把训练集变得丰富，制造数据的多样性和学习的困难来让network更robust（比如旋...
2019-03-02 00:19:05
8184
转载 如何快速转载CSDN中的博客
前言 对于喜欢逛CSDN的人来说，看别人的博客确实能够对自己有不小的提高，有时候看到特别好的博客想转载下载，但是不能一个字一个字的敲了，这时候我们就想快速转载别人的博客，把别人的博客移到自己的空间里面，当然有人会说我们可以收藏博客啊，就不需要转载，(⊙o⊙)… 也对。。实现 因为我自己当初想转载的时候却不知道该怎么转载，所以学会了之后就把方法写出来，帮助那些想转载却不知...
2019-03-01 23:41:52
64
转载 batch、batch_size、epoch、iteration简介
batch_size、epoch、iteration是深度学习中常见的几个超参数：（1）batchsize：每批数据量的大小。DL通常用SGD的优化算法进行训练，也就是一次（1 个iteration）一起训练batchsize个样本，计算它们的平均损失函数值，来更新参数。（2）iteration：1个iteration即迭代一次，也就是用batc...
2019-03-01 23:36:52
1368
opencv4.5的dnn_text_spotting模型文件下载
2020-12-23
rdn-liif.rar
2020-12-23
ncnn-android-lib.zip
2020-05-19
nvidia_dali-0.21.0-1239037-cp37-cp37m-manylinux1_x86_64.whl
2020-05-05
Quora Question Pairs数据集
2019-07-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人