- 博客(46)
- 收藏
- 关注
RSS订阅原创 linux删除文件恢复
然后我们就可以看到被删除的文件名后面带有(deleted)，以及他的对应文件名，通常为数字，然后我们可以通过cp的方式将已删除的文件进行还原。早上不小心将部署文件删除了，内心十分复杂，终于找回部分损失，其中一个非常重要的点是，在这里可以看到10674为删除的进程号。然后我们需要进入进程号的位置。
2023-08-28 11:18:59
279
原创 【论文精读3】基于历史抽取信息的摘要抽取方法
论文分享今天分享的是来自2018ACL的长文本抽取式摘要方法论文，作者来自哈尔滨工业大学和微软，引用数369摘要抽取通常分为两个部分，句子打分和句子选择。句子打分的方法有基于特征的，比如字概率，TF-IDF权重，句子位置和句子长度特征，基于图的方法比如TextRank和LexRank。在句子选择阶段，有基于最大边际相关性（maximal marginal relevance）的方法，选择分数最高，冗余最小的摘要；
2023-08-01 17:13:55
250
原创 【论文精读2】用于多文档摘要生成的层次Transformer方法
论文分享来自2019ACL的多文档摘要生成方法论文，作者来自英国爱丁堡大学，引用数310代码地址hiersumm多文档摘要抽取的难点在于没有合适的数据集，同时过长的文档文本也导致现在硬件水平无法支撑模型的训练，
2023-08-01 14:11:08
489
原创 【论文精读1】MemSum: 基于历史决策的多步长文本抽取式摘要方法
论文分享来自2022ACL的长文本抽取式摘要方法论文自动文本摘要抽取可以分为抽取式(extractive)和抽象性式(abstractive)，抽取式方法将摘要抽取任务看成是一个二分类任务，给定NNN个句子，从中选择MMNM(M
2023-07-31 11:55:33
324
2
原创 RuntimeError: cuDNN version incompatibility: PyTorch was compiled against (8, 5, 0) but found runti
在复现memsum，构建环境的时候，出现了这个问题，逛了一圈，问题出在pytorch和cudnn版本不对，可以从LD_LIBRARY_PATH解决问题。
2023-07-27 15:22:27
2878
8
原创 flask使用request进行数据传输的一些方式
但是当传输的字符串大于8000的时候，采用request.get的方式无法支持了，会产生url字符串大小限制的报错。采用数据流传输，我们必须使用post的方式，例如我们将一张图片转换成base64的格式进行传输。采用request与flask进行接口互动时需要关注传输的数据的大小和格式。通过采用文件流传输的方式，我们可以在传输后在读取，传输大文件时更加的快速。简单的参数传输可以使用requests.get的方式。我们可以通过如下方式接收参数。可以采用如下方式进行接收。可以通过如下方式接收。
2023-07-12 11:35:14
1150
原创 Stable Diffusion (持续更新)
收集了6张水墨画风格的图片，采用textual_inversion进行训练，以"The street of Paris, in the style of "作为模板，第369轮的图片如下。本文的目的为记录stable diffusion的风格迁移，采用diffusers example中的text_to_image和textual_inversion目录。然而生成草莓，香蕉却无法生成,顶多是更改了背景。这让我怀疑模型并不能很好的学习到其中的风格。第500轮的模型用于生成飞机，猫，狗。
2023-07-11 17:47:25
2459
原创 语言模型解码策略(language models decoding strategy)
写这篇文章的主要目的是讲清楚语言模型生成句子的随机性从哪里来，它和1.解码策略有关，2.和初始种子有关。
2023-06-02 15:15:10
456
原创 linux使用bash遍历多层文件结构
上述就可以获得text文件夹下所有的文件了，不过我们仍然可以尝试使用bash来进行操作，首先是遍历text文件夹下的所有文件，采用。，编写好了一个针对单一文件的处理程序后，需要对所有文件进行处理，不想用python去编写，那就可以用bash去编写。问题的起因是想要对语料进行数据处理，类似wikipedia的语料基本都是有多层文件结构，类似于。讲道理来说，python的glob其实是更加方便的。的方式判断是否为文件夹，然后再遍历。，对所有子文件夹中的文件进行处理。
2023-03-15 10:06:25
1057
原创 对比学习损失篇，从L-softmax到AM-softmax到circle-loss到PCCL
对比学习损失篇，从L-softmax到AM-softmax到circle-loss到PCCL
2022-09-19 11:48:11
2327
原创 基于keras的transformer learning rate schedule
基于keras的transformer learning rate schedule
2022-09-07 13:56:06
234
原创 解决使用flask部署pytorch模型多进程调用时出现的内存持续增长问题
解决使用flask部署pytorch模型多进程调用时出现的内存持续增长问题
2022-08-28 21:32:00
2351
1
原创 Beam Search与Prefix Beam Search的理解与python实现
Beam Search与Prefix Beam Search的理解与python实现
2022-07-14 17:08:04
1550
2
原创 keras在linux加载模型后出现Segmentation fault
keras在linux加载模型后出现Segmentation fault
2022-07-12 17:08:42
414
原创 使用sklearn的accuracy_score计算准确率时，2d array与1d array的结果不同
使用sklearn的accuracy_score计算准确率时，2d array与1d array的结果不同
2022-07-11 14:36:20
881
原创 深入浅出Viterbi算法与python实现
参考文章https://www.zhihu.com/question/20136144 我们以上图为例讲解从阶段1到阶段3的最短路径。首先如果按照贪婪算法，我们一共需要计算3×3×3=273\times3\times3=273×3×3=27次，而使用Viterbi动态规划算法，我们只需要计算3×3×2=183\times3\times2=183×3×2=18次 Viterbi的最主要核心点为计算并仅保留到达当前节点的最短路径，只要理解这个理论，维特比动态规划算法就一点都不难了。以A2A_2A2为例
2022-07-05 18:21:34
542
原创 MFCC语音特征提取总结
MFCC(Mel倒谱系数)符合人类听觉原理，能够有效的提取语音声学特征，适合作为语音特征输入。本文学习了以下2篇博客——博客1 博客2，并做了自己的总结MFCC的提取流程如下图所示：令输入语音信号signal=[s1,s2,...,sT]signal=[s_1,s_2,...,s_T]signal=[s1,s2,...,sT]，其中T为信号采样频率。预加重可以去除口唇辐射的影响，增加语音的高频分辨率，其实现方式如下：signali=signali+1−αsignalisignal_i=signa
2022-07-05 11:05:27
574
原创 text edit model FELIX的理解与python实现
Felix出自论文Felix: Flexible Text Editing Through Tagging and Insertion，被2020的ACL收录，之前看到苏神对于NAT的一个回复，即使是在相同BLEU或rouge-L的指标下，自回归模型（AT）的生成效果基本都会比非自回归模型（NAT）的效果要好，单从效果上面来说，目前的AT模型已经能够表现得很好了，然而AT的瓶颈就在于生成效率，如果能从解码效率方面进行改进AT肯定比NAT更好，但是要改进AT的解码效率，用串行的方式提升20倍的效率仍然是一个非
2022-07-03 19:10:28
317
原创 Lasertagger的理解及在标题生成任务中的python实践
Lasertagger出自论文Encode, Tag, Realize: High-Precision Text Editing，本文提供了一种简单的实现思路，并开源在https://github.com/hanggun/lasertagger-chinese 文章一共提出了2种模型结构，分别为LasertaggerARLasertagger_{AR}LasertaggerAR和LasertaggerFFLasertagger_{FF}LasertaggerFF，其主要区别点在于解码器的不同。...
2022-06-24 11:46:10
425
2
原创 一文了解如何在window上轻松实现多进程任务
参考苏神写的parallel_apply linkpython中multiprocessing文档 link前言在之前的工作中，我经常使用的多进程方式是进程池，在看了苏神写的parallel_apply之后，发现多进程使用队列的方式运行，从显示上（tqdm显示运行程度），灵活性上都更加好，但是运行时发现多进程在windows的支持上很不友好，于是打算写一篇在windows上容易使用的多进程方法，当然也可以在linux上使用。使用多进程来提高程序的运行效率是非常重要的，通常可以在数据处理，矩阵运算等
2021-08-29 15:37:06
2287
原创 win10使用tensorflow神经网络训练MNIST数据集详解
介绍此神经网络中，使用了3层网络，一个输入层，一个隐藏层和一个输出层。使用了带指数衰减的学习率设置，正则化参数来避免过度拟合以及使用了滑动平均模型来使得模型更加robust。tensorflow中的函数定义比较复杂难懂，因此在这里附上使用tensorflow神经网络训练MNIST数据集的程序，以及各个函数的解释程序以下程序在anaconda python3.5的环境下可以直接运行impor...
2019-05-03 11:01:27
592
原创 POJ1001解题思路测试样本及程序
题目DescriptionProblems involving the computation of exact values of very large magnitude and precision are common. For example, the computation of the national debt is a taxing experience for many co...
2019-04-22 16:28:09
679
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人