![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
工作日志
文章平均质量分 56
实战中提升自己
猥琐发育
这个作者很懒,什么都没留下…
展开
-
模糊匹配——基于difflib
import difflibDIFF =difflib.Differ()def fuzzy_match(seq:str,sub_seq:str ,difflib=None): """ 模糊匹配 """ assert difflib!=None, "please import difflib.Differ" def match_(seq:str,sub_seq:str ): dif = list(difflib.compare(seq,sub_seq)) .原创 2022-02-24 15:51:23 · 428 阅读 · 0 评论 -
为什么 DataLoader 无法 按指定 的batch_size产生数据?
请自己检查一下datasets中__len__长度是否正确,找到问题了点赞from torch.utils.data import Dataset,DataLoaderimport torchfrom functools import partialdef mydata(batch): print(batch) return batchclass MyDataset(Dataset): def __init__(self, size): self.原创 2021-08-30 14:35:42 · 968 阅读 · 0 评论 -
劝人善良别用freeze-Python 生成工程需要依赖包(库)
劝人善良别用freezefreeze > requirements.txt输出你当前环境的所有依赖,并不是这个工程的,docker打包害人pipreqspipreqs可以帮你找到当前项目的所有组件及其版本,pip3 install pipreqs$cd 到自己的项目 ps如果使用的虚拟环境请切换pipreqs ./根目录下会输出requirements.txt文件,很可能遇到编码错误:UnicodeDecodeError: 'gbk' codec can't .原创 2021-08-04 11:06:49 · 266 阅读 · 0 评论 -
git 的基本使用
这个是总结最常用的几个命令,需要看更全的命令去链接https://blog.csdn.net/laozitianxia/article/details/50682100为Git的换行符检查功能。LF是linux下的换行符,而CRLF是enter + 换行。git add .会自动提交每台想要登陆某个github账号的主机都需要有一个对应的key,例如你有一个github账号,你在你的笔记本和台式上都要创建key id_rsa.pub 默认在C:\Users\Administrator.ssh...原创 2021-07-30 10:22:45 · 82 阅读 · 0 评论 -
2021.07.27 周二 晴
shell脚本[] [[]] -n -z 的含义解析坑::中括号[]与其中间的代码应该有空格隔开 定义变量的时候,“=”左右千万不要有空格啊。 乘号(*)前边必须加反斜杠(\)才能实现乘法运算-z 是判断字符串长度是否为0,是否为空; zero = 0 空=true-n 判断变量的值,是否为空 name 空= False[ -z "$pid" ] 单对中括号变量必须要加双引号[[ -z $pid ]] 双对括号,...原创 2021-08-02 10:23:56 · 71 阅读 · 0 评论 -
关于文本分类(情感分析)的调研
有个数据的论文seesee GoEmotions: A Dataset of Fine-Grained Emotions原创 2021-07-20 10:26:56 · 384 阅读 · 0 评论 -
2021.07.19 周一 晴
huggingface 地址里面有最较为先进的开源模型,上面都是基于transformers框架,其中包括了bert、robert 、Gpt2等,同时也支持pytorch和tensorflow2 框架,可以下载数据集和模型,非常方便。我们以roberta-large为例手动下载模型以箭头的方向我们可以查看,能下载的文件通常我们需要保存的是三个文件及一些额外的文件,第一个是配置文件;config.json。第二个是词典文件,vocab.txt(或vocab.json)。第三个是预训练...原创 2021-07-19 13:24:59 · 758 阅读 · 0 评论 -
2021.07.15 周四 晴
注意力机制问题注意力模型(Attention Model,AM)已经成为神经网络中的一个重要概念,并在不同的应用领域进行了充分的研究。这项调查提供了一个结构化和全面的概述关于attention的发展。我们回顾了注意力机制被纳入的不同的神经网络结构,并展示了注意力如何提高神经网络的可解释性...转载 2021-07-15 14:07:22 · 575 阅读 · 3 评论 -
2021.07.12 周一 晴 Docker部署中的坑
1 端口号的暴露问题、参考 https://www.runoob.com/docker/docker-container-connection.html容器中可以运行一些网络应用,要让外部也可以访问这些应用,可以通过-P(大写) 或-p(小写) 参数来指定端口映射。(1)当使用 -P 标记时,Docker 会随机映射一个49000~49900的端口到内部容器开放的网络端口。使用docker ps可以看到,本地主机的 49155 被映射到了容器的 5000 端口。此时访问本机的 49...原创 2021-07-12 11:04:42 · 120 阅读 · 0 评论 -
2021.07.09 周五 阴
学习R-dropR-Drop: Regularized Dropout for Neural Networks文章链接 https://arxiv.org/pdf/2106.14448v1.pdf意思就是用dropout 去模拟bert中的mask 牛蛙牛蛙一个输入x将经过模型两次,得到两个分布P1和P2,由于dropout的随机性导致两个输出有差异,为了减少两个模型的输出的差异性,就使用了下面这个损失函数KL距离(相对熵)(Kullback-Leibler Divergenc...原创 2021-07-09 13:26:07 · 102 阅读 · 0 评论 -
2021.07.01 周四 中雨 ABCNN 阅读和实现
工作任务语义模型相似度训练学习任务ABCNN 阅读和实现学习收获论文链接:ABCNN: Attention-Based Convolutional Neural Network for Modeling Sentence Pairs关键词 :文本匹配 ,answer selection (AS)给定一个问题,从候选答案集合中匹配最佳答案。paraphrase identification (PI),给定两个句子,判断它们是否包含相同的语义。textual entailm.原创 2021-07-01 16:06:54 · 86 阅读 · 0 评论 -
2021.06.30 周三 小雨
工作任务web后端框架对比对比 fastapi , fast+gunicorn和tornado 三者的对比fastapi文件内容变更后可以自动重启服务,便于开发调试服务器环境测试环境接口功能测试指标学习任务工作收获学习收获...原创 2021-07-01 09:59:55 · 58 阅读 · 0 评论