学习记录
文章平均质量分 61
废柴小七
这个作者很懒,什么都没留下…
展开
-
python lexical chain
github地址import nltknltk.download('wordnet_ic')from nltk.corpus import wordnet as wnfrom nltk.corpus import wordnet_icthreshold = 0.6 # treshold for wupjcnTreshold = 0.09 # jcnpathTeshold = 0.1 # pathbrown_ic = wordnet_ic.ic('ic-brown.dat') # l原创 2022-05-01 21:09:15 · 757 阅读 · 0 评论 -
python利用collection 查找列表中的重复元素并统计重复数量
from collections import Counternouns = [1, 1, 3, 4, 4, 6]result = dict(Counter(nouns))print(result)print ([key for key,value in result.items() if value > 1])print ({key:value for key,value in result.items() if value > 1})#result{1: 2, 3: 1, 4原创 2022-05-01 20:43:03 · 813 阅读 · 0 评论 -
fairseq学习博客总结
使用fairseq从头开始训练一个中英神经机器翻译模型FaceBook-NLP工具Fairseq漫游指南(1)—命令行工具FaceBook-NLP工具Fairseq漫游指南(2)—扩展模型fairseq | 创建batch iterator部分逻辑源码阅读fairseq | fairseq beam search 源码阅读笔记fairseq-generate data-bin --path checkpoints/checkpoint_best.pt --remove-bpe会发现生成的结果文原创 2022-05-01 10:41:12 · 1485 阅读 · 2 评论 -
python in 字符串列表 部分匹配
word="hello"word_list="hello world"if word in word_list: print("True")else: print("False") result:Trueword="hello"word_list=["hello world","today is sunny","happy new year"]if word in word_list: print("True")else: print("False") # result:Fa原创 2022-04-29 21:22:07 · 4610 阅读 · 0 评论 -
关于共指消解
Allennlp 安装和使用问题allennlp使用Allen:coreference resolution 共指demo网站AllenNLP是由艾伦人工智能研究所开发的用于构建用于自然语言处理的深度学习模型的开源库。它建立在PyTorch之上,旨在为希望轻松构建高质量深度NLP模型的研究人员,工程师,学生等提供支持。它为现代NLP中的通用组件和模型提供了高级抽象和API。它还提供了可扩展的框架,可以轻松地运行和管理NLP实验。AllenNLP是一个基于PyTorch的NLP研究库,可为开发者提供原创 2022-04-29 21:21:52 · 437 阅读 · 0 评论 -
good_translation_is_wrong实验记录
Horovod的安装和使用记录一下这两天配置NCCL和horovod的过程(原创)服务器linux环境下horovod安装#下载NCCLnccl_2.1.15-1cuda9.1_x86_64Ubuntu NCCL安装#安装tar xvf nccl_2.1.15-1+cuda9.1_x86_64.txzmv nccl_2.1.15-1+cuda9.1_x86_64 /usr/local/nccl_2.1.15#添加环境变量vim ~/.bashrcexport LD_LIBRARY_PA原创 2022-04-12 18:50:19 · 1293 阅读 · 0 评论 -
图解seq2seq+attention机制
一、注意力机制Attention任务:德文翻译为英文先讲解Encoder部分的注意力机制xix_ixi:表示输入的每一个德文单词(严谨的说,应该是德文单词的向量表示)A:Encoder,隐藏层,可以是GRU、LSTM、RNNhih_ihi:每个时刻最后一层生成的隐藏层变量hmh_mhm:最后一层最后时刻生成的隐藏层变量s0s_0s0:数值上=hmh_mhm,在此记为换个名字αiα_iαi:s0s_0s0与hih_ihi的"相似度"(相关性)的权重表示Weight: αi\a原创 2021-04-01 18:27:58 · 336 阅读 · 0 评论 -
‘WindowsPath‘ object has no attribute ‘read_text‘
删除pathlibpip uninstall pathlib小记:pycharm真的有建立虚拟环境的必要了,虽然一直觉得每个环境都需要重新下载一些重复的插件好麻烦,但是如果将包都下载到同一路径下,不同的模型需要下载不同的库,经常出现版本不兼容的问题,导致程序运行不了,每次执行都需要来来回回倒腾,也是很麻烦。...原创 2021-03-31 12:33:35 · 5208 阅读 · 2 评论 -
jupyter notebook import问题
jupyter notebook下安装新库!pip install 包名成功安装后,仍显示not module name ?后来发现可能是路径的原因,jupyter notebook默认的python路径是anaconda目录下自带的python,而通过pip方式的话,可能会安装在其他版本的python下。方法一:将安装的库整个文件夹复制到anaconda/Lib/site-packages下,即可方法二import syssys.path.append('填写pip路径下的pyth原创 2021-03-30 20:50:07 · 1683 阅读 · 0 评论 -
Python基础知识(自用)
python是一门解释型、面向对象的高级编程语言。特点:开源免费、支持交互、可跨平台可移植。缺点:速度慢、不能加密应用方向:数据分析、人工智能、科学计算、Web开发、网络爬虫、常规软件开发变量及其类型:变量可以是任意的数据类型,在程序中用一个变量名来表示。变量名必须是大小写英文字母、数字和下划线的组合,且不能以数字开头。标识符和关键字['False', 'None', 'True', 'and', 'as', 'assert', 'async', 'await', 'break', 'cla原创 2021-03-15 18:05:47 · 99 阅读 · 0 评论 -
markdown指南(自己容易忘记,保存一下)
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar原创 2021-03-06 21:46:21 · 297 阅读 · 0 评论