HIT-SCIR/Elmoformanylanguages安装记录

于 2020-10-03 11:51:15 发布
阅读量323 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44845829/article/details/108761813
版权

HIT-SCIR/Elmoformanylanguages

记录踩坑

首先从官网下载源码 哈工大Elmoformanylangs
这里提供了简体中文版本链接：zhs.model
提取码：p53m

然后开始安装，我选择的是在Linux系统上操作，因为之前在Windows上一直装不上allennlp，查看官方文档才知道目前不支持window，无奈只能重新学习Linux操作指令。

然后下载torch，说明文档是说下载torch0.4，这里我也踩了坑，装了老半天，去官网找的下载指令，因为这个版本比较旧，只能先下下来再通过指令安装
allennlp和torch版本匹配也是个问题，网上只有这几条：
allennlp=1.1.0rc3 可以匹配 torch=1.6
allennlp=1.0.0rc1 可以匹配 torch=1.3.1
allennlp=0.9.0 可以匹配 torch=1.2.0
根据我的尝试，allennlp = 0.6.1可以匹配torch = 0.4

后续有问题再来慢慢更新

♛ 惊鸿一面
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
ELMoForManyLangs：多种语言的预训练ELMo表示形式
02-03
多种语言的预训练ELMo表示 我们发布了接受多种语言培训的ELMo表示形式，这有助于我们赢得LAS根据赢得的。 技术细节 我们使用与相同的超参数设置 for biLM和角色CNN。 我们根据从每种任务的共享任务（wikidump +通用抓取）发布的原始文本中随机抽取的2000万字数据集训练其参数。 我们主要基于的代码，但进行了以下更改： 我们支持unicode字符； 我们使用样本softmax技术使大词汇量的训练变得可行（ ）。 但是，我们使用围绕目标单词的单词窗口作为否定样本，并且在我们的初步实验中显示出更好的性能。 在NVIDIA P100 GPU上，用一种语言进行ELMo的培训大约需要3天。 资料下载 这些模型托管在。 ELMo简体中文 我们还提供了 。 它是针对新华比例进行培训的，这与传统中文ELMo的维基百科不同。 前提条件 必须是python> = 3.6（如果使用python3.5，则会遇到此问题 ） 火炬0.4 来自allennlp的其他要求 用法 安装套件 您需要安装软件包才能使用嵌入功能，并具有以下建议 python setup.py install
使用哈尔滨工业大学SCIR的开源代码训练自己的ELMo
ccbrid的博客
05-26 2960
本篇博客使用哈尔滨工业大学SCIR实验室的ELMoForManyLangs 链接：https://github.com/HIT-SCIR/ELMoForManyLangs 使用方法： 1. gitclone 到本地 2. 在Downloads处（提供了各种语言（包括简体中文）下载预训练好的语言模型，下载的语言模型中带有自己的config。 3. 执行setup命令 python se...
记录elmoformanylangs安装
qq_39915004的博客
09-12 3280
elmoformanylangs网址：https://github.com/HIT-SCIR/ELMoForManyLangs 需要预先准备的环境： python >= 3.6 torch allennlp 安装过程 elmoformanylangs是基于allennlp开发的库，而torch是allennlp的重要依赖包，所以首先需要安装torch，直接用pip install torch来安装好像不行，我先去下载whl文件，然后才安装 安装torch torc
ELMoForManyLangs-master.zip
09-12
elmoformanylangs库，可用简单几行代码就生成elmo词向量 github网址：https://github.com/HIT-SCIR/ELMoForManyLangs
简洁安装HIT-SCIR(哈工大) pyltp
csdnfala的博客
06-27 711
前情提要 方式一 pip install pyltp 方式二 $ git clone https://github.com/HIT-SCIR/pyltp $ git submodule init $ git submodule update $ python setup.py install 以上两种方式均以失败告终 偶然在知乎找到答案，问题解决。 1. 准备好pyltp依赖支持情况 仅讨论 ...
哈工大SCIR情感回复系统Babbling
机器之心
11-04 1747
作者：袁建华，赵怀鹏，丛大玮 一：导言 作为人工智能的重要组成部分，情感智能包括感知、理解、表达和控制情感的能力。虽然目前存在很多用来解决大规模社交网络数据的对话生成模型，但生成具有可控情感的文本仍然是一项巨大的挑战。为推动情感文本生的相关研究，NLPCC 2017组织了情感对话生成(ECG)评测（NLPCC2017 shared task 4）。在给定一句中文的微博原文X =
658867311861634哈工大信息检索研究中心同义词词林扩展版 HIT-SCIR Tongyici Cilin (Extended).zip
10-06
《哈工大信息检索研究中心同义词词林扩展版 HIT-SCIR Tongyici Cilin (Extended)》是一款由哈尔滨工业大学信息检索研究中心研发的专业语言资源工具，它为自然语言处理、信息检索、机器翻译等领域提供了丰富的同义...
哈工大信息检索研究中心同义词词林扩展版 HIT-SCIR Tongyici Cilin (Extended).7z
10-10
《哈工大信息检索研究中心同义词词林扩展版》是哈尔滨工业大学信息检索研究中心推出的一款词汇资源，专门针对中文自然语言处理和信息检索领域。这款扩展版的词林集合了大量同义词，旨在提高文本理解和信息提取的准确...
pyltp安装使用教程.docx
11-22
2. **源码安装**：首先克隆`pyltp`的GitHub仓库`git clone https://github.com/HIT-SCIR/pyltp`，然后初始化子模块`git submodule init`，更新子模块`git submodule update`，最后运行`python setup.py install`进行...
elmoformanylangs中文模型
09-12
下载解压后，将config.json文件下的“config_path”的值里面那两个点和斜杠去掉， 即"config_path": "configs/cnn_50_100_512_4096_sample.json" 然后把整个文件夹拖进项目里即可使用
基于ELMo词向量的textCNN中文文本分类python代码
06-22
基于ELMo词向量的textCNN中文文本分类python代码，ELMo是基于哈工大的HIT-SCIR/ELMoForManyLangs，文本分类代码是基于keras的，有数据有模型有代码。
linux下python3.7安装pyltp库
06-19
在Linux环境下为Python3.7安装`pyltp`库是一项常见的任务，特别是在进行自然语言处理（NLP）和中文文本分析时。`pyltp`是基于LTP（Language Technology Platform，语言技术平台）的Python接口，由哈工大社会计算与...
cpp-LTP是哈工大开源的一套中文语言处理系统
08-16
HIT-SCIR-ltp-62b1208这个压缩包文件名可能是LTP的一个特定版本，包含了源代码、库文件、模型以及相关的文档。下载并解压后，开发者可以直接编译源代码，安装并运行LTP，也可以进一步研究代码以了解其工作原理。 ...
ELMo词向量用于中文
小岁月太着急
10-18 8832
ELMo于今年二月由AllenNLP提出，与word2vec或GloVe不同的是其动态词向量的思想，其本质即通过训练language model，对于一句话进入到language model获得不同的词向量。根据实验可得，使用了Elmo词向量之后，许多NLP任务都有了大幅的提高。论文:Deep contextualized word representations AllenNLP一共releas...
流水账︱Elmo词向量中文训练过程杂记
热门推荐
素质云笔记
08-21 2万+
1 elmo是什么？ 参考：《文本嵌入的经典模型与最新进展》 人们已经提出了大量可能的词嵌入方法。最常用的模型是 word2vec 和 GloVe，它们都是基于分布假设的无监督学习方法（在相同上下文中的单词往往具有相似的含义）。 虽然有些人通过结合语义或句法知识的有监督来增强这些无监督的方法，但纯粹的无监督方法在 2017-2018 中发展非常有趣，最著名的是 FastText（word2v...
pytorch安装与ELMo环境配置
XP1990的专栏
06-01 707
安装torch pip install torch torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple 安装elmoformanylangs cd ELMoForManyLangs python setup.py install https://github.com/HIT-SCIR/ELMoForManyLangs
比赛必备 ︱ 省力搞定三款词向量训练 + OOV词向量问题的可性方案
素质云笔记
10-31 9551
本篇为资源汇总，一些NLP的比赛在抽取文本特征的时候会使用非常多的方式。 传统的有：TFIDF/LDA/LSI等 偏深度的有：word2vec/glove/fasttext等 还有一些预训练方式：elmo / bert 文章目录@[toc]1 之前的几款词向量介绍与训练帖子2 极简训练glove/word2vec/fasttext2.1 word2vec的训练与简易使用2.2 glove...
推荐30个以上比较好的中文命名实体识别源码
最新发布
02-06
6. LTP：https://github.com/HIT-SCIR/ltp 7. Jieba：https://github.com/fxsjy/jieba 8. Pyhanlp：https://github.com/hankcs/pyhanlp 9. pkuseg：https://github.com/lancopku/pkuseg-python 10. Stanford CoreNLP...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值