- The following model_kwargs are not used by the model: [‘encoder_hidden_states’, ‘encoder_attention_mask’] (note: typos in the generate arguments will also show up in this list)
使用text_decoder就出现上述错误,这是由于transformers版本不兼容导致的
from transformers import AutoModel, AutoConfig, BertGenerationDecoder
decoder_config = AutoConfig.from_pretrained(args['text_checkpoint'])
text_decoder = BertGenerationDecoder(config=decoder_config)
output = self.text_decoder.generate(input_ids=cls_input_ids,
encoder_hidden_states=encoder_hidden_states,
encoder_attention_mask=encoder_attention_mask,
max_length=self.args['max_seq_length'],
do_sample=True,
num_beams=self.args['beam_size'],
length_penalty=1.0, use_cache=True,
)
解决办法:将transformer的版本换到以下范围, 4.15.0<=transformers<4.22.0,transformers>=4.25.0
比如:pip install transformers4.25.1 or pip install transformers4.20.1
2. No module named ‘transformers.generation_beam_constraints’ (其中transformers==4.28.1)
(1)解决办法
将:from transformers import generation_beam_constraints
改为:from transformers.generation import beam_constraints
(2)其他例子
有问题的代码:
# 可以在transformers == 4.23.1版本上面运行
from transformers.generation_beam_constraints import Constraint
from transformers.generation_beam_search import BeamScorer, BeamSearchScorer
from transformers.generation_logits_process import (
EncoderNoRepeatNGramLogitsProcessor,
ForcedBOSTokenLogitsProcessor,
ForcedEOSTokenLogitsProcessor,
HammingDiversityLogitsProcessor,
InfNanRemoveLogitsProcessor,
LogitsProcessorList,
MinLengthLogitsProcessor,
NoBadWordsLogitsProcessor,
NoRepeatNGramLogitsProcessor,
PrefixConstrainedLogitsProcessor,
RepetitionPenaltyLogitsProcessor,
TemperatureLogitsWarper,
TopKLogitsWarper,
TopPLogitsWarper,
)
from transformers.generation_stopping_criteria import (
MaxLengthCriteria,
MaxTimeCriteria,
StoppingCriteria,
StoppingCriteriaList,
validate_stopping_criteria,
)
修正后的代码:
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数大数据工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上大数据开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)
后续会持续更新**
如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)
[外链图片转存中…(img-cpfy6Zbi-1712880673076)]