![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
LLM大语言模型
文章平均质量分 93
我随风而来
这个作者很懒,什么都没留下…
展开
-
大模型文本生成策略解读
之前只知道topp,topk,temperature,num_beams,repetition_penalty随着工作中接触更多,penalty_alpha,do_sample这些参数,发现有时候一头雾水,是时候系统性梳理一下了。原创 2023-12-11 19:00:20 · 1161 阅读 · 0 评论 -
使用ElasticSearch完成大模型+本地知识库:BM25+Embedding模型+Learned Sparse Encoder 新特性
作者Bernhard Suhm 伯恩哈德·苏姆2023年7月3日Maybe you came across the term “vector database” and are wondering whether it’s the new kid on the block of data retrieval systems. Maybe you are confused by conflicting claims about vector databases. The truth is, the appro原创 2023-12-03 00:05:32 · 3016 阅读 · 0 评论 -
llama2使用gptq量化踩坑记录
我刚开始直接pip install auto-gptq,产生了一系列的问题。本地是CUDA11.6,首先的问题是无法量化。gptq本身是一个github仓库,随后集成在了Transformers 库里,介绍如下:optimum🤗Transformers**已经整合了*,**用于对语言模型进行GPTQ量化。您可以以8、4、3甚至2位加载和量化您的模型,而不会对性能产生很大的影响,并且能够提高推理速度!这在大多数GPU硬件上都得到支持。optimum。原创 2023-11-07 15:50:19 · 3902 阅读 · 3 评论