- 博客(4)
- 收藏
- 关注
RSS订阅原创 conda create 无法下载包/不成功解决办法
通过上述步骤，我们可以方便地配置和使用 Conda，以满足不同的开发和研究需求。选择合适的镜像源可以加快包的下载速度，提高工作效率。这个Markdown笔记详细记录了如何配置Conda的channels，如何添加清华大学和中国科学技术大学的镜像源，以及如何创建一个新的Conda环境。您可以将这些内容复制到任何支持Markdown的编辑器中，进行进一步的编辑和保存。
2024-04-01 09:07:04
559
原创 大模型文本生成策略解读
之前只知道topp，topk，temperature，num_beams，repetition_penalty随着工作中接触更多，penalty_alpha，do_sample这些参数，发现有时候一头雾水，是时候系统性梳理一下了。
2023-12-11 19:00:20
1202
原创 使用ElasticSearch完成大模型+本地知识库：BM25+Embedding模型+Learned Sparse Encoder 新特性
作者Bernhard Suhm 伯恩哈德·苏姆2023年7月3日Maybe you came across the term “vector database” and are wondering whether it’s the new kid on the block of data retrieval systems. Maybe you are confused by conflicting claims about vector databases. The truth is, the appro
2023-12-03 00:05:32
3291
原创 llama2使用gptq量化踩坑记录
我刚开始直接pip install auto-gptq，产生了一系列的问题。本地是CUDA11.6，首先的问题是无法量化。gptq本身是一个github仓库，随后集成在了Transformers 库里，介绍如下：optimum🤗Transformers**已经整合了*，**用于对语言模型进行GPTQ量化。您可以以8、4、3甚至2位加载和量化您的模型，而不会对性能产生很大的影响，并且能够提高推理速度！这在大多数GPU硬件上都得到支持。optimum。
2023-11-07 15:50:19
4544
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人