- 博客(4)
- 收藏
- 关注
RSS订阅原创 ollama+open webui使用轻量级DeepSeek模型
输入pip install -i https://pypi.tuna.tsinghua.edu.cn/simple open-webui，使用清华源安装open-webui,，加快下载速度。打开anaconda，输入conda config --add envs_dirs D:\Anaconda\envs指定虚拟环境路径。如果是想直接安装可以双击OllamaSetup.exe，点击Install，它直接默认安装C盘。输入open-webui serve，启动open webui,需要等一会。
2025-04-13 14:58:04
405
原创 chatglm3实现RAG增强检索
从huggingface或镜像网站下载生成文本嵌入模型，如bert-base-nli-mean-tokens ，其中1_Pooling、onnx和openvino可以不下载，否则加载模型时可能报错，下载后在项目的主目录建立其他文件夹放自己下载的模型，比如RAG(li)/embedding_model/bert-base-nli-mean-tokens。加载本地生成模型和分词器，创建文本生成管道，并包装成Hugging Face语言模型对象，然后创建任务链对象，注意如果没有cuda改为cpu。
2025-03-29 16:48:17
482
原创 ChatGLM3采用客服对话数据集在本地进行LoRA微调多轮对话训练
下载客服对话数据集和模型，配置项目，数据集预处理，lora微调chatglm3训练，内含部分报错的解决方法
2025-03-16 22:29:06
1070
原创 ChatGLM2-6b-int报错 ValueError: too many values to unpack (expected 2)
推测未被使用的is_encoder_decoder参数就是对应的standardize_cache_format，仿照进行修改如下图。最后只好分析代码，发现ChatGLM2-6b-int的github项目文件的modeling_chatglm.py中代码有问题。画圈部分是想接受两个返回值，实际_extract_past_from_model_output函数却是只返回一个值。对比chatglm3-6b-32k版本的modeling_chatglm.py。运行cli_demo.py，报错如下图。
2025-02-24 21:17:06
143
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人