weixin_44893748的博客

ChatGLM_LLM的model显然是占用显存最大的变量。chroma的Embedding模型是通过 HuggingFaceEmbeddings模型导入的。根本上是通过SentenceTransformer导入的嵌入模型，罪魁祸首就是_embedding_function的client。如下图所示的rest按钮。虽然仍然有残余的向量数据库和embedding模型的显存没有完全回收不过已经没有大碍了。demo是基于gradio实现的这里llm_state是通过gr.State共享的ChatGLM_LLM。

gemma在keras的实现由preprocessor和gemmabackbone两部分构成，由GemmaCausalLM继承至GenerativeTask。generate进行生成推理。是从kaggle下载权重参数，并完成模型的实例化，省去了中间过程。目前发布的torch版本的gemma模型有些不稳定，在kaggle平台上测式keras版本的模型结果明显比torch版本的要稳定。gemma 依赖keras3.0及以上版本，keras_nlp和keras3.0的版本适配目前做的不是很完善。

近期被这个问题卡了很久有一次卡了10个小时后突然连上了，断开之后无论如何就连不上了。初次连接会在服务器端用户目录下安装.vscode-server.后来发现Remote - SSH设置菜单中可以指定服务端安装路径。进入插件设置页下滑到Remote.SSH: Server Install Path.点击add Item添加远程端设置。Item中写入远程端机器名字，在value中写入远程服务器下自定义的安装路径。如在ail2z中安装则item中写入ail2。点击extensions 插件方块。