教你10分钟部署chatglm130B大模型，无痛上手

教你10分钟部署chatglm130B大模型，无痛上手

教你10分钟部署chatglm130B大模型，无痛上手知识库问答系统

接入gradio实现本地化部署

实现图片

图片:

代码片

import gradio as gr
from chatglm130b import ChatGLM130B

# Define a function for evaluating user input
def evaluate_user_input(input_text):
    try:
        introduction = "你现在是一个知识问答系统的工作人员"
        llm = ChatGLM130B(api_key="", model="chatglm_std", temperature=0.01)
        result = llm(introduction + input_text)
        return result
    except Exception as e:
        return str(e)


interface = gr.Interface(  
   fn=evaluate_user_input,  
   inputs=gr.inputs.Textbox(  
       lines=3,  
       placeholder="请输入您的问题",  
       label="Input Text",  
   ),  
   outputs=gr.outputs.Textbox(  
       label="Output Result",  
   ),  
   title="农业知识问答系统",  
)
interface.launch(server_name="0.0.0.0", share=False, inbrowser=True, server_port=9997) 

联系我手把手教学

联系

图片: