部署代码生成模型CodeGeeX2

最新推荐文章于 2024-03-18 11:57:54 发布
最新推荐文章于 2024-03-18 11:57:54 发布
阅读量3.9k 收藏 7
点赞数 1
文章标签： nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51987242/article/details/132238101
版权

模型下载

大家需要从huggingface下载CodeGeex2的模型文件，可以直接下载到本地，也可以git clone，这里给huggingface的地址，大家自行下载

THUDM/codegeex2-6b · Hugging Face

 模型部署

首先我们得有个环境去跑起来，这里我用的是阿里云的平台，具体怎么申请，可以看我的第一篇博客。首先新建一个文件夹codeGeex2，然后继续建一个codegeex2-6b的文件夹，我们要把下载的模型相关文件全部放在这个文件夹里面。我的如图所示

 模型测试

这里官方给了测试代码，github地址如下：GitHub - THUDM/CodeGeeX2: CodeGeeX2: A More Powerful Multilingual Code Generation Model我们只需要把python测试代码的模型路径改成自己的地址就行，然后就可以测试啦

羊驼锋
关注
  • 1
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
RuoYi若依代码生成+一键部署
04-05
若依代码生成器很强大的，可以让我们写增删改查的效率大增。但是我在用的过程中总感觉还不够爽快。我想根据自己的想法改造一下。 总体来说操作还是有些繁琐的。我想实现的是只需要点一个按钮，就可以完成以上所有内容： - 下载代码 - 解压代码 - 复制前端代码 - 复制后端代码 - 自动执行菜单SQL - 编译代码并重启服务
Python人工智能编程Level1测试.docx
12-17
Python人工智能编程Level1测试.docx
本地部署多语言代码生成模型CodeGeeX2
Python，数据分析，机器学习，深度学习
10-11 3201
CodeGeeX2 是多语言代码生成模型CodeGeeXKDD’23) 的第二代模型。CodeGeeX2 基于ChatGLM2架构加入代码预训练实现，得益于 ChatGLM2 的更优性能，CodeGeeX2 在多项指标上取得性能提升（+107% > CodeGeeX；更强大的代码能力：基于 ChatGLM2-6B 基座语言模型，CodeGeeX2-6B 进一步经过了 600B 代码数据预训练，相比一代模型，在代码能力上全面提升，
【大模型】直接在VS Code(Visual Studio Code)上安装CodeGeeX插件的过程
weixin_43416960的博客
03-18 2026
这个可以自行百度，肯定比我说的全面、客观。这是仅说一下我的理解（当然并不全面，这里只针对我要用它干嘛，而不是它全部的用途哦）。对于我来讲，它主要的用途有两个：代码生成器和智能问答。1、CodeGeex是一个多语言代码生成模型。意思大概就是，它可以根据自然语言指令（就是我们说的大白话，比如：给我生成一段冒泡排序的代码），按照多种指定的语言（如python、C、Java、Go……老多了，都是我不会的语言，就不列举了），自动生成一段代码。
CodeGeeX 2.0版本重大升级：通过聊天对话的方式直接操作代码
马沛专栏
06-07 1768
在对话区的浮层中通过命令行：“/fixbug”，触发快捷指令操作，就可以直接帮你找到这段代码中的问题并进行错误修复，并且对修复代码的区域做高亮标记，方便进行代码对照，生成的代码可以复制或直接插入编辑区。如果你只需要解释其中一部分代码片段，那么你就可以在代码生成区域中，选中该段代码，左侧边栏的对话区会出现浮层，同时展示选中代码。，左侧边栏的对话区会出现浮层，展示右侧代码生成区域的所有代码，并对这些代码进行解释，同时在对话界面中回复。，触发快捷指令操作，就可以帮你生成这一段的代码解释，并在对话界面中回复。
CodeGeeX2模型安装
liuzhenghua66的博客
11-27 730
pytorch与cuda对应版本：https://pytorch.org/get-started/previous-versions/demo.gpus为CodeGeeX2官方仓库的demo文件夹下的gps文件，需要修改num_gpus为机器实际的值，可以通过。cuda tookit版本：https://anaconda.org/nvidia/cuda-toolkit。由于huggingface国内无法访问，我们使用镜像站下载。
大模型镜像打包实战:CodeGeeX2为例
weixin_43457608的博客
01-21 612
写一个启动脚本bin/start.sh，判断是否启用身份验证，也可以在Dockerfile最后的CMD直接执行python脚本，查看CodeGeeX2项目，官方已经提供好启动脚本，配置好各种依赖应该就可以运行。如果有我未遇到的bug欢迎提问，一起解决问题总结在此处。访问localhost:7860查看是否成功。
windows10下安装CodeGeeX2，AI编程助手
qq_43335960的博客
07-28 1932
3、启动后通过本地http://127.0.0.1:7860访问，也会生成一个72小时的公网URL，供远程访问。1、下载程序：git clone https://github.com/THUDM/CodeGeeX2。2、直接用ChatGLM2-6B的依赖python .\demo\run_demo.py即可启动。链接:https://caiyun.139.com/m/i?如果嫌安装依赖麻烦，做了一个不带模型的整合包，下载后点击run.bat即可运行。
CodeGeeX for Jetbrains IDEs正式上线！
u014206358的博客
12-21 2481
CodeGeeX 插件支持 IntelliJ IDEA、PyCharm、GoLand、CLion 等 Jetbrain IDEs , 目前已在 Jetbrain IDEs 的插件市场正式上线。
GPT实战系列-让CodeGeeX2帮你写代码和注释
Alex_StarSky的博客
01-10 1500
CodeGeeX是一款基于大模型的全能的智能编程助手。它可以实现代码的生成与补全、自动添加注释、代码翻译以及智能问答等功能，能够帮助开发者显著提高工作效率。CodeGeeX支持主流的编程语言，并适配多种主流IDE。
《CodeGeeX2 一个让你编码效率翻倍的扩展，分享几个使用小技巧》学习笔记
墨门
08-08 824
列表结束 /explain。
Unet训练和部署代码
08-06
Unet训练和libtorch部署代码: 1、训练部分 2、libtorch部署方法
MODNet NCNN C++部署代码，及其模型
04-01
1、MODNet NCNN C++部署代码 2、MODNet NCNN量化后模型 3、MODNet NCNN未量化模型 4、MODNet onnx模型
C++ OnnxRuntime部署yolov8模型
07-20
C++部署YOLO模型
大模型部署-使用OpenINO-C++-API部署生成式大模型-支持LLaMA2+StableDiffusion等-项目源码
最新发布
04-24
大模型部署_使用OpenINO-C++-API部署生成式大模型_支持LLaMA2+StableDiffusion等_项目源码_优质项目实战
api-for-open-llm对接CodeGeex2部署流程
wl826214的博客
01-08 765
使用api-for-open-llm对接CodeGeex2，提供OpenAI接口，部署流程
CodeFuse-MFTCoder 提升 CodeGeeX2-6B 代码能力
CodeFuse的博客
11-10 279
CodeFuse-MFTCoder 项目地址：GitHub - codefuse-ai/MFTCoder: High Accuracy and efficiency multi-task fine-tuning framework for Code LLMs CodeFuse-Codegeex2-6B 模型地址：https://modelscope.cn/models/codefuse-ai/CodeFuse-CodeGeeX2-6B https://huggingface.co/codefuse-ai/C
CodeGeeX2 模型全新上线，编程助手能力全面升级！
马沛专栏
08-01 817
在新模型的支撑下，插件中的问答功能“Ask CodeGeeX”也得到了升级。更新后，该功能使用的模型换成了基于CodeGeeX2-6B微调得到的对话模型，在回答编程相关的问题时，比之前更专业、更智能。在 HumanEval 评测中，CodeGeeX2-6B的表现全面超越了参数规模更大的 StarCoder 模型以及 OpenAI 的 Code-Cushman-001 模型（GitHub Copilot 曾使用的模型）。相比一代模型 ，CodeGeeX2-6B在代码生成的精度和速度上都有极大的提升。
CodeGeeX2: 更强大的多语言代码生成模型
qq837993702的博客
08-17 823
CodeGeeX2 是多语言代码生成模型) 的第二代模型。不同于一代 CodeGeeX（完全在国产华为昇腾芯片平台训练） ，CodeGeeX2 是基于架构加入代码预训练实现，得益于 ChatGLM2 的更优性能，CodeGeeX2 在多项指标上取得性能提升（+107% > CodeGeeX；
python 部署模型代码
05-20
将模型部署到生产环境中通常需要将其转换为可部署的格式，例如 TensorFlow Serving 或 ONNX。这里提供一个简单的例子，使用 Flask 将一个 Scikit-Learn 模型部署为 Web 服务。 首先，安装 Flask 和 Scikit-Learn： ``` pip install flask scikit-learn ``` 然后编写一个简单的 Flask 应用程序，其中包含一个 POST 路由来接收输入数据并返回模型的预测结果： ```python from flask import Flask, request, jsonify from sklearn.externals import joblib app = Flask(__name__) model = joblib.load('model.pkl') @app.route('/predict', methods=['POST']) def predict(): data = request.get_json(force=True) prediction = model.predict([data['input']]) output = {'prediction': int(prediction[0])} return jsonify(output) if __name__ == '__main__': app.run(port=5000, debug=True) ``` 在这个例子中，我们使用 `joblib` 库加载保存在 `model.pkl` 文件中的 Scikit-Learn 模型。然后，我们定义了一个 POST 路由 `/predict`，它将 JSON 格式的输入数据传递给模型进行预测，并将结果以 JSON 格式返回。 最后，我们通过 `app.run` 启动 Flask 应用程序，并指定监听的端口号和调试模式。 将上述代码保存在 `app.py` 文件中，并使用以下命令启动应用程序： ``` python app.py ``` 现在，您可以使用任何 HTTP 客户端向 `http://localhost:5000/predict` 发送 POST 请求，并传递包含输入数据的 JSON 对象，以获得模型的预测结果。例如，以下是使用 `curl` 命令发送 POST 请求的示例： ``` curl -H "Content-Type: application/json" -X POST -d '{"input": [1, 2, 3]}' http://localhost:5000/predict ``` 请注意，这只是一个简单的例子，并不适用于所有模型部署方案。在生产环境中，您可能需要考虑使用更复杂的部署方案，例如 Kubernetes、Docker 或 TensorFlow Serving 等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

羊驼锋

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值