深度学习
文章平均质量分 74
Maann
这个作者很懒,什么都没留下…
展开
-
Docker torchserve workflow部署流程
搭建涉及到的模型,如ocr_detection,ocr_judge,ocr_text, xxx_detection …,即/path/model-server/model-store。原创 2024-09-23 13:38:24 · 497 阅读 · 0 评论 -
Docker torchserve 部署模型流程
地址: https://hub.docker.com/r/pytorch/torchserve/tags2. docker启动指令CPUGPU/home/model-server/model-store 是docker映射地址,不能更改进入容器,可以发现各个端口的意义,8080是通信访问接口,8081是管理服务配置接口,8082是服务监控接口(2) xx_model_handler.py(3) config.jsontorch-model-archiver --model-name {n原创 2024-09-13 13:57:34 · 867 阅读 · 0 评论 -
基于modelscope,部署modelscope server
修改【/opt/conda/lib/python3.10/site-packages/modelscope/utils/input_output.py】中 pipeline_info.task_name 为 pipeline_info[‘task_name’]获取call接口入参:http://ip:8814/describe。请求call:http://ip:8814/call。文档地址:http://ip:8814/docs。模型本地启动的,可以直接访问地址了。我是直接拉取的GPU镜像。原创 2024-09-12 14:54:27 · 363 阅读 · 0 评论 -
深度学习优化器
优化器用来寻找模型的最优解。原创 2023-08-15 09:55:10 · 631 阅读 · 0 评论 -
Transformer 模型详解
红色圈中的部分为 Multi-Head Attention,是由多个 Self-Attention组成的,可以看到 Encoder block 包含一个 Multi-Head Attention,而 Decoder block 包含两个 Multi-Head Attention (其中有一个用到。编码器组件和解码器组件中分别为连续 N(在 Transformer模型中 N = 6)个具有相同结构的编码器和解码器,每个编码器的结构都是相同的,但是它们使用不同的权重参数。(4)残差结构(Residuals)原创 2023-07-11 15:49:10 · 1572 阅读 · 0 评论 -
ChatGLM2-6B的P-Tuning微调
注:ChatGLM2-6B官网给的环境P-Tuning微调报错。可复用ChatGLM-6B(上述部署教程),即。原创 2023-07-05 12:48:26 · 4150 阅读 · 9 评论 -
ChatGLM-6B的P-Tuning微调详细步骤及结果验证
P-Tuning是一种较新的模型微调方法,它采用了参数剪枝的技术,可以将微调的参数量减少到原来的0.1%。具体来说,是基于的升级版,主要的改进在于采用了更加高效的剪枝方法,可以进一步减少模型微调的参数量。的原理是通过对已训练好的大型语言模型进行参数剪枝,得到一个更加小巧、效率更高的轻量级模型。具体地,首先使用一种自适应的剪枝策略,对大型语言模型中的参数进行裁剪,去除其中不必要的冗余参数。然后,对于被剪枝的参数,使用了一种特殊的压缩方法,能够更加有效地压缩参数大小,并显著减少模型微调的总参数量。总的来说,转载 2023-07-04 16:51:32 · 1931 阅读 · 1 评论 -
ChatGPT中 top_p 和 temperature 的作用机制
可以看到,当 temperature 更大时,模型的选择更加随机(每个 token 的概率更加接近), 给予原本低概率的 token 更大的选择机会,从而产生更多样化和创意的输出。相反, temperature 更小使模型的选择更加确定,给予原本高概率的 token 更大的选择机 会,从而产生更集中和一致的输出。考虑 a$,他的概率是 0.25 ,加上前面的所有概率得到 0.75。时,模型在每次选择 token时只选择概率最大的那一个,于是我们每次询 问 (同样的prompt) 都会得到完全相同的回答。原创 2023-06-30 15:46:01 · 6524 阅读 · 3 评论 -
全网最新版ChatGLM-6B开源模型环境详细部署及安装——如何在低显存单显卡上面安装私有ChatGPT GPT-4大语言模型
ChatGPT的爆火让许多公司和个人都想要开发自己的大型语言模型,但是,由于算力和语言模型开发能力等诸多方面的限制,许多人最终都只能在开发的早期阶段止步不前。然而,近期清华大学知识工程和数据挖掘小组(Knowledge Engineering Group (KEG) & Data Mining at Tsinghua University)发布了对话机器人ChatGLM-6B的开源版本,这一切都变得更加容易了。这个中英文语言模型拥有千亿参数规模,并且对中文进行了优化。转载 2023-06-19 10:05:04 · 2604 阅读 · 0 评论 -
神经网络/深度学习(一)
深度学习/神经网络原创 2023-04-11 11:44:28 · 2869 阅读 · 2 评论 -
目标检测算法的评估指标:mAP和IOU,python
目标检测算法的评估指标:mAP和IOU,python原创 2023-01-13 14:05:54 · 510 阅读 · 0 评论 -
Tensorflow.js入门之mobilenet
tfjs入门之mobilenetmobilenet.html<!doctype html><html lang="en"><head><script src="https://cdn.jsdelivr.net/npm/@tensorflow/tfjs-core@1.2.7/dist/tf-core.min.js"></script><script src="https://cdn.jsdelivr.net/npm/@tensorf原创 2020-08-27 15:35:04 · 808 阅读 · 2 评论 -
Tensorflow.js入门之toxicity
tfjs入门之toxicity教程:【吴恩达团队Tensorflow2.0数据和部署第一课】基于浏览器的模型与TensorFlow.js<html><head><script src="https://cdn.jsdelivr.net/npm/@tensorflow/tfjs@2.1.0"></script><script src="https://cdn.jsdelivr.net/npm/@tensorflow-models/toxicity原创 2020-08-27 15:20:56 · 339 阅读 · 0 评论 -
NLP数据增强技术
集合啦,NLP数据增强技术!超全资源汇总:https://mp.weixin.qq.com/s/I-yeHQopTFdNk67Ir_iWiA中文EDA实现https://github.com/zhanlaoban/eda_nlp_for_Chinese原创 2020-07-24 09:50:15 · 181 阅读 · 0 评论 -
用tensorboard查看CKPT和PB图结构
深度学习之用TensorBoard查看ckpt和pb图结构标签: Tensorflow tensorflow一、查看ckpt图结构1、在ckpt文件所在文件夹中新建check_ckpt.py文件,代码如下import tensorflow as tffrom tensorflow.summary import FileWriter sess = tf.Session()tf.train.import_meta_graph("./model.ckpt.me..原创 2020-08-18 13:51:24 · 5399 阅读 · 0 评论 -
Tensorflow.js运行Python下训练的CNN模型
我们的项目计划利用Python来训练模型,然后在浏览器中去调用训练好的模型,因为Python环境下读取数据、GPU加速等都比较容易实现,所以就需要解决一下Python训练好的模型在移植到js环境下的问题。幸运的是有现成的工具可以使用。本次的主要任务是探究训练好的CNN模型在浏览器上的移植情况,最终需要实现浏览器来成功运行CNN模型,这里为了简单起见我采用了MNIST数据集来进行训练和预测。一、安装tensorflowjspip install tensorflow==1.14.0 -i https:/原创 2020-08-18 17:53:41 · 787 阅读 · 0 评论 -
tensorflow转换ckpt为saved_model模型
ckpt模型转换ckpt为saved_model模型import tensorflow as tfimport systrained_checkpoint_prefix = sys.argv[1]export_dir = sys.argv[2]graph = tf.Graph()config = tf.ConfigProto(allow_soft_placement=True, log_device_placement=True)with tf.compat.v1.Session(gr原创 2020-08-19 16:28:22 · 967 阅读 · 0 评论 -
查看tensorflow ckpt模型的输出节点
查看tensorflow ckpt模型的输出节点(1)查看你的代码output_node_names = “score/output”转自 https://www.jianshu.com/p/06548e3e8f4b(2)查看TensorFlow checkpoint文件中的变量名和对应值from tensorflow.python import pywrap_tensorflowimport oscheckpoint_path = os.path.join('./ckpt/best_val原创 2020-08-19 10:46:29 · 2186 阅读 · 8 评论 -
将tensorflow的ckpt模型转化为pb模型
我们用tensorflow训练模型,一般是用tf.train.Saver()保存模型,然后得到多个文件,一般长这个样子这四个文件主要是记录了神经网络的网络结构以及这个结构中涉及到的权重参数等内容。代码:# -*-coding: utf-8 -*-""" @info : -通过传入 CKPT 模型的路径得到模型的图和变量数据 -通过 import_meta_graph 导入模型中的图 -通过 saver.restore 从模型中恢复图中各个变量的数据 -通原创 2020-08-19 10:40:23 · 1061 阅读 · 1 评论