- 博客(761)
- 资源 (10)
- 收藏
- 关注
原创 Llama中文大模型-部署加速
由上海人工智能实验室开发,推理使用 C++/CUDA,对外提供 python/gRPC/http 接口和 WebUI 界面,支持 tensor parallel 分布式推理、支持 fp16/weight int4/kv cache int8 量化。由非十科技领衔,与清华大学可视媒体研究中心合作研发,通过动态swap机制大幅降低硬件配置要求(减少80%),并且Jittor框架通过零拷贝技术,大模型加载相比Pytorch开销降低40%,同时,通过元算子自动编译优化,计算性能提升20%以上。
2024-02-24 18:17:01 649
原创 Llama中文大模型-模型+工具(外延能力)
除了持续增强大模型内在的知识储备、通用理解、逻辑推理和想象能力等,未来,我们也会不断丰富大模型的外延能力,例如知识库检索、计算工具、WolframAlpha、操作软件等。我们首先集成了LangChain框架,可以更方便地基于Llama2开发文档检索、问答机器人和智能体应用等,关于LangChain的更多介绍参见。针对LangChain框架封装的Llama2 LLM类见。
2024-02-24 18:14:25 691
原创 Llama中文大模型-模型微调
加载预训练模型参数和微调模型参数,以下示例代码中,base_model_name_or_path为预训练模型参数保存路径,finetune_model_path为微调模型参数保存路径。基于LoRA微调的模型参数见:基于Llama2的中文微调模型,LoRA参数需要和基础模型参数结合使用。对于全量参数微调的模型,调用方式同模型调用代码示例,只需要修改其中的模型名称或者保存路径即可。,单机多卡的微调可以通过修改脚本中的。,关于LoRA微调的具体实现代码见。,关于全量参数微调的具体实现代码见。安装对应的环境依赖。
2024-02-24 18:12:01 1035
原创 Llama中文大模型-模型预训练
原子大模型Atom在Llama2的基础上,采用大规模的中文数据进行持续预训练,包含百科、书籍、博客、新闻、公告、小说、金融数据、法律数据、医疗数据、代码数据、专业论文数据、中文自然语言处理竞赛数据集等,详见📝 数据来源。互联网上公开的网络数据,挑选出去重后的高质量中文数据,涉及到百科、书籍、博客、新闻、公告、小说等高质量长文本数据。同时对庞大的数据进行了过滤、打分、去重,筛选出超过1T token的高质量中文数据,持续不断加入训练迭代中。Clue开放的中文预训练数据,进行清洗后的高质量中文长文本数据。
2024-02-24 18:10:23 1131
原创 Llama中文大模型-模型部署
基于gradio搭建的问答界面,实现了流式的输出,将下面代码复制到控制台运行,以下代码以Atom-7B-Chat模型为例,不同模型只需修改一下面的model_name_or_path对应的模型名称就好了😊。为了方便通过API方式调用模型,我们提供了脚本用来快速搭建FastAPI接口,相关测试代码与API参数设置见API 调用。创建一个名为 quick_start.py 的文件,并将以下内容复制到该文件中。如需设置环境,安装所需要的软件包,运行下面的命令。你可以从以下来源下载Atom-7B-Chat模型。
2024-02-24 18:09:10 1519
原创 Llama中文大模型
Meta官方在2023年8月24日发布了Code Llama,基于代码数据对Llama2进行了微调,提供三个不同功能的版本:基础模型(Code Llama)、Python专用模型(Code Llama - Python)和指令跟随模型(Code Llama - Instruct),包含7B、13B、34B三种不同参数规模。LoRA参数以及与基础模型合并的参数均已上传至Hugging Face,目前包含7B和13B的模型。
2024-02-24 18:04:18 1857
原创 repository-is-not-signed-in-docker-build
repository-is-not-signed-in-docker-build
2023-07-16 09:57:30 1549
原创 AtomGPT
【转发】为了能够在中文上训练出一个能够和ChatGPT能力接近的中文大模型,我们开放了AtomGPT项目AtomGPT基于LLaMA的模型架构,从0开始训练,希望能在训练的过程中,将模型能力得到提升的进化过程展示出来,感受到模型学习的过程。(ps:各位大佬,如果本项目能给您带来一点点帮助,麻烦点个⭐️吧)
2023-07-02 08:25:11 438
原创 Hadoop集群动态增加节点
配置ntp服务时钟,与主节点同步: server 90.0.25.1。执行该操作后,会看到其他节点上的block转移到新加入的节点上。磁盘总利用率与各个节点的利用率之差的绝对值不超过1%。配置hosts文件:vim /etc/hosts。数据传输带宽默认为1M,这里设置为64M。
2023-06-04 12:29:56 293
原创 Hive on Spark环境搭建
Hive 引擎包括:默认 MR、tez、spark最底层的引擎就是MR (Mapreduce)无需配置,Hive运行自带Hive on Spark:Hive 既作为存储元数据又负责 SQL 的解析优化,语法是 HQL 语法,执行引擎变成了 Spark,Spark 负责采用 RDD 执行。Spark on Hive : Hive 只作为存储元数据,Spark 负责 SQL 解析优化,语法是 Spark SQL语法,Spark 负责采用 RDD 执行。
2023-06-03 20:55:52 3725
原创 手动编译hive
使用hive3.1.2和spark3.4.0配置hive on spark的时候,发现官方下载的hive3.1.2和spark3.4.0不兼容,hive3.1.2对应的版本是spark2.3.0,而spark3.4.0对应的hadoop版本是hadoop2.6或hadoop2.7。除了兼容spark3.4.0外,还将hive3.1.2的guava的版本进行了提升,和hadoop3.x保持一致,以便兼容hadoop3.1.3。1、下载hive3.1.2源码包。2、本地解压并修改源码。
2023-06-03 20:29:18 1335 1
原创 多个硬盘挂载到同一个目录
LV(Logical Volume)- 逻辑卷逻辑卷建立在卷组之上,卷组中的未分配空间可以用于建立新的逻辑卷,逻辑卷建立后可以动态地扩展和缩小空间。系统中的多个逻辑卷可以属于同一个卷组,也可以属于不同的多个卷组。VG(Volumne Group)- 卷组卷组建立在物理卷之上,一个卷组中至少要包括一个物理卷,在卷组建立之后可动态添加物理卷到卷组中。基本概念PV(Physical Volume)- 物理卷物理卷在逻辑卷管理中处于最底层,它可以是实际物理硬盘上的分区,也可以是整个物理硬盘,也可以是raid设备。
2023-04-02 18:01:22 3588
原创 parse error on line 1, column 4: bare “ in non-quoted-field
parse error on line 1, column 4: bare " in non-quoted-field
2022-12-08 09:44:32 1861
原创 kubelet Container runtime network not ready“ networkReady=“NetworkReady=false reason:NetworkPluginNo
Container runtime network not ready" networkReady="NetworkReady=false reason:NetworkPluginNotReady message:Network plugin
2022-10-06 17:49:49 9740 1
原创 ERRO[0000] unable to determine runtime API version: rpc error: code = Unavailable desc = connection
[0000] unable to determine runtime API version: rpc error: code = Unavailable desc = connection error: desc = "transport: Error while dialing dial unix /var/run/dockershim.sock: connect: no such file or directory"
2022-10-06 16:12:02 2690
原创 使用 supervisor 管理进程
supervisord是一个用 Python 写的进程管理工具,可以很方便的用来启动、重启、关闭进程(不仅仅是 Python 进程)。除了对单个进程的控制,还可以同时启动、关闭多个进程,比如很不幸的服务器出问题导致所有应用程序都被杀死,此时可以用 supervisor 同时启动所有应用程序而不是一个一个地敲命令启动。
2022-10-05 14:34:44 704
McGrawHill_-_Machine_Learning_-Tom_Mitchell课后答案
2016-04-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人