- 博客(2)
- 资源 (6)
- 收藏
- 关注
原创 新手小白学习大模型训练,部署LLaMA-Factory和ms-swift
新手小白学习大模型训练,部署LLaMA-Factory和ms-swift
2025-03-20 08:14:18
428
爱心源码-一个基于最大的开源GPT2中文大模型的写作机器人源码
参数值高达上亿,有点考验你的机器额
不过写作效果真是杠杠的,赶紧下载回去惊艳你的同事和同学吧。
安装过程吗,有手就行。
由于采用了一个基于解码器结构的单向语言模型,使用100G中文常用数据,32个A100训练了28个小时,是目前最大的开源GPT2中文大模型,写作质量当然也是极好的啊。
下载模型的时候需要耗费一些时间,不过好消息是下载一次就一劳永逸了。
随着人工智能研究的深入,各种模型参差不齐,层出不穷,好处就是大家学习人工智能自然语言处理更加容易了,心情是最好的老师,通过具体的实践,才会对书上那些晦涩难懂的概念有具象的认知。
所以赶紧用起来吧,不过也需要有一些python的基础,懂一点自然语言处理的入门知识。大家还可以下载我上传的其他资源,都是注释特别详细,非常浅显易懂,上手非常快的。
如果有训练好的模型,也可以共享给大家。
2022-12-04
Chinese NewsTitle Generation Project by GPT2.带有超级详细注释的中文GPT2新闻标题
基于GPT2.带有超级详细注释的中文GPT2新闻标题
从网上收集数据,将清华新闻数据、搜狗新闻数据等新闻数据集,以及开源的一些摘要数据进行整理清洗,构建一个较完善的中文摘要数据集。
数据集清洗时,仅进行了简单地规则清洗。例如:清洗htlm标记、去除多余空字符、去除图片标记等。
本项目是一个带有超级详细中文注释的基于GPT2模型的新闻标题生成项目。
本项目参考了GPT2-Chinese、GPT2-chitchat、CDial-GPT、GPT2等多个GPT2开源项目,并根据自己的理解,将代码进行重构,添加详细注释,希望可以帮助到有需要的人。
本项目使用HuggingFace的transformers实现GPT2模型代码编写、训练及测试。
本项目通过Flask框架搭建了一个Web服务,将新闻摘要生成模型进行工程化,可以通过页面可视化地体验新闻标题生成效果。
本项目的代码详细讲解,可以自行阅读代码,也可查看代码注释介绍。
本项目提供的新闻标题模型是一个6层的小模型(其实是穷人没人卡,只能训练小模型),并且在训练该模型过程中,没有加载预训练的GPT2模型而是随机初始化的参数,并且训练轮数较少
2022-12-04
Easy-to-use CPM for Chinese text generation(基于CPM的中文文本生成)
本项目采用了109M的CPM模型(若资源允许也可以考虑334M的模型),并且简化了模型的训练和使用。
本项目是基于CPM模型的中文文本生成项目,可用于作文、小说、新闻、古诗等中文生成任务,并且训练和分享了中文作文生成模型,取得了不错的生成效果。 本项目提供了数据预处理、模型训练、文本生成、Http服务等代码模块。 详情可参考CPM模型论文, CPM官网, 项目源码 。
2022-12-04
基于GPT2的中文摘要生成模型
本项目使用 GPT2-Chinese 的模型将wiki中文的数据导入模型训练了通用模型。
将GPT2-chitchat的对话任务稍作修改来适用于中文摘要任务。
将通用模型的权重应用在摘要问题上进行进一步训练的。
GPT2-Chinese 参考:https://github.com/Morizeyao/GPT2-Chinese
GPT2-chitchat参考:https://link.zhihu.com/?target=https%3A//github.com/yangjianxin1/GPT2-chitchat
项目工作流程详见:https://zhuanlan.zhihu.com/p/113869509
本项目为GPT2-chitchat稍作修改的内容,在此也感谢大佬的分享。
由于NLPCC的摘要数据为新闻语料,涉及话题和内容较多,应用在垂直领域下效果会好一些。
2022-12-04
和spark等即时通讯软件结合的迷你办公系统
MiniOA,又称迷你办公自动化系统,主要解决公司日常网上办公、信息发布、信息流转、文档共享等信息化应用。技术层面上,1、提供应用程序开发框架,便于进行二次开发,开发者不必关心组织结构、权限控制、菜单管理、日志、图表等公共模块的开发,仅需要关注业务;2、重点开发电子表单模块,让用户不需要开发一行代码便可建立数据表单,就可完成对业务数据的采集;3、提供简单的工作流支持,配合电子表单模块以满足公司日常审批需求。
项目主页:http://code.google.com/p/minioa/
2011-08-28
TA创建的收藏夹 TA关注的收藏夹
TA关注的人