关注
分享
文章平均质量分 82
本文章主要分享自然语言技术及其大语言模型领域的知识和案例，理论知识与实战案例相互结合。NLP (Natural Language Processing) 是人工智能（AI）的一个子领域。自然语言是人类智慧的结晶，自然语言处理是人工智能中最为困难的问题之一，而对自然语言处理的研究也是充满魅力和挑战的。
一个处女座的程序猿
人工智能硕博生，拥有十多项发明专利(6项)和软著(9项)，包括国际期刊SCI内多篇论文，多个国家级证书(2个国三级、3个国四级)，曾获国内外“人工智能算法”竞赛(包括国家级省市级等，一等奖5项、二等奖4项、三等奖2项)证书十多项，以上均以第一作者身份，并拥有省市校级个人荣誉证书十多项。目前也是国内知名博主，连续3年获CSDN十大博客之星，荣获达摩院评测官、阿里社区/CSDN社区/51CTO/华为社区等十多个开发者社区专家博主荣誉，曾受邀阿里/华为/谷歌等社区采访-评审-论坛几十次。截止2022年，AI领域粉丝超100万，文章阅读量超5000万。正在撰写《AI算法最新实战》一书，目前已30万字
展开
-
LLM之Colossal-LLaMA-2：Colossal-LLaMA-2的简介、安装、使用方法之详细攻略
LLM之Colossal-LLaMA-2：Colossal-LLaMA-2的简介、安装、使用方法之详细攻略目录Colossal-LLaMA-2的简介Colossal-LLaMA-2的安装Colossal-LLaMA-2的使用方法Colossal-LLaMA-2的简介 2023年9月25日，Colossal-AI团队推出了开源模型Colossal-LLaMA-2-7B-base。这个模型是LLaMA-2的一个衍生版本，在原创 2023-09-27 00:08:46 · 255 阅读 · 0 评论 -
LLMs之FLM-101B：《FLM-101B: An Open LLM and How to Train It with $100K Budget一个开放的LLM和如何用10万美元的预算训练训它》翻
LLM之FLM-101B：《FLM-101B: An Open LLM and How to Train It with $100K Budget一个开放的LLM和如何用10万美元的预算训练训它》翻译与解读目录《FLM-101B: An Open LLM and How to Train It with $100K Budget》翻译与解读Abstract摘要1 Introduction引言2 Design Overview of FLM-101B—FLM-1原创 2023-09-26 22:37:43 · 315 阅读 · 0 评论 -
LLMs之InternLM-20B：源码解读(train.py文件)—初始化配置→数据预处理(txt/json/jsonl等需转换为bin/meta文件再入模)→模型训练(批处理加载+内存分析+支持在
LLMs之InternLM-20B：源码解读(train.py文件)—初始化配置→数据预处理(txt/json/jsonl等需转换为bin/meta文件再入模)→模型训练(批处理加载+内存分析+支持在特定步数进行验证评估+TensorBoard可视化监控+支持分布式训练【多机多卡训练同步更新】)+模型评估(ACC+PPL)+性能监控(日志记录+性能分析+内存监控等)目录源码解读(train.py文件)# Step1、解析命令行参数# Step2、初始化分布式环境# Step3、初始化原创 2023-09-24 23:18:54 · 839 阅读 · 0 评论 -
LLMs之InternLM：InternLM-20B的简介、安装、使用方法之详细攻略
LLMs之InternLM：InternLM-20B的简介、安装、使用方法之详细攻略目录相关文章InternLM-20B的简介InternLM-20B的安装InternLM-20B的使用方法相关文章论文简介LLMs之InternLM：InternLM-7B模型的简介、安装、使用方法之详细攻略LLMs之InternLM：InternLM/InternLM-7B模型的简介、安装、使用方法之详细攻略_一个处女座原创 2023-09-22 23:58:44 · 1267 阅读 · 0 评论 -
LLMs之FlashAttention-2：《FlashAttention-2: Faster Attention with Better Parallelism and Work Partition
LLMs之FlashAttention-2：《FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning更快的注意力与更好的并行性和工作分区》翻译与解读目录《FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning》翻译与解读扩展Transformer的上下文长度是一个挑原创 2023-09-21 00:08:17 · 660 阅读 · 0 评论 -
LLMs之LLaMA-2：源码解读之所有py文件(包括example_text_completion.py/example_chat_completion.py+model.py/generation
LLMs之LLaMA-2：源码解读之所有py文件(包括example_text_completion.py/example_chat_completion.py+model.py/generation.py/tokenizer.py)目录一、llama2源码解读—推理功能—(example_text_completion.py/example_chat_completion.py)二、llama2源码解读—模型/分词器/对话聊天功能—(model.py/genera原创 2023-09-20 21:47:48 · 713 阅读 · 0 评论 -
LLMs之LLaMA-2：源码解读(generation.py文件)—Llama类实现基于预训练模型的文本生成功能(基于单轮提示实现文本补全/多轮对话生成)=build函数构建Llama实例+init
LLMs之LLaMA-2：源码解读(generation.py文件)—Llama类实现基于预训练模型的文本生成功能(基于单轮提示实现文本补全/多轮对话生成)=build函数构建Llama实例+init函数初始化模型和词表对象+generate函数基于提示文本生成文本序列+sample_top_p辅助函数实现了控制随机性的核心采样策略top-P目录源码解读(generation.py文件)# 0、初始化Llama类,加载预训练LLM模型。# 1、自定义一些数据内容，例如Message、C原创 2023-07-16 01:11:53 · 649 阅读 · 0 评论 -
LLMs之LLaMA-2：源码解读(tokenizer.py文件)基于SentencePiece库执行文本的分词和编码/解码操作—在文本生成和处理过程中，将文本字符串与token ID列表之间进行相互
LLMs之LLaMA-2：源码解读(tokenizer.py文件)基于SentencePiece库执行文本的分词和编码/解码操作—在文本生成和处理过程中，将文本字符串与token ID列表之间进行相互转换，以便与深度学习模型进行交互目录源码解读(tokenizer.py文件)基于SentencePiece库执行文本的分词和编码/解码操作—在文本生成和处理过程中，将文本字符串与token ID列表之间进行相互转换，以便与深度学习模型进行交互# 1、创建日志记录器logger用于记录程序运行时的原创 2023-09-03 13:36:45 · 1101 阅读 · 0 评论 -
LLMs之LLaMA-2：源码解读(model.py文件)模块化思想实现了一个完整的Transformer模型(多头注意力机制+前馈神经网络，RMSNorm+RoPE+并行计算+缓存机制提升效率)
LLMs之LLaMA-2：源码解读(model.py文件)模块化思想实现了一个完整的Transformer模型(多头注意力机制+前馈神经网络，RMSNorm+RoPE+并行计算+缓存机制提升效率)目录源码解读(model.py文件)实现了一个Transformer模型(多头注意力机制+前馈神经网络+旋转嵌入)# 1、定义ModelArgs数据类配置模型参数(用于配置Transformer模型的结构和超参数)：用于存储模型的配置参数，包括模型维度、层数、注意力头数、词原创 2023-09-01 00:00:03 · 447 阅读 · 0 评论 -
LLMs之Baichuan2：源码解读(fine-tune.py文件，基于deepspeed )—解析命令行参数→数据预处理(对消息内容进行分词处理+if判断对话角色(来自用户还是助手)并为对话内容
LLMs之Baichuan2：源码解读(fine-tune.py文件，基于deepspeed )—解析命令行参数→数据预处理(对消息内容进行分词处理+if判断对话角色(来自用户还是助手)并为对话内容添加各自角色对应的特殊token进而生成对应的输入和标签+添加结束符token+截断或填充操作)→模型训练(LoRA优化)目录源码解读(fine-tune.py文件，基于deepspeed )—解析命令行参数→数据预处理(对消息内容进行分词处理+if判断对话角色(来自用户还是助手)并为对话内容添加各自原创 2023-09-14 00:06:52 · 1003 阅读 · 0 评论 -
NLP：利用spacy的en_core_web_sm预训练语言模型通过对文本数据的依存分析法(主谓宾/语法树结构)实现将大量的文本数据转化为结构化数据应用案例实现代码
NLP：利用spacy的en_core_web_sm预训练语言模型通过对文本数据的依存分析法(主谓宾/语法树结构)实现将大量的文本数据转化为结构化数据应用案例实现代码目录利用spacy的en_core_web_sm预训练语言模型通过对文本数据的依存分析法(主谓宾/语法树结构)实现将大量的文本数据转化为结构化数据应用案例# 1、定义文本数据# 2、基于进行依存分析实现代码利用spacy的en_core_web_sm预训练语言模型通过对文本数据的依存分析法(主谓宾/语法树结构原创 2023-09-17 23:37:33 · 801 阅读 · 0 评论 -
NLP：对文本进行预处理操作(利用jieba分词+合并+利用re去掉标点符号和空格+去重+利用nltk词性标注并转为字典、特征编码并存为字典、标签编码并存为字典)实现实际样本特征编码、实际样本标签编码
NLP：对文本进行预处理操作(利用jieba分词+合并+利用re去掉标点符号和空格+去重+利用nltk词性标注并转为字典、特征编码并存为字典、标签编码并存为字典)实现实际样本特征编码、实际样本标签编码应用案例。原创 2023-09-17 23:34:54 · 836 阅读 · 0 评论 -
LLMs之Chinese-LLaMA-Alpaca-2：源码解读(run_clm_sft_with_peft.py文件)—模型训练前置工作(参数解析+配置日志)→模型初始化(检测是否存在训练过的che
LLMs之Chinese-LLaMA-Alpaca-2：源码解读(run_clm_sft_with_peft.py文件)—模型训练前置工作(参数解析+配置日志)→模型初始化(检测是否存在训练过的checkpoint+加载预训练模型和tokenizer)→数据预处理(监督式任务的数据收集器+指令数据集【json格式】)→优化模型配置(量化模块+匹配模型vocabulary大小与tokenizer+初始化PEFT模型【LoRA】+梯度累积checkpointing等)→模型训练(继续训练+评估指标+自动保存原创 2023-09-17 23:15:45 · 897 阅读 · 0 评论 -
LLMs之Chinese-LLaMA-Alpaca-2：源码解读(run_clm_pt_with_peft.py文件)—模型训练前置工作(参数解析+配置日志)→模型初始化(检测是否存在训练过的chec
LLMs之Chinese-LLaMA-Alpaca-2：源码解读(run_clm_pt_with_peft.py文件)—模型训练前置工作(参数解析+配置日志)→模型初始化(检测是否存在训练过的checkpoint+加载预训练模型和tokenizer)→数据预处理(处理【标记化+分块】+切分txt数据集)→优化模型配置(量化模块+匹配模型vocabulary大小与tokenizer+初始化PEFT模型【LoRA】+梯度累积checkpointing等)→模型训练(继续训练+评估指标+自动保存中间训练结果)原创 2023-08-31 23:59:16 · 762 阅读 · 0 评论 -
LLMs之ChatGLM2：ChatGLM-Finetuning之源码解读(train.py文件)—解析命令→加载数据→模型训练(四种方式微调+DeepSpeed封装数据并行)+模型保存(定期输出lo
LLMs之ChatGLM2：ChatGLM-Finetuning之源码解读(train.py文件)—解析命令行(模型路径+数据集相关【最大序列长度/最大输入长度】+训练参数相关【批次大小/学习率/权重衰减系数/训练轮数/梯度累计步数/学习率预热比例】+结果输出相关【输出路径/训练方式【四种方式微调，如Freeze/Lora/P-Tuning/全量参数】/进程标志/loss频率/保存模型频率】+否启用梯度检查点+DeepSpeed配置+LoRA/Freeze/P-tuning配置)及初始化设置(是否启用分原创 2023-09-16 08:12:20 · 769 阅读 · 0 评论 -
PTM：大模型加速方法或框架(预训练阶段/推理阶段)的简介、常用框架(Megatron-LM/Colossal-AI/DeepSpeed等，FastLLM/vLLM等)、案例应用之详细攻略
PTM：大模型加速方法或框架(预训练阶段/推理阶段)的简介、常用框架(Megatron-LM/Colossal-AI/DeepSpeed等，FastLLM/vLLM等)、案例应用之详细攻略目录一、大模型预训练阶段—加速方法或框架(以分布式深度学习为核心)二、大模型推理阶段—加速方法或框架持续更新中……一、大模型预训练阶段—加速方法或框架(以分布式深度学习为核心)1.1、训练阶段—加速方法或框架的概述背景随着预训练语言模型研究的不断深入，预训练模型的参原创 2023-09-14 08:28:15 · 1616 阅读 · 0 评论 -
LLMs之ChatGLM2：ChatGLM-Finetuning(基于DeepSpeed)的简介、使用方法(四种微调方法(Freeze方法/Lora方法/P-Tuning方法/全量参数)+单卡/多卡训
LLMs之ChatGLM2：ChatGLM-Finetuning(基于DeepSpeed)的简介、使用方法(四种微调方法(Freeze方法/Lora方法/P-Tuning方法/全量参数)+单卡/多卡训练设置+显存资源占用对比)、案例应用(基于4张A800-80G+采用ChatGLM-6B模型+全量参数+基于DeepSpeed框架(ZeRO3的模型拆分技术)流水线实现)之详细攻略目录ChatGLM-Finetuning的简介ChatGLM-Finetuning的安装及其使用方法原创 2023-08-31 23:58:17 · 963 阅读 · 0 评论 -
DNN之LNN：训练大型神经网络的核心技术(数据并行+管道并行+张量并行+专家混合MoE+内存优化策略【CheckPoint/MP/Offloading/优化器内存优化/压缩技术)
DNN之LNN：训练大型神经网络的核心技术(数据并行+管道并行+张量并行+专家混合MoE+内存优化策略【CheckPoint/MP/Offloading/优化器内存优化/压缩技术)DNN之LNN：《Techniques for training large neural networks训练大型神经网络的技术(数据并行+管道并行+张量并行+专家混合MoE+内存优化策略【CheckPoint/MP/Offloading/优化器内存优化/压缩技术)》翻译与解读目录《Techn原创 2022-11-06 23:12:51 · 1176 阅读 · 0 评论 -
Paper：txyz_ai(一款帮助科研人员阅读PDF论文ChatGPT利器)的简介、安装、使用方法之详细攻略
Paper：txyz_ai(一款帮助科研人员阅读PDF论文ChatGPT利器)的简介、安装、使用方法之详细攻略目录txyz.ai的简介txyz.ai的安装txyz.ai的使用方法txyz.ai的简介 txyz.ai一款帮助科学研究人员阅读PDF论文的plug-in—ChatGPT利器。官网：TXYZ - Chat With Knowledgetxyz.ai的安装1、Web端plug-in安装步骤图文教程第一步，打开 ChatGPT ，选择 GPT原创 2023-08-29 22:15:00 · 656 阅读 · 0 评论 -
LLMs：Chinese-LLaMA-Alpaca-2(基于deepspeed框架)的简介、安装、案例实战应用之详细攻略
LLMs：Chinese-LLaMA-Alpaca-2(基于deepspeed框架)的简介、安装、案例实战应用之详细攻略目录相关文章Chinese-LLaMA-Alpaca-2的简介Chinese-LLaMA-Alpaca-2的安装Chinese-LLaMA-Alpaca-2的案例实战应用相关文章理论论文相关LLMs：《Efficient and Effective原创 2023-08-29 22:00:00 · 1137 阅读 · 0 评论 -
LLMs之Falcon 180B：Falcon 180B的简介、安装、使用方法之详细攻略
LLMs之Falcon 180B：Falcon 180B的简介、安装、使用方法之详细攻略目录Falcon 180B的简介Falcon 180B的安装Falcon 180B的使用方法Falcon 180B的简介Falcon 180B是由TII发布的一款模型，它延续了Falcon系列的先前版本。从架构上看，Falcon 180B是Falcon 40B的一个放大版本，并建立在其创新之上，例如MQA多查询注意力以提高可扩展性。Falcon 180B在多原创 2023-09-07 23:25:10 · 1334 阅读 · 0 评论 -
LLMs之Baichuan 2：Baichuan 2的简介、安装、使用方法之详细攻略
LLMs之Baichuan 2：Baichuan 2的简介、安装、使用方法之详细攻略目录相关文章Baichuan 2的简介Baichuan 2的安装Baichuan 2的使用方法相关文章LLMs之Baichuan：Baichuan-13B模型的简介(包括Baichuan-7B)、安装、使用方法之详细攻略LLMs之Baichuan：Baichuan-13B模型的简介(包括Baichuan-7B)、安装、使用方原创 2023-09-07 23:36:20 · 3721 阅读 · 0 评论 -
LLMs之Baichuan 2：《Baichuan 2: Open Large-scale Language Models》翻译与解读
LLMs之Baichuan 2：《Baichuan 2: Open Large-scale Language Models》翻译与解读文章总结与解读持续更新中……目录相关文章《Baichuan 2: Open Large-scale Language Models》翻译与解读Abstract摘要1Introduction引言2Pre-training预训练3 Alignment对齐=原创 2023-09-07 23:54:09 · 1538 阅读 · 0 评论 -
ML+LLMs：利用LLMs大语言模型赋能或者结合ML机器学习算法进行具体应用的简介、具体案例之详细攻略
ML+LLMs：利用LLMs大语言模型赋能或者结合ML机器学习算法进行具体应用的简介、具体案例之详细攻略目录利用LLMs赋能或者结合ML算法进行具体应用的简介1、概述：数据增强/特征工程/过程优化/结果解释/聚类分析/信息检索利用LLMs赋能或者结合ML算法进行具体应用的具体案例利用LLMs赋能或者结合ML算法进行具体应用的简介1、概述：数据增强/特征工程/过程优化/结果解释/聚类分析/信息检索数据增强利用LLMs的文本生成能力，生成大规模的合成文本数据，用于原创 2023-09-05 20:16:36 · 1171 阅读 · 0 评论 -
Paper：《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译与解读
Paper：《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译与解读目录《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译与解读Abstract摘要1 Introduction引言2、Methodology方法3、Datasets数据集：大多都是英文指令原创 2023-08-31 23:48:49 · 1493 阅读 · 0 评论 -
LLMs之Law：大语言模型领域行业场景应用之大模型法律行业的简介、主流LLMs(PowerLawGLM/ChatLaw)、经典应用之详细攻略
LLMs之Law：大语言模型领域行业场景应用之大模型法律行业的简介、主流LLMs(PowerLawGLM/ChatLaw)、经典应用之详细攻略目录法律行业大模型的简介法律行业大模型主流LLMs法律行业大模型的经典应用法律行业大模型的简介背景2023年5月29日 据央视新闻报道,近日美国一名律师在一起诉讼案件中，引用了ChatGPT搜集的6个案例，而法官却发现那些信息全是胡编乱造。。这一事件揭示了人工智能在法律领域的潜在风险，包括误传错误信息。原创 2023-07-30 22:34:11 · 1047 阅读 · 0 评论 -
NLP之LLMs：大型语言模型领域LLMs排位赛—最新各个模型的实时排名、在线测试网站集合之详细攻略(持续更新)
NLP之LLMs：大型语言模型领域LLMs排位赛—最新各个模型的实时排名、在线测试网站集合之详细攻略(持续更新)目录相关文章NLP之LLMs：Transformer的六大核心技术点(ED/SA/MHA/PE/FNN/RC-LN)、基于Transformer的1+2大划时代性模型(BERT模型/GPT模型)简介之详细攻略LLMs：ChatGPT发展史—图灵测试→N-gram→Word2Vec→NPLM(BERT/GPT)→Seq2Seq→Attention→Transformer→GPT→ChatGPT→Pr原创 2023-05-25 11:25:59 · 713 阅读 · 0 评论 -
LLMs之Code：SQLCoder的简介、安装、使用方法之详细攻略
LLMs之Code：SQLCoder的简介、安装、使用方法之详细攻略目录SQLCoder的简介SQLCoder的安装SQLCoder的使用方法SQLCoder的简介2023年8月，发布了SQLCoder，这是一个先进的LLM，用于将自然语言问题转换为SQL查询。SQLCoder在基础的StarCoder模型上进行了微调。SQLCoder是一个拥有150亿参数的模型，在我们的sql-eval框架上，它在自然语言到SQL生成任务上胜过了gpt-3.5-tu原创 2023-08-29 22:34:45 · 2006 阅读 · 0 评论 -
LLMs：OpenAI官方重磅更新——新增GPT-3.5Turbo调和API更新功能
LLMs：OpenAI官方重磅更新——新增GPT-3.5Turbo调和API更新功能目录微调用例微调步骤安全性定价更新后的GPT-3模型微调用例自GPT-3.5 Turbo发布以来，开发者和企业一直在寻求将模型定制为为其用户创建独特和差异化的体验的能力。通过此发布，开发者现在可以运行监督式微调，以使该模型在其用例中表现更佳。在我们的私人测试版中，微调客户已经能够在常见用例中显著提高模型性能，例如：>> 改进的可控性：微调使企业能够更好地遵循指示，例如使输出更原创 2023-08-29 21:30:00 · 1652 阅读 · 0 评论 -
LLMs之Code：Code Llama的简介、安装、使用方法之详细攻略
LLMs之Code：Code Llama的简介、安装、使用方法之详细攻略目录Code Llama的简介Code Llama的安装Code Llama的使用方法Code Llama的简介2023年08月25日，Meta发布了基于的Llama2用于专攻代码生成的基础模型 Code Llama。Code Llama 是基于 Llama 2的一系列面向代码的大型语言模型，提供了在开放模型中领先的性能，填充能力，支持大型输入上下文，以及用于编程任务的零原创 2023-08-29 20:45:00 · 3828 阅读 · 1 评论 -
LLMs：FastEdit(一款可在10秒内编辑和更新大型语言模型事实知识的高效工具)的简介、安装、使用方法之详细攻略
LLMs：FastEdit(一款可在10秒内编辑和更新大型语言模型事实知识的高效工具)的简介、安装、使用方法之详细攻略目录FastEdit的简介FastEdit的安装FastEdit的使用方法FastEdit的简介 2023年7月，hiyouga发布了FastEdit，这是一款可在10秒内编辑大型语言模型事实知识的高效工具。该代码库，采用Rank-One Model Editing (ROME)算法，旨在通过一条命令，高效地将新鲜和定制的知识注原创 2023-07-13 00:33:40 · 820 阅读 · 0 评论 -
LLMs之ROME：《Locating and Editing Factual Associations in GPT》—翻译与解读
LLMs之ROME：《Locating and Editing Factual Associations in GPT》—翻译与解读目录一、《Locating and Editing Factual Associations in GPT》—翻译与解读二、《Locating and Editing Factual Associations in GPT》博客文章—翻译与解读一、《Locating and Editing Factual Associations in原创 2023-04-22 23:33:52 · 442 阅读 · 0 评论 -
LLMs之ChatGLM2：基于ChatGLM Efficient Tuning(微调工具包)实现对ChatGLM2进行LoRA微调并进行推理测试图文教程之详细攻略
LLMs之ChatGLM2：基于ChatGLM Efficient Tuning(微调工具包)实现对ChatGLM2进行LoRA微调并进行推理测试图文教程之详细攻略目录1、硬件要求和Python依赖2、代码和模型权重下载3、基于微调工具包实现模型训练与推理1、硬件要求和Python依赖硬件要求模型部署电脑硬件要求：FP16半精度-13GB显存INT8量化 -10GB显存INT4量化 -6GB 显存也可以选择CPU部署，甚至可原创 2023-08-27 23:50:17 · 1727 阅读 · 0 评论 -
LLMs：LangChain-Chatchat(一款可实现本地知识库问答应用)的简介(支持ChatGLM-2/LLaMA-2等多款主流LLMs)、安装、使用方法之详细攻略
LLMs：LangChain-Chatchat(一款可实现本地知识库问答应用)的简介(支持ChatGLM-2/LLaMA-2等多款主流LLMs)、安装、使用方法之详细攻略目录LangChain-Chatchat的简介LangChain-Chatchat的安装LangChain-Chatchat的使用方法LangChain-Chatchat的简介 2023年8月14日，原 Langchain-ChatGLM 项目原创 2023-08-27 23:41:36 · 832 阅读 · 1 评论 -
LLMs之ChatGLM2：ChatGLM2-6B本地部署之单机推理(API/CLI/GUI)、低成本部署(GPU量化部署/CPU及其量化部署/Mac部署/多卡部署)、有限资源下高效微调(全参/P-t
LLMs之ChatGLM2：ChatGLM2-6B本地部署之单机推理(API/CLI/GUI)、低成本部署(GPU量化部署/CPU及其量化部署/Mac部署/多卡部署)、有限资源下高效微调(全参/P-tuning v2)、模型评估和推理之图文教程之详细攻略目录一、配置基础环境及其注意事项二、模型微调：让通用走向专业三、模型评估和推理一、配置基础环境及其注意事项第一步、检测软硬件环境设备和原创 2023-08-27 23:36:44 · 945 阅读 · 0 评论 -
Dataset之NLP之LLMs：自然语言处理领域—大语言模型LLMs相关开源数据集的简介(三类数据集【预训练数据/微调数据/测试数据】)、下载(国内外开源数据集平台总结)、使用方法之详细攻略
Dataset之NLP之LLMs：自然语言处理领域—大语言模型LLMs相关开源数据集的简介、下载、使用方法之详细攻略目录LLMs相关开源数据集的简介LLMs相关开源数据集的下载LLMs相关开源数据集的使用方法LLMs相关开源数据集的简介1、三类数据集：预训练数据/微调数据/测试数据1.1、预训练数据RedPajama, 2023.RepoThe Pile: An 800GB Dataset of Diverse Text for Language原创 2023-08-27 23:06:11 · 1083 阅读 · 0 评论 -
LLMs：LLaMA Efficient Tuning(一款可高效微调【全参数/LoRA/QLoRA】主流大模型【ChatGLM-2/LLaMA-2/Baichuan等】的高效工具【预训练+指令监督微
LLMs：LLaMA Efficient Tuning(一款可高效微调【全参数/LoRA/QLoRA】主流大模型【ChatGLM-2/LLaMA-2/Baichuan等】的高效工具【预训练+指令监督微调+奖励模型训练+PPO 训练+DPO 训练】)的简介、安装、使用方法之详细攻略目录相关文章LLaMA Efficient Tuning的简介LLaMA Efficient Tuning的的安装ChatGLM Efficient Tuning的使用方法原创 2023-07-30 22:32:42 · 2390 阅读 · 0 评论 -
LLMs之ChatGLM：ChatGLM Efficient Tuning(一款高效微调ChatGLM-6B/ChatGLM2-6B的工具【LoRA/P-Tunin】)的简介、安装、使用方法之详细攻略
LLMs之ChatGLM：ChatGLM Efficient Tuning(一款高效微调ChatGLM-6B/ChatGLM2-6B的工具【LoRA/P-Tuning V2/Freeze Tuning/全量微调】)的简介、安装、使用方法之详细攻略目录相关文章ChatGLM Efficient Tuning的简介ChatGLM Efficient Tuning的安装ChatGLM Efficient Tuning的使用方法相关文章LLMs之Chat原创 2023-06-28 00:59:50 · 1209 阅读 · 1 评论 -
LLMs之LLaMA-2：基于LocalGPT利用LLaMA-2模型实现本地化的知识库(Chroma)并与本地文档(基于langchain生成嵌入)进行对话问答图文教程+代码详解之详细攻略
LLMs之LLaMA-2：基于LocalGPT利用LLaMA-2模型实现本地化的知识库(Chroma)并与本地文档(基于langchain生成嵌入)进行对话问答图文教程+代码详解之详细攻略目录第一步，新建conda环境，并下载LocalGPT项目文件夹第二步，解读代码第三步，修改run_localGPT.py文件代码第四步，运行代码实现提问第一步，新建conda环境，并下载LocalGPT项目文件夹LLMs之LocalGP原创 2023-07-13 00:33:06 · 1746 阅读 · 0 评论 -
LLMs之LLaMA-2：基于云端进行一键部署对LLaMA2模型实现推理(基于text-generation-webui)执行对话聊天问答任务、同时微调LLaMA2模型(配置云端环境【A100】→下载
LLMs之LLaMA-2：基于云端进行一键部署对LLaMA2模型实现推理(基于text-generation-webui)执行对话聊天问答任务、同时微调LLaMA2模型(配置云端环境【A100】→下载数据集【datasets】→加载模型【transformers】→分词→模型训练【peft+SFTTrainer+wandb】→基于HuggingFace实现云端分享)之图文教程详细攻略目录一、基于云端(在Google Colab上)进行一键部署并推理二、基于云端(在Google Co原创 2023-07-30 22:33:30 · 1271 阅读 · 0 评论