精选(人工智能+AIGC)-高级
文章平均质量分 82
本专栏主要涵盖最新人工智能、区块链领域的高级和资深级技术文章,以论文和前沿技术研究探讨和跟踪为主,均为博主精心总结、紧跟前沿、逐步优化、学以致用。文章重点处均有颜色标注,方便阅读和查看。
优惠券已抵扣
余额抵扣
还需支付
¥199.90
购买须知?
本专栏为图文内容,最终完结不会低于15篇文章。
订阅专栏,享有专栏所有文章阅读权限。
本专栏为虚拟商品,基于网络商品和虚拟商品的性质和特征,专栏一经购买无正当理由不予退款,不支持升级,敬请谅解。
一个处女座的程序猿
人工智能硕博学历,拥有十多项发明专利(6项)和软著(9项),包括国际期刊SCI内多篇论文,多个国家级证书(2个国三级、3个国四级),曾获国内外“人工智能算法”竞赛(包括国家级省市级等,一等奖5项、二等奖4项、三等奖2项)证书十多项,以上均以第一作者身份,并拥有省市校级个人荣誉证书十多项。目前也是国内知名博主,连续3年获CSDN十大博客之星,荣获达摩院评测官、阿里社区/CSDN社区/51CTO/华为社区等十多个开发者社区专家博主荣誉,曾受邀阿里/华为/谷歌等社区采访-评审-论坛几十次。截止2022年,AI领域粉丝超100万,文章阅读量超5000万。正在撰写《AI算法最新实战》一书,目前已30万字
展开
-
LLMs之Tokenizer之Unigram:Unigram分词方法的简介、使用方法、案例应用之详细攻略
Unigram源自N-gram,最简单的分词方式,而UnigramLM是一种基于语言模型的分词算法/切分技术,它使用已经切分好的词汇序列(比如Unigram)来训练n-gram语言模型,然后使用该模型来预测新的句子中的词汇切分位置。为了估计Unigram语言模型,它采用了期望最大化(EM)算法:在每次迭代中,我们首先根据旧的语言模型找到当前最优的单词分词方式,然后重新估计Unigram的概率以更新语言模型。此外,为了更好的子词抽样,我们提出了一种基于unigram语言模型的新的子词分割算法。原创 2024-02-05 00:47:01 · 768 阅读 · 0 评论 -
LLMs之ToolAgent:基于LangChain框架(+LangSmith跟踪)来创建一个能够利用工具(如搜索引擎和文档检索器)以及参考聊天历史信息来响应用户输入的代理——定义工具转换为AGent
LLMs之Agent之Tool Calling Agent:基于LangChain框架(+LangSmith跟踪)来创建一个能够利用工具(如搜索引擎和文档检索器)以及参考聊天历史信息来响应用户输入的代理——定义工具转换为AGent格式并创建工具列表(Tavily【在线搜索】和和Retriever【本地检索】)→创建Agent(定义llm【ChatOpenAI+温度为0】和prompt+定义Agent【使用LLM、Prompt和Tools来初始化Agent】+定义Agent执行器【思考这些组件】)→创建并原创 2024-04-17 01:38:15 · 1008 阅读 · 0 评论 -
LangChain之Agent:LangChain框架中与Agent相关的概念简介、Agent分类(五大维度分类/8种代理)、常用函数、案例应用之详细攻略
LangChain之Agent:LangChain框架中与Agent相关的概念简介、Agent分类(五大维度分类/8种代理)、常用函数、案例应用之详细攻略目录LangChain框架中与Agent相关的概念简介、Agent分类(五大维度分类/8种代理)、常用函数、案例应用之详细攻略LangChain框架中与Agent相关的概念简介LangChain框架中Agent的分类LangChain框架中与Agent相关的常用函数LangChain框架中与Agent相关的案原创 2024-04-17 02:59:44 · 756 阅读 · 0 评论 -
LLMs之LangChain:LangChain(开发和构建)、LangSmith(生产化/跟踪)、LangServe(部署为API)的基础使用案例教程—利用LangChain开发和构建LLM的应用程
LLMs之LangChain:LangChain(开发和构建)、LangSmith(生产化/跟踪)、LangServe(部署为API)的基础使用案例教程—利用LangChain开发和构建LLM的应用程序(构建LLM链/检索链/对话检索链/构建Agent)代码实现教程之详细攻略目录LangChain(开发和构建)、LangSmith(生产化/跟踪)、LangServe(部署为API)的基础使用案例教程—利用LangChain开发和构建LLM的应用程序(构建LLM链/检索链/对话检索链/构建Agen原创 2024-04-11 01:25:10 · 1104 阅读 · 0 评论 -
LLMs之FineTuning:LLaMA-Factory框架中如何在 dataset_info.json 中自定义alpaca 格式/sharegpt 格式数据集及其示例演示
LLMs之FineTuning:LLaMA-Factory框架中如何在 dataset_info.json 中通过指定--dataset dataset_name参数→实现自定义alpaca 格式/sharegpt 格式数据集及各部分字段的对应关系→以便正确读取和利用数据集内容训练模型目录LLaMA-Factory框架中如何在 dataset_info.json 中通过指定--dataset dataset_name参数→实现自定义alpaca 格式/sharegpt 格式原创 2024-04-08 22:25:50 · 1050 阅读 · 0 评论 -
LLMs之ChatGLM3:ChatGLM3源码解读(inference_hf.py)微调模型实现基于用户指定模型的目录和提示实现模型生成的响应——利用Typer和Transformers库构建了一个
LLMs之ChatGLM3:ChatGLM3源码解读(inference_hf.py)微调模型实现基于用户指定模型的目录和提示实现模型生成的响应——利用Typer和Transformers库构建了一个命令行工具,可以方便地加载预训练的语言模型并进行对话生成目录ChatGLM3源码解读(inference_hf.py)微调模型实现基于用户指定模型的目录和提示实现模型生成的响应——利用Typer和Transformers库构建了一个命令行工具,可以方便地加载预训练的语言模型并进行对话生成# 1、原创 2024-02-22 23:55:04 · 35 阅读 · 0 评论 -
LLMs之ChatGLM3:ChatGLM3源码解读(finetune_hf.py)微调模型实现生成任务——初始化模型训练环境→加载数据→配置模型→微调训练模型(支持SFT/Ptuning_v2/Lo
LLMs之ChatGLM3:ChatGLM3源码解读(finetune_hf.py)微调模型实现生成任务——初始化模型训练环境→加载数据→配置模型→微调训练模型(支持SFT/Ptuning_v2/LoRA+可从检查点恢复)→模型评估(BLEU/ROUGE等)目录ChatGLM3源码解读(finetune_hf.py)微调模型实现生成任务——初始化模型训练环境→加载数据→配置模型→微调训练模型(支持SFT/Ptuning_v2/LoRA+可从检查点恢复)→模型评估(BLEU/ROUGE等)#原创 2024-03-03 23:52:02 · 448 阅读 · 0 评论 -
LLMs:文本生成任务常用的评估指标(BLEU/ROUGE等)的简介(核心原理+实现思路+实现代码)、使用方法、案例应用之详细攻略
LLMs:文本生成任务常用的评估指标(BLEU/ROUGE等)的简介(核心原理+实现思路+实现代码)、使用方法、案例应用之详细攻略目录文本生成任务常用的评估指标(BLEU/ROUGE等)的简介BLEU(评估机器翻译)ROUGE(评估文本摘要)基于ChatGLM3的微调代码中实现compute_metrics函数来计算评估指标,如BLEU机器翻译和ROUGE自动文摘等文本生成任务常用的评估指标(BLEU/ROUGE等)的使用方法文本生成任务常用的评估指标(BLEU/ROUG原创 2020-01-14 22:51:53 · 395 阅读 · 1 评论 -
LLMs之PPL:解读多个权威文档(比如huggingface)中对PPL(困惑度)的定义、PPL的多种计算方式、多种代码实现
LLMs之PPL:解读多个权威文档(比如huggingface)中对PPL(困惑度)的定义、PPL的多种计算方式、代码实现目录Chinese-LLaMA-Alpaca-2项目中的PPL代码实现两种近似算法计算固定长度语言模型的困惑度文章地址:https://huggingface.co/docs/transformers/perplexityPerplexity of fixed-length models固定长度模型困困惑度PPL是GPT-St原创 2024-04-04 23:46:54 · 1218 阅读 · 1 评论 -
DL之GC:梯度检查点(Gradient Checkpointing,GC)的简介、实现代码、案例应用之详细攻略
DL之GC:梯度检查点(Gradient Checkpointing,GC)的简介、实现代码、案例应用之详细攻略目录相关论文梯度检查点(Gradient Checkpointing,GC)的简介梯度检查点的实现代码梯度检查点的案例应用相关论文《Training Deep Nets with Sublinear Memory Cost》翻译与解读地址论文地址:https://arxiv.org/abs/1604.06174时间2016年4月21日作者T原创 2020-01-12 09:55:02 · 676 阅读 · 1 评论 -
LLMs之ChatGLM3:inference.py文件解读—实现一个简单的基于ChatGLM3的交互式语言模型+根据用户输入文本生成相应的响应
LLMs之ChatGLM3:inference.py文件解读—实现一个简单的基于ChatGLM3的交互式语言模型+根据用户输入文本生成相应的响应目录inference.py文件解读—实现一个简单的基于ChatGLM3的交互式语言模型+根据用户输入文本生成相应的响应全部代码inference.py文件解读—实现一个简单的基于ChatGLM3的交互式语言模型+根据用户输入文本生成相应的响应# 1、命令行参数解析和设置:使用 argparse 库解析命令行参数,其中包括模原创 2023-12-17 00:42:33 · 326 阅读 · 0 评论 -
LLMs之Grok-1:runners.py文件解读—基于JAX和设备分布的预训练语言模型inference服务+支持批量查询+利用设备资源高效推理同时可以被嵌入训练循环进行微调训练
LLMs之Grok-1:runners.py文件解读—基于JAX和设备分布的预训练语言模型inference服务+支持批量查询+利用设备资源高效推理同时可以被嵌入训练循环进行微调训练目录LLMs之Grok-1:runners.py文件解读—基于JAX和设备分布的预训练语言模型inference服务+支持批量查询+利用设备资源高效推理同时可以被嵌入训练循环进行微调训练runners.py文件解读—基于JAX和设备分布的预训练语言模型inference服务+支持批量查询+利用设备资源高效推理同时原创 2024-03-27 00:14:06 · 1165 阅读 · 2 评论 -
成功解决import win32gui ImportError: DLL load failed while importing win32gui: 找不到指定的程序
成功解决import win32gui ImportError: DLL load failed while importing win32gui: 找不到指定的程序目录解决问题解决思路解决方法解决问题import win32gui ImportError: DLL load failed while importing win32gui: 找不到指定的程序解决思路import win32gui导入错误:导入win32gui时加载DLL失败解决方法表明 Pytho原创 2024-03-17 03:29:42 · 1286 阅读 · 0 评论 -
ML之FE:基于MovieLens数据集利用二度关系图谱(用户和电影是节点+用户对电影的评分是边的权重)来构造特征(利用图论算法来提取特征信息【节点的中心性和聚类系数】)+采用RF算法训练和评估
ML之FE:基于MovieLens数据集利用二度关系图谱(用户和电影是节点+用户对电影的评分是边的权重)来构造特征(利用图论算法来提取特征信息【节点的中心性和聚类系数】)+采用RF算法训练和评估目录基于MovieLens数据集利用二度关系图谱(用户和电影是节点+用户对电影的评分是边的权重)来构造特征(利用图论算法来提取特征信息【节点的中心性和聚类系数】)+采用RF算法训练和评估基于MovieLens数据集利用二度关系图谱(用户和电影是节点+用户对电影的评分是边的权重)来构造特征(利用图论原创 2024-03-10 23:50:43 · 1225 阅读 · 0 评论 -
LLMs之HumanEval:HumanEval的简介、安装、使用方法之详细攻略
LLMs之HumanEval:HumanEval的简介、安装、使用方法之详细攻略目录HumanEval的简介HumanEval的安装HumanEval的使用方法HumanEval的简介HumanEval(手写评估集),这是用于评估《Evaluating Large Language Models Trained on Code》论文中描述的HumanEval问题解决数据集的评估工具。GitHub地址:GitHub - openai/human-eval: Code for原创 2023-10-29 00:54:25 · 1128 阅读 · 0 评论 -
DL之RNN之BiLSTM:基于IMDb电影评论数据集利用BiLSTM算法实现对电影评论进行情感分析二分类+模型训练过程可视化+模型推理实战代码之详细攻略
DL之RNN之BiLSTM:基于IMDb电影评论数据集利用BiLSTM算法实现对电影评论进行情感分析二分类+模型训练过程可视化+模型推理实战代码之详细攻略目录基于IMDb电影评论数据集利用BiLSTM算法实现对电影评论进行情感分析二分类+模型训练过程可视化+模型推理基于IMDb电影评论数据集利用BiLSTM算法实现对电影评论进行情感分析二分类+模型训练过程可视化+模型推理输出结果D:\ProgramData\Anaconda3\python.exe E:/File_Python/原创 2024-01-28 23:31:12 · 1095 阅读 · 0 评论 -
AI:人工智能关系概览—人工智能与数据挖掘/机器学习/深度学习/神经网络的概念定义与关系阐述、梳理之详细攻略(建议收藏)
AI:人工智能关系概览—人工智能与数据挖掘/机器学习/深度学习/神经网络的概念定义与关系阐述、梳理之详细攻略(建议收藏)目录相关文章01:《数据挖掘Vs机器学习Vs人工智能Vs深度学习》相关文章02:《人工智能与机器学习、深度学习与神经网络:有什么区别?》相关文章01:《数据挖掘Vs机器学习Vs人工智能Vs深度学习》地址文章地址:Difference in Data Mining Vs Machine Learning Vs Artif原创 2024-01-28 00:02:05 · 1533 阅读 · 0 评论 -
CV之DL之R-CNN:计算机视觉领域算法总结—R-CNN系列(R-CNN、Fast R-CNN、Faster R-CNN、R-FCN、Mask R-CNN、Cascade R-CNN、Libra R
CV之DL之R-CNN:计算机视觉领域算法总结—R-CNN系列(R-CNN、Fast R-CNN、Faster R-CNN、R-FCN、Mask R-CNN、Cascade R-CNN、Libra R-CNN各种对比)的简介、安装、案例应用之详细攻略目录相关文章R-CNN系列的简介R-CNN系列的安装R-CNN系列的案例应用相关文章我们从基于区域的目标检测器(Faster R-CNN, R-FCN, FPN)中学到了什么?地址地原创 2024-01-14 23:26:27 · 1698 阅读 · 1 评论 -
NLP之GPT-2:GPT-2的简介(大数据/大模型/灵感点)、安装和使用方法、案例应用之详细攻略
NLP之GPT-2:GPT-2的简介(大数据/大模型/灵感点)、安装和使用方法、案例应用之详细攻略目录GPT-2的博客文章:《Better language models and their implications更好的语言模型及其影响》的翻译与解读GPT-2的论文:GPT-2之《Language Models are Unsupervised Multitask Learners》翻译与解读GPT-2的简介GPT-2的原创 2019-07-29 11:02:34 · 10397 阅读 · 1 评论 -
DL之CNN:基于mnist手写数字识别数据集利用DeepConvNet(自定义的深度卷积神经网络)训练实现之详细攻略
DL之CNN:基于mnist手写数字识别数据集利用DeepConvNet(自定义的深度卷积神经网络)训练实现之详细攻略目录DeepConvNet的简介DeepConvNet的简介DeepConvNet相关的模型模型地址:DeepConvNet | MIN2Net代码地址:https://github.com/IoBT-VISTEC/MIN2Net/blob/main/min2net/model/DeepConvNet.pyDeepConvNet的自定义设计网络架构网原创 2019-04-26 10:16:59 · 10345 阅读 · 1 评论 -
ML之LP:半监督学习应用—利用标签传递算法(Label Propagation)基于自定义社交网络图数据集实现对社交网络来预测未标记用户的类型实战代码
ML之LP:半监督学习应用—利用标签传递算法(Label Propagation)基于自定义社交网络图数据集实现对社交网络来预测未标记用户的类型实战代码目录半监督学习应用—利用标签传递算法(Label Propagation)实现对社交网络来预测未标记用户的类型实战代码半监督学习应用—利用标签传递算法(Label Propagation)基于自定义社交网络图数据集实现对社交网络来预测未标记用户的类型实战代码设计思路与输出结果假设我们有一个社交网络,其中一些用户被标记为“正常”或“垃圾原创 2023-12-16 00:25:37 · 1577 阅读 · 0 评论 -
ML之NB+CF:基于ml-100k数据集利用surprise的协同过滤算法CF和sklearn的朴素贝叶斯算法NB进行简单平均实现推荐任务实战代码
ML之NB+CF:基于ml-100k数据集利用surprise的协同过滤算法CF和sklearn的朴素贝叶斯算法NB进行简单平均实现推荐任务实战代码目录基于自定义数据集利用surprise的协同过滤算法CF和sklearn的朴素贝叶斯算法NB进行简单平均实现推荐任务实战代码基于ml-100k数据集利用surprise的协同过滤算法CF和sklearn的朴素贝叶斯算法NB进行简单平均实现推荐任务实战代码基于自定义数据集利用surprise的协同过滤算法CF和sklearn的朴素贝叶斯算法N原创 2023-12-13 22:56:26 · 742 阅读 · 0 评论 -
ML之AdaBoost:利用简单的决策树(一个节点)作为弱学习器来手写AdaBoost代码的算法原理进而理解该算法是如何实现调整样本权重(通过fit的sample_weight参数)和弱学习器权重(预
ML之AdaBoost:利用简单的决策树(一个节点)作为弱学习器来手写AdaBoost代码的算法原理进而理解该算法是如何实现调整样本权重(通过fit的sample_weight参数)和弱学习器权重(预测时的加权组合)目录利用简单的决策树(一个节点)作为弱学习器来手写AdaBoost代码的算法原理进而理解该算法是如何实现调整样本权重(通过fit的sample_weight参数)和弱学习器权重(预测时的加权组合)利用简单的决策树(一个节点)作为弱学习器来手写AdaBoost代码的算法原理进原创 2023-12-07 00:42:48 · 1187 阅读 · 0 评论 -
AI之DL:人工智能领域—深度学习的简介(包括相关术语概念)、常用算法、常用框架、应用场景之详细攻略
DL:深度学习技术之BP神经网络的简介、基础知识(神经元/感知机、训练策略、预测原理)、算法分类、经典案例应用之详细攻略目录深度学习浪潮兴起的三大因素BP神经网络的简介深度学习(神经网络)的算法分类深度学习浪潮兴起的三大因素海量的数据不断提升的算法能力高性能计算硬件的实现:GPU、TPU1、感知机DL之Perceptron:Perceptron感知器(感知机/多层感知机/人工神经元)的简介、原理、案例应用(相关配图)之详细攻略2、对比:传统原创 2017-12-30 19:54:22 · 17054 阅读 · 2 评论 -
NLP之TM:Topic Model(LDA等)的简介、使用方法、案例应用之详细攻略
NLP之TM:Topic Model(LDA等)的简介、使用方法、案例应用之详细攻略目录Topic Model的简介Topic Model的案例应用Topic Model的简介1、Topic Model的概述(两个假设)简介主题模型(Topic Model,TM)是一类用于从文本中抽取主题结构的统计模型。它的核心思想是,文档中的词汇可以由一组主题生成,而每个主题又由一组单词构成。通过对文档-主题和主题-单词分布进行建模,可以揭示文本背后的主题结构。TM是原创 2019-08-28 20:02:23 · 978 阅读 · 1 评论 -
ML之DictVectorizer:利用DictVectorizer函数对dataframe格式所有类型特征实现数据向量化(数值化)同时处理【类别型】特征(本质是OneHot处理)和【数值型】特征(不
ML之DictVectorizer:利用DictVectorizer函数对dataframe格式所有类型特征实现数据向量化(数值化)同时处理【类别型】特征(本质是OneHot处理)和【数值型】特征(不经过任何处理)代码实战目录利用DictVectorizer函数对dataframe格式所有类型特征实现数据向量化(数值化)同时处理【类别型】特征(本质是OneHot处理)和【数值型】特征(不经过任何处理)代码实战利用DictVectorizer函数对dataframe格式所有类型特征实现数据原创 2023-11-28 00:55:53 · 959 阅读 · 0 评论 -
NLP之ltp:LTP(一款中文自然语言处理工具)的简介、安装、使用方法(分词/词性标注/命名实体识别/依存句法分析/语义角色标注)之详细攻略
NLP之ltp:LTP(中文自然语言处理工具)的简介、安装、使用方法之详细攻略目录LTP的简介LTP的安装LTP的使用方法LTP的简介LTP(Language Technology Platform,语言技术平台) 提供了一系列中文自然语言处理工具,用户可以使用这些工具对于中文文本进行分词、词性标注、句法分析等等工作。GitHub官网:https://github.com/HIT-SCIR/ltp/blob/main/python/interface/README.md原创 2023-05-19 23:22:22 · 1563 阅读 · 0 评论 -
MLOPS:机器学习算法领域之工程化五大核心技术之模型监控的简介(2大原则/5+1监控内容)、模型稳定性(两大算法策略)、智能风控场景的模型监控、三大类监控工具(ML框架/ML专用/通用监控工具)之详
MLOPS:机器学习算法领域之工程化五大核心技术之模型监控的简介(2大原则/5+1监控内容)、模型稳定性(两大算法策略)、智能风控场景的模型监控、三大类监控工具(ML框架/ML专用/通用监控工具)之详细攻略目录模型监控的简介模型监控的具体场景实战三大类监控工具:ML框架/ML专用/通用监控工具模型监控的简介1、模型监控的概述(2大原则/5+1监控内容/三大类监控工具)背景当特征数据存在问题时,模型的预测结果会受到影响,甚至可能导致模型失效。模型迭原创 2023-10-15 23:41:28 · 1035 阅读 · 0 评论 -
NLP之TextSimil:基于两份文档(分词和编码)利用词嵌入模型(Word2Vec/GloVe)实现词语向量表示(接着平均向量/加权向量)再利用余弦相似度法来计算文本相似度实现代码
NLP之TextSimil:基于两份文档(分词和编码)利用词嵌入模型(Word2Vec/GloVe)实现词语向量表示(接着平均向量/加权向量)再利用余弦相似度法来计算文本相似度实现代码目录基于两份文档(分词和编码)利用词嵌入模型(Word2Vec/GloVe)实现词语向量表示(接着平均向量/加权向量)再利用余弦相似度法来计算文本相似度# 1、定义两份文档# 2、数据预处理# 3、计算相似度实现代码基于两份文档(分词和编码)利用词嵌入模型(Word2Vec/Gl原创 2023-10-15 23:31:42 · 1109 阅读 · 0 评论 -
NLP:利用spacy的en_core_web_sm预训练语言模型通过对文本数据的命名实体识别法(实体及其类型/ORG_PERSON_GPE)实现将大量的文本数据转化为结构化数据应用案例实现代码
NLP:利用spacy的en_core_web_sm预训练语言模型通过对文本数据的命名实体识别法(实体及其类型/ORG_PERSON_GPE)实现将大量的文本数据转化为结构化数据应用案例实现代码目录利用spacy的en_core_web_sm预训练语言模型通过对文本数据的命名实体识别法(实体及其类型/ORG_PERSON_GPE)实现将大量的文本数据转化为结构化数据应用案例# 1、定义文本数据# 2、基于进行依存分析实现代码利用spacy的en_core_web_sm预训原创 2023-10-15 23:30:03 · 849 阅读 · 0 评论 -
LLMs之BERT:基于spaCy框架利用预训练Transformer进行多任务学习(自定义任务—文本情感分类和命名实体识别NER)训练并进行模型打包和模型推理应用案例实现代码
LLMs之BERT:基于spaCy框架利用预训练Transformer进行多任务学习(自定义任务—文本情感分类和命名实体识别NER)训练并进行模型打包和模型推理应用案例实现代码目录LLMs之BERT:基于spaCy框架利用预训练Transformer进行多任务学习(自定义任务—文本情感分类和命名实体识别NER)训练并进行模型打包和模型推理应用案例# 1、定义数据集# 3、模型构建与训练# 4、模型推理实现代码LLMs之BERT:基于spaCy框架利用预训原创 2023-10-15 23:26:10 · 1029 阅读 · 0 评论 -
Python:利用Python读取txt、csv、xlsx、doc、json、parquet等各种数据文件类型的多种方法总结
Python:利用Python读取txt、csv、xlsx、doc、json、parquet等各种数据文件类型的多种方法总结目录利用Python读取各种数据文件类型的多种方法总结利用Python读取各种数据文件类型的多种方法总结1、python读取txt文件# 指定文件夹路径txt_path = 'E:/File_Python/Resource/data_txt_doc/HongMenYan.txt'with open(txt_path, 'r') as f:原创 2023-10-15 23:24:14 · 1104 阅读 · 0 评论 -
Py之sentencepiece:sentencepiece的简介(40多个参数详解及其经验总结/使用两大场景【扩充/垂直】)、安装、使用方法(训练模型+使用模型)之详细攻略
Py之sentencepiece:sentencepiece的简介(40多个参数详解及其经验总结/使用两大场景【扩充/垂直】)、安装、使用方法(训练模型+使用模型)之详细攻略目录相关文章sentencepiece的简介sentencepiece的安装sentencepiece的使用方法(训练模型+使用模型)相关文章LLMs:大模型数据预处理技巧之分词算法的简介(Tokenizer的概述)、常用算法(对比Transformer中原创 2023-05-22 18:46:20 · 1431 阅读 · 0 评论 -
NLP之NLTK:利用NLTK的WordNet模块来查询某单词的同义词集合并获取其定义/例句/上位词进而深入理解单词的含义和关联性应用案例实现代码
NLP之NLTK:利用NLTK的WordNet模块来查询某单词的同义词集合并获取其定义/例句/上位词进而深入理解单词的含义和关联性应用案例实现代码目录利用NLTK的WordNet模块来查询某单词的同义词集合并获取其定义/例句/上位词进而深入理解单词的含义和关联性应用案例# 1、查询所有同义词集合(synsets)# 2、造句# 3、获取上位词利用NLTK的WordNet模块来查询某单词的同义词集合并获取其定义/例句/上位词进而深入理解单词的含义和关联性应用案例# 1、查询原创 2023-06-09 00:56:45 · 336 阅读 · 0 评论 -
LLMS之GPT-2:基于大型语料数据集(分词和编码)并进行数据预处理利用GPT-2模型实现模型训练调优应用案例实现代码
LLMS之GPT-2:基于大型语料数据集(分词和编码)并进行数据预处理利用GPT-2模型实现模型训练调优应用案例实现代码目录基于大型语料数据集(分词和编码)并进行数据预处理利用GPT-2模型实现模型训练调优应用案例# 0、加载GPT-2预训练模型和分词器# 1、读取文本数据语料库# 2、数据预处理# 3、模型训练实现代码基于大型语料数据集(分词和编码)并进行数据预处理利用GPT-2模型实现模型训练调优应用案例# 0、加载GPT-2预训练模型和分词器#原创 2023-06-09 01:05:41 · 348 阅读 · 0 评论 -
LLMS之GPT-3:基于大型语料数据集(分词和编码)并进行数据预处理利用GPT-3模型实现模型训练调优应用案例实现代码
LLMS之GPT-3:基于大型语料数据集(分词和编码)并进行数据预处理利用GPT-3模型实现模型训练调优应用案例实现代码目录基于大型语料数据集(分词和编码)并进行数据预处理利用GPT-3模型实现模型训练调优应用案例# 1、定义数据集# 2、数据预处理# 3、模型训练与评估实现代码基于大型语料数据集(分词和编码)并进行数据预处理利用GPT-3模型实现模型训练调优应用案例# 1、定义数据集# 2、数据预处理# 2.1、分词和编码# 3、模型训练与评原创 2023-06-09 01:08:40 · 315 阅读 · 0 评论 -
LLMs之BELLE:源码解读(convert_to_conv_data.py文件)数据格式转换——将原始指令格式的数据文件{单轮对话任务,instruction+input+output}转换成标准
LLMs之BELLE:源码解读(convert_to_conv_data.py文件)数据格式转换——将原始指令格式的数据文件{单轮对话任务,instruction+input+output}转换成标准的人机对话格式的数据文件{多轮对话任务,id+conversations[人类+助手]]}目录源码解读(convert_to_conv_data.py文件)#1、利用argparse解析命令行参数:输入数据文件路径、输出数据文件的路径、数据集的名称#2、打开原始数据文件和converted原创 2023-09-27 23:39:09 · 750 阅读 · 0 评论 -
LLMs之BELLE:源码解读(sft_train.py文件)采用LoRA微调模型—解析命令行参数→参数与日志初始化→初始化模型和标记器→模型优化(LoRA/梯度检查点/flash_attention
''':模型检查点的路径(若None则从头开始训练)、下载的预训练模型路径、模型权重数据类型、是否使用flash_attention、是否使用Llama模型:输入训练数据的文件路径、用于评估困惑度的可选评估数据文件的路径。原创 2023-10-10 22:07:24 · 1362 阅读 · 0 评论 -
LLMs之BELLE:源码解读(generate_instruction.py文件)让大模型自动生成大量指令数据并避免生成重复内容—基于种子指令(175个种子任务)利用GPT-3循环来不断生成新的指令
LLMs之BELLE:源码解读(generate_instruction.py文件)让大模型自动生成大量指令数据并避免生成重复内容—基于种子指令(175个种子任务)利用GPT-3循环来不断生成新的指令集合(每次迭代中构建一批输入提示【自定义Prompt】+然后使用大模型生成更多指令数据)→并根据采用BM25相似度算法筛选出合适的指令→保存为json文件(后续用于NLP的训练与评估)目录源码解读(generate_instruction.py文件)让大模型自动生成大量指令数据并避免生成重复内容—原创 2023-10-10 20:48:17 · 794 阅读 · 0 评论 -
MLOPS:大数据/服务器下的大规模机器学习技术—流水线处理技术的简介(标准化/自动化/可复用化)、常用框架(Pipeline/TFX、Airflow/Beam/Kubeflow/MLflow、Fli
MLOPS:大数据/服务器下的大规模机器学习技术—流水线处理技术的简介(标准化/自动化/可复用化)、常用框架(Pipeline/TFX、Airflow/Beam/Kubeflow/MLflow、Flink/Kafka)之详细攻略目录流水线处理技术的简介流水线处理技术的常用框架和工具流水线处理技术的实战案例流水线处理技术的简介1、流水线处理技术的概述(标准化/自动化/可复用化)简介流水线处理技术是指将一系列的数据处理操作组合成一个处理流程,以完成一个特定的任务原创 2023-10-08 23:58:01 · 961 阅读 · 0 评论