自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

丨汀、的博客

将不定期更新关于深度强化学习、数据挖掘、NLP等领域相关知识,以及分享自己学习到的知识技能,感谢大家关注!

  • 博客(422)
  • 资源 (83)
  • 收藏
  • 关注

原创 B.数据挖掘机器学习[七]---2021研究生数学建模B题空气质量预报二次建模求解过程:基于Stacking机器学习混合模型的空气质量预测{含码源+pdf文章}

相关文章:特征工程详解及实战项目【参考】数据挖掘---汽车车交易价格预测[一](测评指标;EDA)

2022-04-23 17:42:49 2507 2

原创 【二】MADDPG多智能体算法实现(parl)【追逐游戏复现】

论文全称:Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments论文原文:https://download.csdn.net/download/sinat_39620217/16203960论文翻译:https://blog.csdn.net/qiusuoxiaozi/article/details/79066612...

2021-03-29 13:55:06 15201 99

原创 深度学习应用篇-计算机视觉-图像增广[1]:数据增广、图像混叠、图像剪裁类变化类等详解

声明:部分项目为网络经典项目方便大家快速学习,后续会不断增添实战环节(比赛、论文、现实应用等)

2023-06-03 20:55:30 316 1

原创 强化学习基础篇[3]:DQN、Actor-Critic详解

在之前的内容中,我们讲解了Q-learning和Sarsa算法。在这两个算法中,需要用一个Q表格来记录不同状态动作对应的价值,即一个大小为状态个数,动作个数[状态个数,动作个数]状态个数,动作个数的二维数组。在一些简单的强化学习环境中,比如迷宫游戏中(图1a),迷宫大小为4*4,因此该游戏存在16个state;而悬崖问题(图1b)的地图大小为 4*12,因此在该问题中状态数量为48,这些都属于数量较少的状态,所以可以用Q表格来记录对应的状态动作价值。

2023-06-03 20:47:52 157

原创 强化学习基础篇[2]:SARSA、Q-learning算法简介、应用举例、优缺点分析

【强化学习原理+项目专栏】必看系列:单智能体、多智能体算法原理+项目实战、相关技巧(调参、画图等、趣味项目实现、学术应用项目实现专栏详细介绍:【强化学习原理+项目专栏】必看系列:单智能体、多智能体算法原理+项目实战、相关技巧(调参、画图等、趣味项目实现、学术应用项目实现对于深度强化学习这块规划为:本专栏主要方便入门同学快速掌握强化学习单智能体|多智能体算法原理+项目实战。后续会持续把深度学习涉及知识原理分析给大家,让大家在项目实操的同时也能知识储备,知其然、知其所以然、知何由以知其所以然。声明:部分项目为

2023-06-02 12:49:54 64

原创 强化学习基础篇【1】:基础知识点、马尔科夫决策过程、蒙特卡洛策略梯度定理、REINFORCE 算法

【强化学习原理+项目专栏】必看系列:单智能体、多智能体算法原理+项目实战、相关技巧(调参、画图等、趣味项目实现、学术应用项目实现专栏详细介绍:【强化学习原理+项目专栏】必看系列:单智能体、多智能体算法原理+项目实战、相关技巧(调参、画图等、趣味项目实现、学术应用项目实现对于深度强化学习这块规划为:本专栏主要方便入门同学快速掌握强化学习单智能体|多智能体算法原理+项目实战。后续会持续把深度学习涉及知识原理分析给大家,让大家在项目实操的同时也能知识储备,知其然、知其所以然、知何由以知其所以然。声明:部分项目为

2023-06-02 12:46:10 262

原创 【强化学习原理+项目专栏】必看系列:单智能体、多智能体算法原理+项目实战、相关技巧(调参、画图等)、趣味项目实现、学术应用项目实现

【强化学习原理+项目专栏】必看系列:单智能体、多智能体算法原理+项目实战、相关技巧(调参、画图等)、趣味项目实现、学术应用项目实现

2023-06-02 11:51:14 163

原创 深度学习进阶篇[9]:对抗生成网络GANs综述、代表变体模型、训练策略、GAN在计算机视觉应用和常见数据集介绍,以及前沿问题解决

​ GAN的主要思想是对抗思想:对抗思想已经成功地应用于许多领域,如机器学习、人工智能、计算机视觉和自然语言处理。最近AlphaGo击败世界顶尖人类玩家的事件引起了公众对人工智能的兴趣。AlphaGo的中间版本使用两个相互竞争的网络。对抗性示例是指与真实示例非常不同,但被非常自信地归入真实类别的示例,或与真实示例略有不同,但被归入错误类别的示例。这是最近一个非常热门的研究课题。​ 对抗式机器学习是一个极大极小问题。

2023-06-01 10:20:20 88

原创 深度学习进阶篇[8]:对抗神经网络GAN基本概念简介、纳什均衡、生成器判别器、解码编码器详解以及GAN应用场景

博弈论可以被认为是两个或多个理性的代理人或玩家之间相互作用的模型。理性这个关键字,因为它是博弈论的基础。我们可以简单地把理性称为一种理解,即每个行为人都知道所有其他行为人都和他/她一样理性,拥有相同的理解和知识水平。同时,理性指的是,考虑到其他行为人的行为,行为人总是倾向于更高的报酬/回报。游戏:一般来说,游戏是由一组玩家,行动/策略和最终收益组成。例如:拍卖、象棋、政治等。玩家:玩家是参与任何游戏的理性实体。例如:在拍卖会的投标人、石头剪刀布的玩家、参加选举的政治家等。收益。

2023-06-01 10:17:17 172

原创 深度学习进阶篇[7]:Transformer模型长输入序列、广义注意力、FAVOR+快速注意力、蛋白质序列建模实操。

Google AI的这项工作有助于改进基于非稀疏的方法和基于Kernel的Transformer,这种方法也可以与其他技术互操作,研究人员甚至还将 FAVOR 与Reformer的代码集成在一起。同时研究人员还提供了论文、 Performer的代码和蛋白质语言模型的代码链接。该研究首次证明了,任意注意力矩阵都可以通过随机特征在下游 Transformer 应用中实现有效地近似。

2023-05-31 19:22:21 174

原创 C.12 军事领域关系抽取:UIE Slim最新升级版含数据标注、serving部署、模型蒸馏、可视化高亮展示等,助力工业应用场景快速落地

小样本军事关系抽取数据集实验指标:样本量PrecisionRecallF1 Score0-shot0.646340.535350.585645-shot0.894740.850000.8717910-shot0.927930.858330.89177full-set0.920.920.92性能对比模型推理耗时提升倍数UIE+faster30.83131.751-UIE Slim5.905.23。

2023-05-31 18:40:57 199

原创 搜索推荐系统[10]项目实战系列Z8:FAQ智能问答系统Pipelines搭建:包括语料建库-召回-排序等多个环节,涉及样本构建、模型组网、优化目标设计、模型调优、预测部署以及前端UI等模块。

PaddleNLP Pipelines 是一个端到端智能文本产线框架,面向 NLP 全场景为用户提供低门槛构建强大产品级系统的能力。本项目将通过一种简单高效的方式搭建一套FAQ智能问答系统,满足我们日常生活中的高频问题的解答,提升效率。

2023-05-30 12:51:51 18

原创 搜索推荐系统[10]项目实战系列Z6:智慧城市中政务领域的问答系统,0标注数据的问答机器人,包括语料建库-召回-排序等多个环节,涉及样本构建、模型组网、优化目标设计、模型调优、预测部署

搜索推荐系统专栏简介:搜索推荐全流程讲解(召回粗排精排重排混排)、系统架构、常见问题、算法项目实战总结、技术细节以及项目实战(含码源)专栏详细介绍:搜索推荐系统专栏简介:搜索推荐全流程讲解(召回粗排精排重排混排)、系统架构、常见问题、算法项目实战总结、技术细节以及项目实战(含码源)前人栽树后人乘凉,本专栏提供资料:政府工作人员往往要做很多政策解读等工作,费时费力还耗费大量的人力,在政府内部,工作人员往往积累了很多问答对,但是不知道怎么构建一个问答系统来辅助工作人员提升日常工作效率,简化工作流程。低门槛效果

2023-05-30 12:45:16 14

原创 C.11医疗领域实体抽取:UIE Slim最新升级版含数据标注、serving部署、模型蒸馏等教学,助力工业应用场景快速落地

模型推理耗时提升倍数UIE+faster71.23170.561+UIE Slim9.327.6本项目为UIE框架升级版本实体关系抽取,详细讲解了数据标注,以及医疗领域NER微调,同时完成基于SimpleServing的快速服务化部署,并考虑了在一些工业应用场景中对性能的要求较高,若不能有效压缩则无法实际应用。因此,将UIE模型的知识迁移到封闭域信息抽取小模型,同时使用FasterTokenizer进行文本预处理加速,整体提速7.6x倍。

2023-05-30 12:43:01 87

原创 搜索推荐系统[10]项目实战系列Z7:FAQ保险问答系统搭建包含训练,优化,部署上线;检索式的问答可应用在搜索引擎,智能音响等智能硬件,政府,金融,银行,电信等领域

搜索推荐系统专栏简介:搜索推荐全流程讲解(召回粗排精排重排混排)、系统架构、常见问题、算法项目实战总结、技术细节以及项目实战(含码源)专栏详细介绍:搜索推荐系统专栏简介:搜索推荐全流程讲解(召回粗排精排重排混排)、系统架构、常见问题、算法项目实战总结、技术细节以及项目实战(含码源)前人栽树后人乘凉,本专栏提供资料:智能问答是获取信息和知识的更直接、更高效的方式之一,传统的信息检索方法智能找到相关的文档,而智能问答能够直接找到精准的答案,极大的节省了人们查询信息的时间。问答按照技术分为基于阅读理解的问答和检

2023-05-29 13:03:48 20

原创 深度学习进阶篇-国内预训练模型[6]:ERNIE-Doc、THU-ERNIE、K-Encoder融合文本信息和KG知识;原理和模型结构详解。

经典的Transformer在处理数据时,会将文本数据按照固定长度进行截断,这个看起来比较”武断”的操作会造成上下文碎片化以及无法建模更长的序列依赖关系。基于此项考虑,ERNIE-Doc提出了一种文档层级的预训练语言模型方法:ERNIE-Doc在训练某一个Segment时,允许该segment能够获得整个Doc的信息。S1S2S3S1​S2​S3​,在编码segmentS2S_2S2​时,经典的Transformer依赖的只是S2S_2S2​Py∣。

2023-05-29 12:49:23 137

原创 搜索推荐系统[10]项目实战系列Z5:汽车说明书跨模态智能问答系统,针对汽车说明书(可自定义文档)进行自动问答,采用了OCR、RocketQA等技术

搜索推荐系统专栏简介:搜索推荐全流程讲解(召回粗排精排重排混排)、系统架构、常见问题、算法项目实战总结、技术细节以及项目实战(含码源)专栏详细介绍:搜索推荐系统专栏简介:搜索推荐全流程讲解(召回粗排精排重排混排)、系统架构、常见问题、算法项目实战总结、技术细节以及项目实战(含码源)前人栽树后人乘凉,本专栏提供资料:跨模态文档问答 是跨模态的文档抽取任务,要求文档智能模型在文档中抽取能够回答文档相关问题的答案,需要模型在抽取和理解文档中文本信息的同时,还能充分利用文档的布局、字体、颜色等视觉信息,这比单一模

2023-05-28 23:03:50 117

原创 深度学习进阶篇-国内预训练模型[5]:ERINE、ERNIE 3.0、ERNIE-的设计思路、模型结构、应用场景等详解

ERINE是百度发布一个预训练模型,它通过引入三种级别的Knowledge Masking帮助模型学习语言知识,在多项任务上超越了BERT。在模型结构方面,它采用了Transformer的Encoder部分作为模型主干进行训练,如图1(图片来自网络)所示。图1 Transformer的Encoder部分关于ERNIE网络结构(Transformer Encoder)的工作原理,这里不再展开讨论。接下来,我们将聚焦在ERNIE本身的主要改进点进行讨论,即三个层级的Knowledge Masking 策略。

2023-05-28 22:56:23 148

原创 搜索推荐系统[10]项目实战系列Z3:一套完整的文本语义检索系统搭建教学:包括召回,排序,Milvus召回系统等;可以用于文献检索,短视频推荐,站内搜索,大规模文本分类等场景。

首先利用业务上的无标注数据对SimCSE上进行无监督训练,训练导出模型,然后利用In-batch Negatives的策略在有监督数据上进行训练得到最终的召回模型。利用召回模型抽取向量,然后插入到Milvus召回系统中,进行召回。基于ERNIE-3.0-Medium-zh训练Pair-wise模型。Pair-wise 匹配模型适合将文本对相似度作为特征之一输入到上层排序模块进行排序的应用场景。

2023-05-27 21:44:41 20

原创 搜索推荐系统[10]项目实战系列Z4:智能问答系统快速搭建--包括语料建库-召回-排序等多个环节,涉及样本构建、模型组网、优化目标设计、模型调优、预测部署以及前端UI。

PaddleNLP Pipelines 是一个端到端智能文本产线框架,面向 NLP 全场景为用户提供低门槛构建强大产品级系统的能力。本项目将通过一种简单高效的方式搭建一套语义检索系统,使用自然语言文本通过语义进行智能文档查询,而不是关键字匹配。

2023-05-27 21:44:30 19

原创 深度学习进阶篇-预训练模型[4]:RoBERTa、SpanBERT、KBERT、ALBERT、ELECTRA算法原理模型结构应用场景区别等详解

当前的预训练模型(比如 BERT、GPT 等)往往在大规模的语料上进行预训练,学习丰富的语言知识,然后在下游的特定任务上进行微调。但这些模型基本都没有使用 ** 知识图谱(KG)** 这种结构化的知识,而 KG 本身能提供大量准确的知识信息,通过向预训练语言模型中引入这些外部知识可以帮助模型理解语言知识。基于这样的考虑,作者提出了一种向预训练模型中引入知识的方式,即 KBERT,其引入知识的时机是在 fine tune 阶段。

2023-05-27 21:21:30 132

原创 搜索推荐系统[10]项目实战系列Z2:语义检索系统快速搭建,包括语料建库-召回-排序等多个环节,涉及样本构建、模型组网、优化目标设计、模型调优、预测部署以及前端UI等模块。

语义搜索系统是一个端到端智能文本产线框架,面向 NLP 全场景为用户提供低门槛构建强大产品级系统的能力。本项目将通过一种简单高效的方式搭建一套语义检索系统,使用自然语言文本通过语义进行智能文档查询,而不是关键字匹配。

2023-05-26 14:42:32 63

原创 搜索推荐系统[10]项目实战系列Z1:手把手教学(商品搜索系统、学术文献检索)语义检索系统搭建、召回排序模型详解。

检索系统存在于我们日常使用的很多产品中,比如商品搜索系统、学术文献检索系等等,本方案提供了检索系统完整实现。限定场景是用户通过输入检索词 Query,快速在海量数据中查找相似文档。所谓语义检索(也称基于向量的检索,如上图所示),是指检索系统不再拘泥于用户 Query 字面本身,而是能精准捕捉到用户 Query 后面的真正意图并以此来搜索,从而更准确地向用户返回最符合的结果。

2023-05-26 14:23:44 215

原创 深度学习进阶篇-预训练模型[3]:XLNet、BERT、GPT,ELMO的区别优缺点,模型框架、一些Trick、Transformer Encoder等原理详细讲解

BERT(Bidirectional Encoder Representation from Transformers)是2018年10月由Google AI研究院提出的一种预训练模型,该模型在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩: 全部两个衡量指标上全面超越人类,并且在11种不同NLP测试中创出SOTA表现,包括将GLUE基准推高至80.4% (绝对改进7.6%),MultiNLI准确度达到86.7% (绝对改进5.6%),成为NLP发展史上的里程碑式的模型成就。

2023-05-26 09:59:40 33

原创 深度学习进阶篇-预训练模型[2]:Transformer-XL、Longformer、GPT原理、模型结构、应用场景、改进技巧等详细讲解

在正式讨论 Transformer-XL 之前,我们先来看看经典的 Transformer(后文称)是如何处理数据和训练评估模型的,如图 1所示。图 1 Vanilla Transformer 训练和评估阶段在数据处理方面,给定一串较长的文本串,会按照固定的长度(比如 512),直接将该文本串进行划分成若干 Segment。这个处理方式不会关注文本串中语句本身的边界(比如标点或段落),这样” 粗暴” 的划分通常会将一句完整的话切分到两个 Segment 里面,导致上下文碎片化(

2023-05-25 13:05:59 253

原创 文档关键信息提取形成知识图谱:基于NLP算法提取文本内容的关键信息生成信息图谱教程及码源(含pyltp安装使用教程)

import os#ltp模型目录的路径# 分词模型路径,模型名称为`cws.model`segmentor=Segmentor() #初始化实例#加载模型 第二个参数是您的外部词典文件路径words=segmentor.segment('亚硝酸盐是一种化学物质')#代码运行结果:亚硝酸盐 是 一 种 化学 物质项目优点:将文档进行关键信息提取,进行结构化,并最终组织成图谱组织形式,形成对文章语义信息的图谱化展示。

2023-05-25 12:47:05 257

原创 深度学习进阶篇-预训练模型[1]:预训练分词Subword、ELMo、Transformer模型原理;结构;技巧以及应用详解

机器无法理解文本。当我们将句子序列送入模型时,模型仅仅能看到一串字节,它无法知道一个词从哪里开始,到哪里结束,所以也不知道一个词是怎么组成的。所以,为了帮助机器理解文本,我们需要将文本分成一个个小片段然后将这些片段表示为一个向量作为模型的输入同时,我们需要将一个个小片段(token) 表示为向量,作为词嵌入矩阵, 通过在语料库上训练来优化token的表示,使其蕴含更多有用的信息,用于之后的任务。

2023-05-24 10:23:32 151 1

原创 深度学习基础入门篇-序列模型[11]:循环神经网络 RNN、长短时记忆网络LSTM、门控循环单元GRU原理和应用详解

RNN会从左到右逐词阅读这个句子,并不断调用一个相同的RNN Cell来处理时序信息,每阅读一个单词,RNN首先将本时刻。

2023-05-24 10:18:16 251

原创 深度学习基础入门篇[10]:序列模型-词表示{One-Hot编码、Word Embedding、Word2Vec、词向量的一些有趣应用}

¶在正式介绍之前,我们先来科普一下Word2Vec,Word2vec是2013年被Mikolov提出来的词向量训练算法,在论文连续词袋模型CBOW和Skip-gram,如图4所示。图4 CBOW和Skip-gram的对比图4中使用了这句话作为例子:Pineapples are spiked and yellow,在这句话中假设中心词是spiked,这个单词的上下文是其他单词:Pineapples are and yellow。连续词袋模型CBOW。

2023-05-23 10:32:15 133

原创 深度学习基础入门篇[9.3]:卷积算子:空洞卷积、分组卷积、可分离卷积、可变性卷积等详细讲解以及应用场景和应用实例剖析

而且,对于具有精细定位的视觉识别(例如,使用完全卷积网络的语义分割)的实际问题,由于不同的位置可能对应于具有不同尺度或变形的对象,因此,尺度或感受野大小的自适应确定是可取的。这样,我们将原始的卷积进行拆分,本来需要 9 次乘法操作的一个卷积运算,就变为了两个需要 3 次乘法操作的卷积运算,并且最终效果是不变的。可以从上图4看到,可以看到当绿色点在目标上时,红色点所在区域也集中在目标位置,并且基本能够覆盖不同尺寸的目标,因此经过可变形卷积,我们可以更好地提取出感兴趣物体的完整特征,效果是非常不错的。

2023-05-23 10:28:44 239

原创 深度学习基础入门篇[9.2]:卷积之1*1 卷积(残差网络)、2D/3D卷积、转置卷积数学推导、应用实例

【深度学习入门到进阶】必看系列,含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍:【深度学习入门到进阶】必看系列,含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等本专栏主要方便入门同学快速掌握相关知识。声明:部分项目为网络经典项目方便大家快速学习,后续会不断增添实战环节(比赛、论文、现实应用等)专栏订阅:深度学习入门到进阶专栏1×11\times{1}1×1 卷积,与标准卷积完全一样,唯一的

2023-05-22 10:31:09 152

原创 深度学习基础入门篇[9.1]:卷积之标准卷积:卷积核/特征图/卷积计算、填充、感受视野、多通道输入输出、卷积优势和应用案例讲解

只有当卷积核覆盖的像素点有的处于光亮区域,有的处在黑暗区域时,左右间隔为1的两个点像素值的差才不为0。深层卷积提取的则是图像中的全局信息。因此,对于同一个卷积核的计算过程而言,在与图像计算的过程中,它的权重是共享的。(3 x 3卷积核的中间值是8,周围一圈的值是8个-1)对其进行操作,用来检测物体的外形轮廓,观察输出特征图跟原图之间的对应关系,如下代码所示,输出图像如。上面的例子中,卷积层的数据是一个2维数组,但实际上一张图片往往含有RGB三个通道,要计算卷积的输出结果,卷积核的形式也会发生变化。

2023-05-22 10:25:25 289

原创 深度学习基础入门篇[8]::计算机视觉与卷积神经网络、卷积模型CNN综述、池化讲解、CNN参数计算

【深度学习入门到进阶】必看系列,含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍:【深度学习入门到进阶】必看系列,含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等本专栏主要方便入门同学快速掌握相关知识。声明:部分项目为网络经典项目方便大家快速学习,后续会不断增添实战环节(比赛、论文、现实应用等)专栏订阅:深度学习入门到进阶专栏计算机视觉作为一门让机器学会如何去“看”的学科,具体的说,就是让机

2023-05-21 21:28:07 174 1

原创 Midjourney|文心一格 Prompt:完整参数列表、风格汇总、文生图词典合集

Midjourney|文心一格 Prompt:完整参数列表、风格汇总、文生图词典合集

2023-05-20 22:35:06 641 1

原创 Midjourney|文心一格prompt教程[进阶篇]:Midjourney Prompt 高级参数、各版本差异、官方提供常见问题

图片质量是另一个我比较常用的属性,首先需要注意这个参数并不影响分辨率,并不改变分辨率,并不改变分辨率(重要的事情要说三遍)。它改变的更多的是图片的细节,比如下面这个例子,下方第一张图是 0.25 ,你会发现最右边的图细节比第一张图多很多很多。但低 Quality 也不是没有好处,它的好处是生成图片的时间会更快,换句话说,你可以花更少的 GPU 时间,我一般会用这个参数做一些探索性生成图,大方向没问题,再让模型丰富细节。

2023-05-20 22:32:25 149

原创 Midjourney|文心一格prompt教程[技巧篇]:生成多样性、增加艺术风格、图片二次修改、渐进优化、权重、灯光设置等17个技巧等你来学

我认为学习图片类的 prompt,跟学习画画是类似的,最好的学习方法不是直接用模板。而是拿真图,或者别人生成的图来临摹。英文不好,也可以先写中文,然后让 ChatGPT 翻译。当你临摹了几张后,你就会慢慢搞懂如何做出类似的图了。这时候,我们就能尝试写一下 prompt 了(如果你觉得自己英文水平还不太行,也可以尝试用翻译软件翻译)。Midjourney 生成的结果如下所示。Emm 🤔 好像跟我们的预期不一样。不要慌,刚开始用 Midjourney 一定会遇到这种问题,重要的是多尝试。

2023-05-19 11:23:56 346

原创 D.9“中国法研杯”司法人工智能挑战赛:基于UTC的多标签/层次分类小样本文本应用,Macro F1提升13%+

本项目提供基于通用文本分类 UTC(Universal Text Classification) 模型微调的文本分类端到端应用方案,打通数据标注-模型训练-模型调优-预测部署全流程,可快速实现文本分类产品落地。文本分类是一种重要的自然语言处理任务,它可以帮助我们将大量的文本数据进行有效的分类和归纳。实际上,在日常生活中,我们也经常会用到文本分类技术。例如,我们可以使用文本分类来对新闻报道进行分类,对电子邮件进行分类,对社交媒体上的评论进行情感分析等等。但是,文本分类也面临着许多挑战。

2023-05-19 10:16:26 305

原创 Midjourney|文心一格prompt教程[Text Prompt(下篇)]:游戏、实物、人物、风景、动漫、邮票、海报等生成,终极模板教学

经过几个专题的学习,我们基本将 text prompt 框架里包含的元素都过了一遍,但大家可能会觉得内容不好记忆,所以本章我会对框架进行总结。将类型放在了最前面,因为 prompt 的顺序会影响权重(详情见我翻译的 Midjourney 官方 FAQ)官方的 Middle Bits 和 Last Bits 写得比较宽泛,我对其进行了拆分,让大家更好记忆。我用一个表格总结下这个框架,各位可以根据不同场景有选择地使用。Prompt 解释类型是什么?比如水彩画、插画等等主体是什么?

2023-05-18 10:26:05 580

原创 Midjourney|文心一格prompt教程[Text Prompt(上篇)]:品牌log、App、徽章、插画、头像场景生成,各种风格选择:科技风、运动风

Midjourney 跟 ChatGPT 在 prompt 的使用上有很多不一样的地方,本章会详细介绍下 Midjourney 的 text prompt 区别。首先 Midjourney 基本上是不懂语法的,所以即使你语法错了,只要词对了,也能生成图片。。另外,不懂语法也导致了另一个问题:prompt 不是越长越好。特别是各种定语从句,它根本就不懂,还不如把指令用逗号隔开,一个个输入。以下是最后, Midjourney 是不会区分大小写的。

2023-05-18 10:23:14 471

原创 数据挖掘实践(金融风控):金融风控之贷款违约预测挑战赛(下篇)[xgboots/lightgbm/Catboost等模型]--模型融合:stacking、blending

集成模型内置的cv函数可以较快的进行单一参数的调节,一般可以用来优先确定树模型的迭代次数数据量较大的时候(例如本次项目的数据),网格搜索调参会特别特别慢,不建议尝试集成模型中原生库和sklearn下的库部分参数不一致,需要注意,具体可以参考xgb和lgb的官方APIxgb原生库APIsklearn库下xgbAPIlgb原生库APIsklearn库下lgbAPI由于相关算法原理篇幅较长,本文推荐了一些博客与教材供初学者们进行学习。简单平均和加权平均是常用的两种比赛中模型融合的方式。其优点是快速、简单。

2023-05-17 14:31:19 93

基于TD3强化学习算法解决四轴飞行器悬浮任务

基于TD3强化学习算法解决四轴飞行器悬浮任务

2023-06-02

搜索推荐系统10项目实战系列Z1:手把手教学(商品搜索系统、学术文献检索)语义检索系统搭建、召回排序模型详解

CSDN文章:搜索推荐系统[10]项目实战系列Z1:手把手教学(商品搜索系统、学术文献检索)语义检索系统搭建、召回排序模型详解。 https://blog.csdn.net/sinat_39620217/article/details/130885794 通常检索业务的数据都比较庞大,都会分为召回(索引)、排序两个环节。召回阶段主要是从至少千万级别的候选集合里面,筛选出相关的文档,这样候选集合的数目就会大大降低,在之后的排序阶段就可以使用一些复杂的模型做精细化或者个性化的排序。一般采用多路召回策略(例如关键词召回、热点召回、语义召回结合等),多路召回结果聚合后,经过统一的打分以后选出最优的 TopK 的结果。

2023-05-26

基于NLP算法提取文本内容的关键信息生成信息图谱教程及码源

CSDN文章名:文档关键信息提取形成知识图谱:基于NLP算法提取文本内容的关键信息生成信息图谱教程及码源(含pyltp安装使用教程) https://blog.csdn.net/sinat_39620217/article/details/130864790 目标:输入一篇文档,将文档进行关键信息提取,进行结构化,并最终组织成图谱组织形式,形成对文章语义信息的图谱化展示。 如何用图谱和结构化的方式,即以简洁的方式对输入的文本内容进行最佳的语义表示是个难题。 本项目将对这一问题进行尝试,采用的方法为:输入一篇文档,将文档进行关键信息提取,并进行结构化,并最终组织成图谱组织形式,形成对文章语义信息的图谱化展示。

2023-05-25

基于UTC的多标签/层次分类小样本文本应用,Macro F1提升13%+

基于UTC的多标签/层次分类小样本文本应用,Macro F1提升13%+。可以适配不同的行业领域分类标签,仅需几条样本,分类效果就大幅提升,大大降低标注门槛和成本 csdn:https://blog.csdn.net/sinat_39620217/article/details/130760918 近年来,大量包含了案件事实及其适用法律条文信息的裁判文书逐渐在互联网上公开,海量的数据使自然语言处理技术的应用成为可能。现实中的案情错综复杂,案情描述通常涉及多个重要事实,以CAIL2019数据集中婚姻家庭领域的案情要素抽取为例:

2023-05-19

金融风控之贷款违约预测挑战赛码源+数据集:数学建模打比赛

赛题以金融风控中的个人信贷为背景,要求选手根据贷款申请人的数据信息预测其是否有违约的可能,以此判断是否通过此项贷款,这是一个典型的分类问题。通过这道赛题来引导大家了解金融风控中的一些业务背景,解决实际问题,帮助竞赛新人进行自我练习、自我提高。 赛题以预测金融风险为任务,数据集报名后可见并可下载,该数据来自某信贷平台的贷款记录,总数据量超过120w,包含47列变量信息,其中15列为匿名变量。为了保证比赛的公平性,将会从中抽取80万条作为训练集,20万条作为测试集A,20万条作为测试集B,同时会对employmentTitle、purpose、postCode和title等信息进行脱敏。

2023-05-17

零样本文本分类应用:基于UTC的医疗意图分类,打通数据标注-模型训练-模型调优-预测部署全流程

零样本文本分类应用:基于UTC的医疗意图分类,打通数据标注-模型训练-模型调优-预测部署全流程。 项目链接: https://blog.csdn.net/sinat_39620217/article/details/130237035 UTC具有低资源迁移能力,可以支持通用分类、评论情感分析、语义相似度计算、蕴含推理、多项式阅读理解等多种“泛分类”任务。这使得开发者可以更加轻松高效地实现多任务文本分类数据标注、训练、调优和上线,从而降低文本分类技术门槛。

2023-04-19

智能标注:基于Labelstudio的UIE半监督深度学习的智能标注方案码源

,智能标注的优势主要包括: 效率更高:智能标注可以自动化地进行标注,能够快速地生成标注结果,减少了人工标注所需的时间和精力,提高了标注效率。 精度更高:智能标注采用了先进的人工智能技术,能够对图像进行深度学习和处理,能够生成更加准确和精细的标注结果,特别是对于一些细节和特征的标注,手动标注往往存在误差较大的问题。 自动纠错:智能标注可以自动检测标注结果中的错误,并进行自动修正,能够有效地避免标注错误带来的影响,提高了标注的准确性。 灵活性更强:智能标注可以根据不同的应用场景和需求,生成不同类型的标注结果,能够满足用户的多样化需求,提高了标注的适用性。 项目链接:https://blog.csdn.net/sinat_39620217/article/details/129833001 https://blog.csdn.net/sinat_39620217/article/details/129835638

2023-03-30

机器学习入门算法合集,手把手带你玩转机器学习,掌握数学建模要诀

机器学习算法入门教程(一): 基于逻辑回归的分类预测 机器学习入门算法(二): 基于朴素贝叶斯(Naive Bayes)的分类预测 机器学习入门算法(三):基于鸢尾花和horse-colic数据集的KNN近邻(k-nearest neighbors)分类预测 机器学习入门算法(四): 基于支持向量机的分类预测 机器学习入门算法(五):基于企鹅数据集的决策树分类预测 机器学习入门算法(六)基于天气数据集的XGBoost分类预测 机器学习入门算法[七]:基于英雄联盟数据集的LightGBM的分类预测 机器学习入门算法(八):基于BP神经网络的乳腺癌的分类预测 机器学习入门算法(九): 基于线性判别模型的LDA手写数字分类识别

2023-03-30

数学建模数据挖掘:工业蒸汽量预测(最新版本)含数据探索特征工程、特征优化模型融合等

机器学习实战系列[一]:工业蒸汽量预测(最新版本)含数据探索特征工程等 https://blog.csdn.net/sinat_39620217/article/details/129789182 机器学习实战系列[一]:工业蒸汽量预测(最新版本下篇)含特征优化模型融合等 https://blog.csdn.net/sinat_39620217/article/details/129789323

2023-03-30

毕业设计:电影推荐系统

毕业设计:电影推荐系统

2023-03-14

中文文档分类数据集-数据挖掘

中文文档分类数据集 清华大学数据挖掘》里的练习 数据说明: 1、文档共有4中类型:女性、体育、文学、校园 2、训练集放到train文件夹里,测试集放到test文件夹里。停用词放到stop文件夹里。 请使用朴素贝叶斯分类对训练集进行训练,并对测试集进行验证,并给出测试集的准确率。

2023-03-10

计算机毕业设计:游戏规则

计算机毕业设计:游戏规则

2023-03-10

Python 全栈 + AI 人工智能 + 大数据分析

Python 全栈 + AI 人工智能 + 大数据分析 01-上课环境 02-Python 介绍 03-Python 安装 04-变量 05-运算符 06-流程控制语句 07-数据类型 08-函数 09-文件 10-模块 11-字符集 12-面向对象 13-生成器 14-装饰器 15-进程 16-net 17-gui 18-正则表达式 19-pycharm 20-django 21-数据结构

2023-03-10

蚂蚁金服ZSearch在向量搜索上的探索

蚂蚁金服ZSearch在向量搜索上的探索

2023-03-09

机器学习作业,分别使用最小二乘法与高斯核函数拟合非线性函数曲线

机器学习作业,分别使用最小二乘法与高斯核函数拟合非线性函数曲线

2023-02-15

动态Sql语句实现条件查询与模糊查询

动态Sql语句实现条件查询与模糊查询

2023-02-15

pear-api是以yii2为基础,去除次要服务,重构为只支持api访问服务的框架 支持PHP、MySQL、Redis、Kafk

pear-api是以yii2为基础,去除次要服务,重构为只支持api访问服务的框架。支持PHP、MySQL、Redis、Kafka、RabbitMQ。

2023-02-15

函数计算访问数据库示例集(MySQL、SQLServer、MongoDB、Redis)

函数计算访问数据库示例集(MySQL、SQLServer、MongoDB、Redis)

2023-02-15

学生成绩管理系统 Javaweb+MySQL

学生成绩管理系统 Javaweb+MySQL

2023-02-15

特定领域知识图谱融合方案:文本匹配算法之预训练模型ERNIE-Gram

特定领域知识图谱融合方案:文本匹配算法之预训练模型ERNIE-Gram

2023-02-10

日常工作中编写过的Python脚本

日常工作中编写过的Python脚本

2023-02-10

一个MAX10开发板的呼吸灯测试程序

呼吸灯程序一个MAX10开发板的呼吸灯测试程序

2023-02-10

子域名收集、目录爆破、网站指纹识别、sql注入检测、端口扫描

sql注入子域名收集、目录爆破、网站指纹识别、sql注入检测、端口扫描 目录爆破 字典自行定义,字典的文件名不要改变

2023-02-10

归并排序:就是利用归并的思想,实现的排序方法 要实现归并排序,需要完成两个步骤 一是“分”,就是将数组分到原子级;二

scau归并排序归并排序 归并排序:就是利用归并的思想,实现的排序方法。要实现归并排序,需要完成两个步骤。一是“分”,就是将数组分到原子级;二是“合”,将原子级别的元素两两排序,合并,最终得到结果。 归并排序的时间复杂度为O(nlogn)。 空间复杂度为O(n)

2023-02-10

二叉树的创建、前中后以及层次遍历

二叉树的层次遍历二叉树的建立以及二叉树的层次遍历、前序遍历、中序遍历、后序遍历

2023-02-10

dockerDocker 和 K8s基础教程

docker超详细基础教程

2023-02-10

学习的mongodb的代码和新的,以及通讯录项目实战

学习的mongodb的代码和新的,以及通讯录项目实战

2023-02-10

大数据集成平台大数据集成平台

大数据集成 大数据集成平台 项目的文件结构说明 1、/dist -> 公共资源文件(含公共css、js和图片资源等) 2、/pages -> 各页面文件(含登录页面以及前后台各模块html、css和js等文件) 3、/vendor -> 依赖包文件(含各种图表、兼容等插件的依赖包库) 4、/index.html -> 系统首页(自动跳转至登录页面) 5、/README.md -> 项目说明文档

2023-02-10

以mysql为主,记录数据库的建表规范及优化方案等

mysql优化以mysql为主,记录数据库的建表规范及优化方案等

2023-02-10

python3 教程 (python基础、python进阶、函数式编程、面向对象、面向对象高级、python高级应用、标准库、p

人工智能数学基础pdfpython3 教程 (python基础、python进阶、函数式编程、面向对象、面向对象高级、python高级应用、标准库、python web、网络爬虫、数据分析、机器学习、人工智能)

2023-02-10

人工智能数据集划分脚本划分训练集和测试集

划分训练集和测试集 本脚本食用方法十分简单,原理是提取目录中的文件名称,随机打乱,放到对应的数组中,后续再对数组中的内容进行对比,提取存在标签的图片,最后将图片和标签划分到训练集、验证集、测试集。 默认情况下,我提供了一个自动选择根路径的函数,如果你不做任何修改,可以直接按要求选择未划分的数据集即可。 各个集的划分情况如下: 训练集:70% 验证集:20% 测试集:10%

2023-02-10

Transformer:Seq2Seq 模型 + 自注意力機制

注意力机制Transformer:Seq2Seq 模型 + 自注意力機制

2023-02-10

全国大学生数学建模LaTeX模板-ChinaTeX

全国大学生数学建模LaTeX模板-ChinaTeX 针对前段时间网友的反馈,并参考数学建模官网2013年的比赛格式要求,对原有的数学建模LaTeX进行了升级和修改,这次模板: 采用ctexart作为基础类,支持新版CTeX/TeXLive,推荐使用xelatex编译。 增加了封面部分显示的控制,部分赛区要求采用word格式提交参赛封面。 粗排了一篇2013年获奖的例文,也可点这里下载,时间匆促,仅供参考。 官网对于格式要求的说法如下: 本规范中未作规定的,如排版格式(字号、字体、行距、颜色等)不做统一要求,可由赛区自行决定。

2023-02-10

霍尔编码器霍尔编码器霍尔编码器

霍尔编码器ROS subscriber that collects data from a 9-DOF I2C IMU published by i2c_imu, and a hall sensor encoder, connected via Jetson TK1 GPIO.

2023-02-10

LSTM模型预测时间序列

lstm时间序列预测

2023-02-10

目标检测模型在pytorch当中的实现,一个yolov7的库,可以用于训练自己的数据集

yolov7训练自己数据集 支持step、cos学习率下降法、支持adam、sgd优化器选择、支持学习率根据batch_size自适应调整、新增图片裁剪、支持多GPU训练、支持各个种类目标数量计算、支持heatmap、支持EMA。

2023-02-10

基于TensorFlow的深度学习、深度增强学习代码:NN(传统神经网络)、CNN(卷积神经网络)、RNN(递归神经网络)、LS

卷积神经网络基于TensorFlow的深度学习、深度增强学习代码:NN(传统神经网络)、CNN(卷积神经网络)、RNN(递归神经网络)、LSTM(长短期记忆网络)、GAN(生成对抗网络)、DRL(深度增强学习)

2023-02-10

程序员编程指南 - Java、Spring、SpringBoot等等基础-进阶-源码知识点 & 面试宝典 - 建议使用Obsi

程序员编程指南 | Java、Spring、SpringBoot等等基础|进阶|源码知识点 & 面试宝典 -- 建议使用Obsidian阅读

2023-02-10

程序员面试宝典题目复习

链表部分题目,完成4、单/双链表的反转

2023-02-10

Java基础和算法基础,主要参考书籍《算法第四版》,《Java程序员面试宝典》, LeetCode试题

Java基础和算法基础,主要参考书籍《算法第四版》,《Java程序员面试宝典》, LeetCode试题

2023-02-10

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除