- 博客(119)
- 收藏
- 关注
RSS订阅原创 深度学习 | 关于transformer你必须知道的20个知识点
Transformer的实现细节包括:Multi-Head Attention中多个头部的实现、Add & Norm的实现、Feed Forward的网络结构选择、Positional Encoding的设计等。Transformer的变种模型有:Transformer-XL、BERT、GPT、GPT-2、T5、CamemBERT等,它们在结构和训练过程上都有所变化,在不同的任务上取得了很好的效果。它的作用是对Multi-Head Attention的输出进行变换,得到最终的Notice层输出。
2023-06-18 10:29:56
606
1
原创 深度学习 | 关于GRU你必须知道的20个知识
最终的输出是两个GRU的输出拼接,这可以利用输入序列的双向信息。GRU与LSTM的主要区别在于GRU没有细胞状态和忘记门,它合并了LSTM的输入门和遗忘门,并没有输出门,这使得GRU的结构更简单。GRU通过门机制可以选择性地遗忘先前的隐藏状态,这样既可以利用长期记忆,也可以及时抛弃那些可能会对当前输出产生误导的信息,这使得GRU能够更好地建模长序列。它是一种特殊的循环神经网络,通过门机制来控制信息的流动,实现对序列的长程依赖建模。GRU的主要优点是:能够捕捉长序列的依赖,结构简单,容易实现并调参。
2023-06-17 11:24:04
2160
原创 深度学习 | 关于RNN你必须知道的20个知识点
在编码器-解码器模型中,Attention机制允许解码器根据编码器的输出生成一个"注意力向量",该向量包含每个输入元素的注意力权重,解码器可以根据这些权重选择性地聚焦在相关输入元素上。堆叠RNN是将多个RNN层叠加,前一层的输出作为下一层的输入。它的作用是帮助模型"聚焦"在最相关的输入元素上,从而生成更好的输出。编码器-解码器模型是一种Seq2Seq模型,包含两个RNN:编码器RNN用于学习输入序列的表征,解码器RNN生成输出序列。它是一类用于序列学习的神经网络,可以使用序列中的历史信息来影响当前的输出。
2023-06-17 11:19:02
1021
原创 深度学习 | 关于残差连接你必须知道的20个知识点
除了典型的ResNet,它包括ResNeXt, Res2Net, SE-ResNet, Residual Attention Network等等。Res2Net是一种改进的ResNet,它使用多分支的残差结构,而不像ResNet只有单一的残差路径。在残差块的投影映射中,1x1卷积用来匹配输入和输出的通道数量。ResNet是基于残差网络的架构,它通过在很深的网络添加残差连接来获得很高的准确率。因为残差连接可以让梯度直接传递到很深的层,而不需要通过每一层的激活函数,所以可以避免在每层的激活函数中衰减太多。
2023-06-16 21:38:51
2397
原创 深度学习 | 关于激活函数你必须知道的20个知识点
tanh激活函数的表达式是f(x) = (e^x - e^-x) / (e^x + e^-x)。例如,sigmoid函数的饱和范围是(0,1),tanh函数的饱和范围是(-1,1)。maxout激活函数的作用是生成激活值的链接,这给神经网络引入了多路选择结构,有正则化的效果,可以缓解过拟合问题。激活函数的作用是引入非线性,Without激活函数,神经网络将只是多个线性方程的叠加,无法学习线性模式。softmax激活函数的作用是用于多分类问题,它可以将多个实数映射到(0,1)区间,且归一化的和为1。
2023-06-16 21:35:12
76
原创 深度学习 | 全连接层你必须知道的20个知识点
答:对one-hot编码的输入,全连接层的权重矩阵W的行与输入元素的one-hot索引对应。答:全连接层的节点数量可以根据任务的复杂度,上一层的节点数量,避免过拟合的考量等因素决定。答:卷积层的参数共享,全连接层的每个节点都有自己的权重参数。答:可以在神经网络的最后加入一个全连接层,节点数量设置为类别的数量,然后采用softmax激活函数将其转换为概率分布,表示每个类别的预测概率。答:全连接层的计算过程是:y=Wx+b。答:全连接层是神经网络中的一种层,它将上一层的每一个节点与当前层的每一个节点相连接。
2023-06-15 23:11:59
1734
原创 深度学习 | 关于注意力机制你必须知道的20个知识点
答:不一定,注意力机制虽然可以明确地建模序列间的依赖关系,但计算复杂度较高,并不一定在所有任务上优于不使用注意力的模型。答:注意力机制是神经网络中用于自动判断输入序列中每个时间步最重要的部分,并相应调整模型注意力的机制。答:注意力机制的基本原理是计算输入序列每个时间步的注意力权重,按权重对输入做加权求和,得到注目信息。答:全局注意力考虑输入序列所有的时间步,局部注意力机制只关注输入序列的一部分时间步。答:常见的注意力机制主要有软注意力、硬注意力、全局注意力、局部注意力等。
2023-06-15 23:06:07
359
原创 深度学习 | 关于ResNet你必须知道的20个知识点
答:有ResNet-34, ResNet-50, ResNet-101, ResNet-152等不同层数的模型,还有ResNet-v2, ResNeXt, Wide ResNet等变体。答:主要有ResNet-18, ResNet-34, ResNet-50, ResNet-101和ResNet-152等版本。答:主要有3种残差块:残差块v1、残差块v2和瓶颈残差块。答:因为ResNet有残差连接,可以让梯度直接传播,不会在很深层的时候消失/爆炸,所以可以达到100-1000层,比VGGNet等模型更深。
2023-06-14 20:03:28
311
原创 深度学习 | 关于ALexNet你必须知道的20个知识点
具体结构是:Conv1(96)->Relu->Pool1->Conv2(256)->Relu->Pool2->Conv3(384)->Relu->Conv4(384)->Relu->Conv5(256)->Relu->Pool5->FC1(4096)->Relu->FC2(4096)->Relu->FC3(1000)->Softmax。答:AlexNet的第一个卷积层步长为4,第二个卷积层步长为1,第三个卷积层步长为1,第四个卷积层步长为1,第五个卷积层步长为1。
2023-06-14 19:57:55
167
原创 关于CRF你必须知道的20个知识点
答:CRF可以判别标注序列Y对输入序列X的条件概率P(Y|X),以及标注y_i对输入和其它标注y_{1:i-1}, y_{i+1:n}的条件概率P(y_i|y_{1:i-1}, x, y_{i+1:n})。CRF直接模型标注序列的条件概率,HMM模型观测序列和隐状态序列的联合概率。答:CRF修正了MEMM模型中的标签偏置问题,MEMM是条件马尔科夫模型,CRF是条件随机场模型,概率计算的方法不同。答:因为CRF直接模型标注序列的条件概率,考虑了输入序列和整个标注序列,而不是单个标注,所以不会出现标签偏置。
2023-06-13 21:45:03
230
原创 关于HMM你必须知道的20个知识点
答:因为Baum-Welch算法同时使用了Forward算法和Backward算法来计算观测序列在模型下的似然,以及各状态的前向后向概率,所以也称为前向后向算法。答:Backward算法也是HMM的一种推断算法,与Forward算法相反,它从后往前计算序列在模型下的似然概率。答:观测序列提供了HMM状态序列隐藏的外在表现,HMM模型根据观测序列来推断对应的状态序列。答:Forward算法是HMM的一种推断算法,用于计算观测序列在模型下的似然概率。答:解码问题要求找到最有可能产生给定观测序列的状态序列。
2023-06-13 21:41:31
351
原创 关于鲁棒性你必须了解的
总之,鲁棒性是衡量机器学习模型的一个很重要的标准,我们应该在模型设计和训练时充分考虑如何提高模型的鲁棒性。通过简化模型结构,正则化,选择合适的激活函数,outliers和noises数据增强等方法可以有效提高模型的鲁棒性。如果变化不大,鲁棒性越好。如果模型的激活值在输入的小扰动下就产生较大变化,该模型的鲁棒性较差。如果模型对轻微扰动就产生很大的输出变化,那么模型很容易受到对抗样本的对抗,产生安全隐患。在机器学习中,随着深度学习模型变得越来越复杂,模型也越来越容易受到小扰动的影响,所以鲁棒性变得越来越重要。
2023-06-12 22:38:15
1417
原创 关于多层感知机(MLP)你必须知道的20个知识点
答: Adam优化算法在梯度下降基础上,通过计算一阶和二阶矩估计参数的动量和平方梯度来调整学习率,使训练更加稳定。答: 批量归一化的作用是加速神经网络的训练,使得梯度下降更加稳定。答: 卷积神经网络有局部连接和参数共享的特性,而普通的MLP是全连接的。答: pooling层的作用是通过降维的方式减少参数数量,防止过拟合,并且提高模型的鲁棒性。答: 激活函数的作用是对神经元的加权输入在通过非线性变换,这使得MLP能够学习复杂的模式。答: 权重初始化的作用是给网络一个好的起点,有助于模型的收敛速度和稳定性。
2023-06-12 22:36:30
341
原创 ChatGPT指令集&角色扮演.
特定指令是最简单也是使用最广泛的模式，在这种模式下，我们给模型提供一些特定信息，例如问题或关键词，模型需要生成与这些信息相关的文本。前面我们在【ChatGPT 技巧应用】中也有大概聊到，如果我们想要更好的从 ChatGPT 那得到想要的答案，我们可以优化我们的问题，甚至我们可以让 ChatGPT 扮演某个角色。“”“ 在一个客户对我们不满已久的项目中，我重新规划了团队成员的任务，建立了相应的激励机制，组织了团队建设活动，最终带领大家为客户重新推出了一个xx方案，客户非常满意，当场就跟我们续了约。
2023-06-11 20:05:52
1918
原创 ChatGPT分钟快速生成PPT
结合AI生成 PPT 的原理其实非常简单。现有的一些 PPT 软件或者开源工具会提供一种文本格式，我们只需要给定固定的格式，把内容输入给相应的软件，那么它就可以生成对应的 PPT 内容；内容转PPT：使用现有的 PPT 转换工具，这种工具往往需要某种固定的文本格式内容：可以让 ChatGPT 帮我们生成对应文本格式的内容过去比较传统的 PPT 工具在识别到给定格式的内容之后只能进行对应的渲染，比如标题格式：## 标题 ，那么在传统的 PPT 工具里面可能就只是把这个标题做一个加粗+标题处理。
2023-06-11 20:04:02
4945
原创 ChatGPT | 创始人的故事
虽然目前OpenAI仍然是一家亏损的创业公司，但在山姆的领导下，它已将业界领先的GPT自回归语言模型成功拓展至商业化领域，收入正在快速增长。时光荏苒，2020年，山姆带领OpenAI研发出了突破性的GPT3，成为了微软Office、Bing搜索引擎等产品的关键技术支持。2021年，微软再次投资OpenAI，将其旗下的GPT、Dall-E、Codex等各类工具部署在Azure云服务中，为OpenAI带来了最早的收入来源。2019年，山姆成为OpenAI的CEO，开启了一段与微软的紧密合作。
2023-06-10 13:37:36
746
原创 ChatGPT | 短视频文案生成
短视频是当下社交媒体上最火的内容形式之一，而炫酷的画面和搭配得当的文案则是制胜关键。别担心，我们特意制作了精美的 短视频文案生成的 prompt 大家可以直接使用，让你的短视频文案在人海中脱颖而出。
2023-06-10 13:36:17
2797
原创 用ChatGPT 处理复杂 Excel 数据并进行数据分析
基于上述案例我们做了什么?我们可以再次让 ChatGPT 帮我们总结分析一下这次的对话，列出步骤以下是这次对话的步骤：第一个问题的提出：用户提出了一个 Excel 相关的问题和需求。第一个问题的回答：AI 帮助回答了用户的第一个问题。第二个问题的提出：用户向 AI 提出了一个新的问题和需求，希望得到一段 VBA 代码，实现对 Excel 文件中的数据进行筛选。第二个问题的回答：AI 给出了一段简洁的 VBA 代码来实现用户的需求。
2023-06-09 10:26:44
2446
原创 Django | 你必须知道的20个知识点
常用的Django命令有`startproject`、`runserver`、`migrate`、`dumpdata`、`loaddata`等,用来创建项目、运行服务、数据迁移、数据导出和数据导入等。URLconf用来映射URL和视图之间的对应关系,当用户访问一个URL时,Django会根据URLconf找到对应的视图来响应请求。我们可以使用`|`(OR)和`&`(AND)来组合Q对象实现嵌套逻辑的查询。中间件用来对Django的请求和响应进行额外的处理,常用来实现身份认证、csrf保护、数据压缩等功能。
2023-06-08 19:22:45
87
原创 面对GPT，教育也到了转变之时
Chat Z的后台是一个基于超大规模预训练模型构建的、基于知识的零微调对话生成框架,在不借助额外垂直领域训练数据的情况下大幅提高大模型输出的认知准确率,让模型具备强大的认知能力,使对话更有营养。AI与教育的结合,已成为教育行业的重要发展方向,未来的大模型将改变教育体系的核心要素,包括教育目标、知识获取方式等,这已成为行业共识。大模型成为里程碑事件的背后,是算力发展和数字时代形成的海量数据训练的结果,Z1基于家庭教育需求,结合海量准确的教育资料、科学的教育理念和经验,提供像Chat Z这样的家教助手。
2023-06-08 16:55:29
57
原创 Auto-GPT初体验分享
ChatGPT 的交互模式，是和一个 “人” 对话聊天。聊天的过程，双方的信息会进行交换，作为主导的一方，我们需要引导 GPT ，给她清晰的信息，批评她错误的表达，夸奖她正确的思考。过程就像开着一辆手动挡的轿车，你需要根据车流和路线，不断观察，不断调整档位。那 Auto-GPT 是什么呢？自动挡的轿车吗，不，体验下来，我感觉她是一辆无人驾驶的汽车，只需要告诉她你的目的地，加满油，就可以了。是的，Auto-GPT 需要加油，汽油主要构成是 OpenAI api 的 tokens 消耗。
2023-06-07 10:44:37
84
原创 2分钟用ChatGPT写一篇高质量文章
如果我们经常去写文章或者是去看别人的文章，你会发现文章分为以下几部分标题大纲前言/导语正文（不同的结构）结尾呼吁文章分为哪几个部分?标题：一篇吸引人的标题，能激起读者的兴趣，使他们点击阅读文章。引言：文章的开头部分，用于吸引读者并简要介绍文章的主题。通常包含1到2段内容。正文：这是文章文章的主要部分，包括对主题的详细讨论和分析。正文通常包含多个子标题，以便组织内容并帮助读者轻松浏览。图片和多媒体：图片、视频和其他多媒体元素可以提高文章的吸引力，使内容更加生动有趣。
2023-06-07 10:43:06
1489
原创 Python学习 | 关于numpy，你必须知道的
NumPy的随机模块包含随机数生成器,如:randint()、randn()、shuffle()、choice()等。add, subtract, multiply, divide, sum, min, max等。NumPy的广播机制可以让不同shaped的数组在计算时自动对齐。argmin()返回最小值索引,argmax()返回最大值索引。numpy的主要对象是ndarray,它是一个n维数组对象。20. argmin()和argmax()的用途?ndarray.dtype - 数组元素类型。
2023-05-27 13:44:06
78
原创 Python学习 | 关于os库，你必须知道的
os.linesep表示行终止符,Windows为"\r\n",Linux为"\n"。os.access()用于检查文件权限,os.chmod()用于修改文件权限。os.sep表示路径分隔符,Windows为"\\",Linux为"/"。20. os.access()和os.chmod()的用途?17. os.curdir和os.pardir表示什么?15. EXECUTABLE和PATH环境变量的用途?19. os.removedirs()的用途是什么?16. os.sep和os.linesep的用途?
2023-05-27 13:38:16
119
原创 Python处理时间必看！time库的使用须知
time.asctime() - 将struct_time转换为字符串。time.mktime() - 将struct_time转换为时间戳。time库包含与时间相关的函数,如时间表示、时区转换、格式化等。%w - 星期 %x - 本地日期表示 %X - 本地时间表示。13. 如何将struct_time对象格式化为时间字符串?time. perf_counter() - 获取高精度时间。15. 如何将时间字符串转换为struct_time对象?4. strftime()方法常用的格式化字符串有哪些?
2023-05-26 22:33:12
118
原创 数据分析必看！pandas的使用须知
apply()既可用于Series也可用于DataFrame,根据函数对每个元素或行列进行计算处理。pandas是基于NumPy的一款开源数据分析和可视化工具,用于数据操作和分析。groupby是pandas中的分组函数,可以将数据分组进行聚合统计。agg是pandas中的聚合函数,用于groupby分组后的数据聚合。DataFrame是一个二维的表格型数据结构,包含有序的列和索引。pandas的两大对象是Series和DataFrame。.map()用于Series,根据字典或函数对值进行映射。
2023-05-26 22:29:11
78
原创 关于爬虫你必须知道的20个知识点
PhantomJS是无界面的,可以达到和Selenium类似的效果但资源消耗更小。Downloader中间件可以修改 Scrapy 下载器生成的请求及下载的响应。广度优先会先爬取同一层级的全部网页,然后再进一步爬取下一层级的网页。Scrapy的避重机制是基于请求的指纹(请求URL和其他信息)来实现的。CrawlSpider是一种更高级的Spider,通过定义规则(Rule)来管理爬取请求的生成。可以通过设置随机的User-Agent,使用代理IP,控制爬取速度等方法来避免被屏蔽。
2023-05-22 22:24:01
260
原创 数学建模 | 关于文本预处理你必须知道的20个知识点
常见的N值有1-gram(单词)、2-gram(双词)、3-gram(三词)等。答案:文本聚类是将文本划分为语义相关的类别的过程。答案:文本清理是去除文本中的噪音和无用信息的过程。答案:文本拆分是将文本划分为较小的单元(词、句子、段落)的过程。答案:词性标注是为文本中的每个词测定其词性的过程。答案:BIO表示法将命名实体的位置信息编码为B(开始)、I(内部)、O(外部)三种标记。答案:命名实体识别是识别文本中的专有名词的过程。答案:情感分析是判断文本所表达的情绪倾向的过程。常用方法有词袋模型、LSTM等。
2023-05-21 21:34:23
159
原创 数学建模 | 关于数据预处理你必须要知道的20个知识点
答案:数据变换是对数据进行函数变换,提高数据分布的均匀性和对称性。答案:缺失值是数据集中不存在的值。答案:离群点是与大多数数据点差异较大的异常数据点。答案:数据是否存在斜度和峰度偏移。答案:数据泄露指训练集和测试集之间的信息交叉污染。答案:数据划分是将数据集分为训练集、验证集和测试集。答案:过采样是增加少数类样本以平衡数据集。答案:数据集的某个类别的数据过多或过少。答案:数据分箱是将连续数据分割成桶的过程。答案:异常值是偏离大多数数据点的极端值。答案:标注数据指有标签的训练数据,非标注数据指无标签的数据。
2023-05-21 21:29:35
305
原创 关于爬虫必须知道的20个知识点
result = html.xpath('//title/text()') # 获取所有title标签的文本。可以随机从UA/代理列表中选择一个UA/代理,更换请求头的User-Agent/proxies来使用。主要检测机制有请求频率限制、IP限制、机器指纹识别等。常见异常:连接超时、HTTP 403 状态码、页面4545结构变化、数据解析错误等。主要检测是否返回403状态码,可以使用代理池、UA池、调整请求频率等进行反检测。主要组成:URL管理器、网页下载器、网页解析器、数据存储器。
2023-05-19 22:56:58
243
原创 关于js逆向你必须知道的20个知识点
可以检查字符串操作函数如replace、split、slice等,分析字符串加密方式,如字符替换、base64、AES等。可以在Sources面板中设置断点,然后刷新网页或交互执行代码,程序会在断点处暂停,可以查看变量值、调用栈等。可以分析变量的前缀、类型等命名规律,寻找与业务功能相关的变量,如uid、name、password等。可以通过查看函数名称、变量、事件等分析交互逻辑和程序流程,理解其主要业务功能。可以查看对象的属性和方法,判断是否存储了与业务逻辑相关的信息,如用户数据等。
2023-05-19 22:52:16
6366
原创 数学建模 | 关于最短路径问题你必须知道的20个知识点
答案:使用Floyd算法解最短路径问题的步骤是:初始化距离矩阵d[n][n],d[i][j]表示i到j的距离。答案:SPFA算法是Bellman-Ford算法的优化版本,其基本思想是使用队列代替遍历所有点的方式,只遍历队列中的点,从而提高效率。答案:Johnson算法的主要思想是引入一个新起点,通过Bellman-Ford算法计算每个点到新起点的距离,然后将原图的权值进行调整,再使用Dijkstra算法解最短路径问题。答案:Bellman-Ford算法的时间复杂度是O(n*m),其中n是结点数,m是边数。
2023-05-17 22:51:26
279
原创 数学建模 | 关于微分方程你必须知道的20个知识点
答案:将一阶线性微分方程转化为斜率形式dy/dx = P(x)y + Q(x),然后根据初值 y(x0) = y0,可以求出曲线方程y = f(x)。答案:配置坐标法的主要思想是将原来的自变量映射到新坐标系,原来的微分方程在新坐标系中变为可解的微分方程,解出后再映射回原先的自变量。答案:常见的微分方程类型有:常微分方程、线性微分方程、 Bernoulli微分方程、齐次微分方程、非齐次微分方程等。答案:如果微分方程的阶数等于未知函数的阶数加初始条件的个数,则微分方程是可解的。
2023-05-17 22:24:44
386
原创 数学建模 | 关于BP神经网络你必须知道的20个知识点
答:tanh函数的表达式为:f(x) = (e^x - e^-x) / (e^x + e^-x)。输出层的误差先算出,然后根据输出层与隐藏层的连接权重计算隐藏层的误差,以此类推,直到输入层。答:BP神经网络的工作原理是:输入信号由输入层传递到隐藏层,然后到输出层,在输出层计算输出值与实际值的误差,然后误差向后传递,根据误差调整各连接权重,使最终获得的输出值朝实际值改进。答:学习率是BP神经网络训练过程中调整权重时的步长。正向传播计算从输入到输出的信号,反向传播则根据输出层的误差计算各层的误差及权重的梯度。
2023-05-16 22:30:20
472
原创 数学建模 | 关于元胞自动机你必须知道的20个知识点
其他情况下,细胞为“死”状态。答:通过简单的局部规则,元胞自动机可以产生复杂的全局Patterns,这称为自动模式形成。答:元胞自动机的状态是细胞在某一时刻可以处于的状态,通常用数字或其他符号来表示,如0或1、ON或OFF等。答:可以设定元胞自动机的规则使得某些模式的细胞更容易存活下去,这类似于自然选择,可以模拟生物的进化过程。答:元胞自动机的网格是由多个细胞组成的空间结构,通常是1D的线性结构,2D的平面结构或3D的空间结构。答:元胞自动机的细胞是根据其当前状态以及周围细胞的状态来决定下一状态的。
2023-05-16 22:26:48
306
原创 数学建模 | 关于Naive Bayes回归你必须知道的20个知识点
是的,Naive Bayes回归泛化能力较差,但与其他模型ensemble可以取得比较好的效果。是的,Naive Bayes回归需要训练过程以学习先验概率和条件概率。18. 提高Naive Bayes回归泛化能力的主要方法是什么?20. 在实际问题中,Naive Bayes回归的应用示例有哪些?7. Naive Bayes回归的特征条件独立性假设是否合理?10. 改进Naive Bayes回归的方法有哪些?17. Naive Bayes回归的参数主要有哪些?
2023-05-15 23:02:27
59
原创 数学建模 | 关于K近邻你必须知道的20个知识点
O(ndk),n是训练样本数,d是特征维数,k是最近邻居数。是的,K最近邻法需要对数值特征进行缩放。是的,K最近邻法对异常值比较敏感。选择合适的K值、适当的距离度量、特征选择、使用近似最近邻搜索的方法等。增加K值、添加正则化项、特征选择等方法可以提高K最近邻法的泛化能力。增加K值、交叉验证选择K值、特征选择等方法可以降低过拟合问题。通过交叉验证等方法对不同K值进行评估,选择错误率最低的K值。是的,K最近邻法可用于近似最近邻搜索,实现数据压缩。K值和距离度量是K最近邻法的两个重要参数。
2023-05-15 22:57:56
86
原创 数学建模 | 关于随机森林你必须知道的20个知识点
典型的随机森林实现方法有Scikit-learn的RandomForestClassifier、Spark的RandomForestClassifier、H2O的RandomForest等。随机森林的主要参数有棵树数量、每个树的样本数量、每个树的特征数量、每个树的最大深度等。主要通过调整棵树数量、每个树的样本数、每个树的特征数和每个树的最大深度来调参随机森林。随机森林中的每棵决策树是独立生成的,通过随机抽取训练样本和特征来构建。随机森林的每棵树是独立构建的,提升方法的每棵树是依赖前面树构建的。
2023-05-14 14:01:31
1924
原创 数学建模 | 关于决策树你必须知道的20个知识点
通过计算在测试集上的准确率、召回率和F1-score来评价决策树分类器的准确率。决策树的主要优点是易于解释、容易转换为规则、可以处理标称属性和连续属性等。决策树的主要缺点是容易过拟合、对缺失值敏感以及对小数据集的分类性能较差等。可以使用图形化的决策树绘制工具,也可以使用文本或代码的方式绘制决策树。前剪枝在构造决策树的过程中进行,后剪枝在构造完全生长的决策树后进行。通过计算决策树的精确率、召回率、F1-score来判断决策树的性能。通过交叉验证选择最优的剪枝参数来获得剪枝更好的决策树模型。
2023-05-14 13:58:41
204
原创 数学建模 | 关于梯度提升决策树你必须知道的20个知识点
初始化弱学习器,计算 residules,基于 residules 训练新的弱学习器,更新强学习器,重复此过程直至结束。梯度提升机通过提升弱学习器获得强学习器,随机森林通过集成多个决策树获得强学习器。学习率控制每棵树对强学习器的贡献,值太大会导致过拟合,值太小会导致训练时间过长。XGBoost 是梯度提升决策树的高效实现,是一个开源的分布式深度树加速器。新弱学习器的训练集为前面弱学习器的误差(真实值与预测值的差)和原训练集。8. 梯度提升决策树中,新弱学习器如何关注前面弱学习器的误差?
2023-05-13 09:52:29
201
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人