![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 81
DonngZH
这个作者很懒,什么都没留下…
展开
-
【工程实践】CatBoost进行多分类
CatBoost是俄罗斯的搜索巨头Y andex在2017年开源的机器学习库,和lightgbm、xgboost并成为gbdt三大主流神器库,它是一种基于对称决策树(oblivious trees)算法的参数少、支持类别型变量和高准确性的GBDT框架,主要说解决的痛点是高效合理地处理类别型特征,另外提出了新的方法来处理梯度偏差(Gradient bias)以及预测偏移(Prediction shift)问题,提高算法的准确性和泛化能力。原创 2024-06-12 14:24:20 · 604 阅读 · 0 评论 -
【大模型】GPT-3
GPT-3这是一个具有1750亿个参数的自回归语言模型,比之前的任何非稀疏语言模型大至少10倍,并在few-shot设置下测试其性能。对于所有任务,GPT-3都是在没有任何梯度更新或微调的情况下应用的,仅通过与模型的文本交互来指定任务。GPT-3的主要目标是用更少的领域数据、且不经过精调步骤去解决问题。主要贡献:证明了通过增大参数量就能让语言模型显著提高下游任务在Few-shot(仅给定任务说明和少量示例)设置下的性能。有时甚至达到了与现有最先进的微调方法相比的竞争力。原创 2023-07-26 08:50:28 · 1791 阅读 · 0 评论 -
【深度学习】BERT变体—BERT-wwm
BERT-WWM对Bert的改进主要体现在mask的方式上,使用全词mask。其改进点如下:BERT-WWM不仅仅是连续mask实体词和短语,而是连续mask所有能组成中文词语的字。具体做法是,针对中文,如果一个完整的词的部分字被mask,则同属该词的其他部分也会被mask,即对组成同一个词的汉字全部进行Mask,即为全词Mask。这样做的目的是:预训练过程中,模型能够学习到词的语义信息,训练完成后字的embedding就具有了词的语义信息了,这对各类中文NLP任务都是友好的。原创 2023-03-06 16:15:57 · 8060 阅读 · 0 评论 -
【深度学习】优化器
优化器是在深度学习的反向传播过程中,指引损失函数(目标函数)的各个参数往正确的方向更新合适的大小,使得更新后的各个参数让目标函数不断逼近全局最小点。原创 2023-02-23 16:11:23 · 6813 阅读 · 0 评论 -
【深度学习】激活函数
激活函数(Activation functions)对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。如图示,在神经元中,输入的 inputs 通过加权,求和后,还被作用了一个函数,这个函数就是激活函数。引入激活函数是为了增加神经网络模型的非线性。没有激活函数的每层都相当于矩阵相乘。就算叠加了若干层之后,无非还是个矩阵相乘罢了。假若网络中全部是线性部件,那么线性的组合还是线性,与单独一个线性分类器无异。这样就做不到用非线性来逼近任意函数。原创 2023-02-23 15:36:57 · 5842 阅读 · 1 评论 -
【机器学习、深度学习】损失函数
损失函数(Loss Function)又叫做误差函数,用来衡量算法拟合数据的好坏程度,评价模型的预测值与真实值的不一致程度,是一个非负实值函数,通常使用来表示,Y表示真实值,f(x)表示模型的预测值。损失函数越小,说明模型拟合的越好,模型的性能也越好。损失函数是经验风险函数的核心部分,也是结构风险函数重要组成部分。原创 2023-02-23 15:33:58 · 5698 阅读 · 0 评论 -
【机器学习】生成式模型和判别式模型
在机器学习中,对于有监督学习可以将其分为两类模型:判别式模型和生成式模型。判别式模型是针对条件分布建模,而生成式模型则针对联合分布进行建模。原创 2023-02-23 16:13:46 · 6557 阅读 · 0 评论 -
【机器学习】朴素贝叶斯算法
朴素贝叶斯(Naive Bayes)是经典的机器学习算法之一,也是为数不多的基于概率论的分类算法。由于朴素贝叶斯计算联合概率,所以朴素贝叶斯模型属于生成式模型。经典应用案例包括:文本分类、垃圾邮件过滤等。原创 2023-02-23 16:13:51 · 16438 阅读 · 0 评论 -
【机器学习】Adaboost
AdaBoost(adapt boost),自适应推进算法,属于Boosting方法的学习机制。是一种通过改变训练样本权重来学习多个弱分类器并进行线性结合的过程。它的自适应在于:被前一个基本分类器误分类的样本的权值会增大,而正确分类的样本的权值会减小,并再次用来训练下一个基本分类器。同时,在每一轮迭代中,加入一个新的弱分类器,直到达到某个预定的足够小的错误率或预先指定的最大迭代次数再确定最后的强分类器。Adaboost主要解决的问题有: 两类问题、多类单标签问题、多类多标签问题、回归问题。原创 2023-02-20 15:25:12 · 7265 阅读 · 0 评论 -
【机器学习】线性回归
线性回归,是利用数理统计中回归分析,借助回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。适用于有监督学习的预测。原创 2023-02-20 14:23:06 · 5119 阅读 · 0 评论 -
【机器学习】决策树
不同于逻辑回归,决策树属于非线性模型,可以用于分类,也可用于回归。可以被认为是if-then规则的集合,以信息增益(信息增益比、基尼系数)为度量构建一个度量标准下降最快的树,每个节点都代表一个属性的测试,知道叶子节点处只剩下同一类别的样本。决策树的学习包括三个重要过程:(1)特征选择:常用的特征选择有信息增益、信息增益比、基尼系数等。(2)生成过程:通过计算信息增益或者是其他指标,选择最佳特征。从根节点开始,原创 2023-02-20 15:23:08 · 5000 阅读 · 0 评论 -
【机器学习】决策树-Gini指数
基尼系数也是一种衡量信息不确定性的方法,与信息熵计算出来的结果差距很小,基本可以忽略,但是基尼系数要计算快得多,因为没有对数。原创 2023-02-20 15:10:37 · 13620 阅读 · 1 评论 -
【机器学习】决策树-C4.5算法
C4.5算法是用于生成决策树的一种经典算法,是ID3算法的一种延伸和优化。C4.5算法对ID3算法主要做了一下几点改进:(1)通过信息增益率选择分裂属性,克服了ID3算法中通过信息增益倾向于选择拥有多个属性值的属性作为分裂属性的不足;(2)能够处理离散型和连续型的属性类型,即将连续型的属性进行离散化处理;(3)构造决策树之后进行剪枝操作;(4)能够处理具有缺失属性值的训练数据。C4.5算法训练的结果是一个分类模型,这个分类模型可以理解为一个决策树,分裂属性就是一个树节点,分类结果是树的结点。原创 2023-02-20 15:09:34 · 15129 阅读 · 3 评论 -
【机器学习】决策树-ID3算法
信息增益可以很好的度量特征的信息量,但在某些情况下存在一些弊端。对可取值数目较多的属性有所偏好。因为信息增益反映的是给定一个条件以后不确定性减少的程度,必然是分得越细的数据集确定性更高,也就是条件熵越小,信息增益越大。信息增益偏向取值较多的特征。原创 2023-02-20 15:07:24 · 5861 阅读 · 0 评论 -
【机器学习】集成学习
集成学习的基本思想是结合多个学习器组合成一个性能更好的学习器。这类方法会训练多个弱学习器(基学习器)并将它们输出的结果以某种策略结合起来组成一个强学习器。原创 2023-02-21 13:50:06 · 5313 阅读 · 0 评论 -
【机器学习】XGBoost
XGBoost(eXtreme Gradient Boosting)极度梯度提升树,属于集成学习中的boosting框架算法。对于提升树,简单说就是一个模型表现不好,继续按照原来模型表现不好的那部分训练第二个模型,依次类推。本质思想与GBDT一致,构建多个基学习器使用加法模型,学习前面基学习器的结果与真实值的偏差,通过多个学习器的学习,不断降低模型值和实际值的差。最终模型的预测结果是由所有基学习器预测结果的加和。原创 2023-02-20 15:26:29 · 14231 阅读 · 2 评论 -
【机器学习】GBDT
GBDT(Gradient Boosting Decision Tree),梯度提升树。它是一种基于决策树的集成算法。其中Gradient Boosting 是集成方法boosting中的一种算法,通过梯度下降来对新的学习器进行迭代。它是利用损失函数的负梯度方向在当前模型的值作为残差的近似值,进而拟合一棵CART回归树。GBDT算法无论处理回归问题还是分类问题使用的决策树都是CART回归树,原因是GBDT每次迭代要拟合的是梯度值,是一个连续值,所以要用回归树。原创 2023-02-20 15:25:47 · 5658 阅读 · 0 评论 -
【机器学习】逻辑回归
逻辑回归对一个回归或者分类问题,建立代价函数,然后通过优化方法迭代求解出最优的模型参数,然后测试验证我们这个求解的模型的好坏。Logistic回归虽然名字里带“回归”,但是它实际上是一种分类方法,主要用于两分类问题(即输出只有两种,分别代表两个类别)。回归模型中,y是一个定性变量,比如y=0或1,logistic方法主要应用于研究某些事件发生的概率。原创 2023-02-20 14:24:45 · 4993 阅读 · 0 评论 -
【机器学习】推导逻辑回归反向传播
根据上图的正向传播流程,可以把前向传播的计算公式列出来,为了简便运算,公式中只涉及了w1、w2、b三个变量。其中y为已知的真实值,a为预测值,如果预测值越接近真实值,那么对应损失的函数将越接近 0。逻辑回归的过程就是不断学习、不断调整w1、w2、b三个变量,使得损失函数的值尽可能的接近0,使得预测值尽可能接近真实值。现在的计算目标已经变为:不断的调整w1、w2、b三个变量使得损失函数尽可能的小。将2)、3)4)中的计算结果带入到 1)中可以得到损失函数。求偏导计算结果,计算结果如下所示。原创 2023-02-20 14:28:42 · 5367 阅读 · 0 评论 -
【工程实践】matplotlib—plt.savefig存储高清图片
matplotlib—plt.savefig存储高清图片原创 2022-03-30 09:14:11 · 7248 阅读 · 0 评论 -
自然语言处理(NLP)案例--机器学习进行情感分析
目录一、数据清洗1.导入必要的库2.创建停用词表3.对句子进行中文分词4.给出文档路径5.将结果输出保存并且打印处理过程二、转换数据格式1.将处理完毕的数据读取查看2.新建pands对象3. 将txt文件中的评论数据按行写入csv文件4.将读取评分数据5.将评分数据以逗号形式分割6.将评分数据作为label按行写入csv文件7.查看数据,并将数据保存为CSV格式三、机器学习部分1.导入必要的第三方库2.读取数据3.划分数据集...原创 2020-10-05 09:18:58 · 19305 阅读 · 21 评论