机器学习
文章平均质量分 84
jiangchao98
这个作者很懒,什么都没留下…
展开
-
机器学习--决策树、随机森林、GBDT、XGBoost
参考:机器学习的熵:机器学习各种熵:从入门到全面掌握 - 知乎 (zhihu.com)相对熵(KL散度):相对熵(KL散度)信息熵、条件熵、交叉熵、相对熵互信息什么是「互信息」 - 知乎 (zhihu.com)信息增益信息增益表示得知特征的信息而使得类的信息不确定性减少的程度。信息增益是决策树ID3算法在进行特征切割时使用的划分准则,其物理意义和互信息完全相同,并且公式也是完全相同。其公式如下:其中D表示数据集,A表示特征,信息增益表示得到A的信息而使得类X的不确定度原创 2022-04-23 14:34:31 · 2252 阅读 · 0 评论 -
机器学习--降维
降维(Dimensionality Reduction)视频参考:【机器学习】【白板推导系列】【合集 1~33】_哔哩哔哩_bilibili笔记参考:降维 · 语雀 (yuque.com)过拟合增加数据 正则化 降维 直接降维(特征选择) 线性降维(PCA、MDS) 非线性降维(流形学习(Isomap、LLE)) 维度灾难(数据稀疏性):几何角度对于高维空间而言, 维度越高,球形体的体积越小样本均值 & 样本方差矩阵表示存在N个数据,其中每个数.原创 2022-04-21 17:16:25 · 2505 阅读 · 0 评论 -
NLP之文本分类任务
文本分类任务参考:NLP-Interview-Notes/NLPinterview/textclassifier/TextClassification at main · km1994/NLP-Interview-Notes (github.com)数据预处理1.文本分类任务数据预处理方法分词:将句子分割成独立的语义单元组成的序列过程 去停用词:识别并删除对分类意义不大且出现频率较高的词 词性标注:在分词后判断词性来添加特征2.中文文本分词的方法基于字符串匹配的分词方法 基于统计语原创 2022-03-31 15:08:03 · 3221 阅读 · 0 评论 -
机器学习(白板推导学习)
感知机参考:什么是感知机?机器学习感知机证明感知机原始形式的收敛性(略)感知机的原始形式以及对偶形式的对比:如何理解感知机学习算法的对偶形式?SVM凸函数凹凸函数本质是描述函数斜率增加减少的。语义上的凸为正,代表斜率在增加(单调不减)。凹为负,代表斜率在减少(单调不增)。凸函数的二阶导数为正。凸优化(待学习)凸优化笔记10:凸优化问题KTTKarush-Kuhn-Tucker (KKT)条件 - 知乎 (zhihu.com).......原创 2022-03-06 22:55:15 · 316 阅读 · 0 评论 -
深度神经网络损失函数和反向传导
之前对于深度神经网络的学习,主要集中于如何更改模型结构,以及了解模型结构不同部分所起到的作用和原理。虽然对于注意力机制、GAT、LSTM、Transformer等不同结构的实现原理有了很好的了解,但是对于神经网络的损失函数和反向传导过程的理解程度较为差劲,如何设计损失函数可以更好地适应任务以及Max Pooling如何反向传导等问题一时语塞不知如何作答。回想起正好一年前看的吴恩达老师的视频,虽然对理论基础有了一定的了解,但是了解程度较为浅薄,并且由于时间紧迫并未将老师全部的视频看完吃透,现如今...原创 2021-12-22 22:30:32 · 4602 阅读 · 0 评论 -
NLP学习路线规划
必备编程技能:C语言、(C++ or JAVA or go)、python必备数学技能:高等数学、线性代数、概率论参考链接:NLP综述(思维导图)自然语言处理怎么最快入门?2021年NLP入门书籍推荐NLP任务分类NLP任务分类分为自然语言理解(NLU)、自然语言生成(NLG)文本分类 文本摘要 信息抽取 文本生成 机器翻译和多语言 情感分析和文体分析 预训练语言模型及应用 问答系统及检索 对话系统及阅读理解 语法、标记和解析 语音和多模态 ...原创 2021-11-23 15:49:49 · 815 阅读 · 0 评论 -
匹配网络(Learning to Rank、单双塔模型)
参考:Learning to RankLearning to Rank: pointwise、pairwise、listwiseLTR(Learning to rank)是一种监督学习(SupervisedLearning)的排序方法,已经被广泛应用到推荐与搜索等领域。传统的排序方法通过构造相关度函数,按照相关度进行排序。然而,影响相关度的因素很多,比如tf,idf等。传统的排序方法,很难融合多种因数,比如向量空间模型以tf*idf作为权重构建相关度函数,就很难利用其他信息了,并且如果模型中参数比较原创 2021-10-12 11:20:05 · 3939 阅读 · 0 评论 -
神经网络搭建(一、正则化)
神经网络中的正则化层神经网络中的正则化层在神经网络的搭建中,正则化层非常重要,包括BN、LN、IN和GN等。正则化层一般应用在卷积层或者全连接层之后,在激活函数层之前。正则化层稳定了深层网络的训练。正则化用来解决函数过拟合的问题。为了防止过拟合。我们需要让损失函数和正则化项最小。满足两者最小,可以尝试让损失函数和正则化项的和较小。L1正则化, 所有特征绝对值之和,记为。L2正则化,通常意义上的模,记为。L1正则化具备稀疏性。L2正则化可以很好的解决过拟合问题。拟合过程通常都倾原创 2021-09-24 22:56:21 · 2143 阅读 · 0 评论 -
机器学习中的优化器的方法
深度神经网络中的优化器有各种各样的方法梯度下降梯度下降法(gradient descent)或最速下降法(steepest descent),是求解无约束最优化问题的一种最常用的方法。梯度下降法是一种迭代算法, 每一步会求解目标函数的梯度向量。梯度的本意是一个向量, 表示某一函数在该点处的方向导数沿着该方向取得最大值,即函数在该点处沿着该方向的变化最快, 变化率最大(梯度的模)对于函数来说, 其梯度就是。对于给定点的附近处, 它在方向变化率最大。在点附近处, 其梯度方向就是, 朝着这个方向移原创 2021-09-18 17:35:48 · 302 阅读 · 0 评论 -
机器学习问题中精确率、召回率、准确率
一、精确率、召回率、准确率混淆矩阵 Positive Negative True True Positive(TP) True Negative(TN) False False Positive(FP) False Negative(FN) True Positive(真正, TP):将正类预测为正类数True Negative(真负, TN):将负类预测为负类数False Positive(假正, FP):将负类预测为正类数--误报(Type原创 2021-09-06 22:46:59 · 6242 阅读 · 0 评论