机器学习,算法
文章平均质量分 95
仰望星空的小狗
这个作者很懒,什么都没留下…
展开
-
LET: Linguistic Knowledge Enhanced Graph Transformer for Chinese Short Text Matching学习笔记
文章目录1. 背景与相关技术1.1 解决的问题与方法1.2 HowNet1.3 Word lattice graph1.4 Graph attention networks2. LET2.1 模型整体架构2.2 input module2.2.1 word embedding2.2.2 sense embedding2.3 SaGT2.3.1 sense embedding迭代2.3.2 word embedding迭代2.4 sentence matching2.5 relation classify3.原创 2021-05-03 11:31:12 · 1631 阅读 · 3 评论 -
transformer学习笔记
这里写自定义目录标题1、模型架构1.1 seq2seq结构1.2 注意力机制2、transformer各部分介绍2.1 encoder的输入欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入1、原创 2020-11-14 12:06:07 · 1833 阅读 · 1 评论 -
word2vec学习笔记之CBOW和skip-gram
文章目录1. Continuous Bag-of-Word Model(CBOW)1.1 One-word context(一个词的上下文)1.2 Multi-word context(多个词的上下文)2. Skip-gram model再上一篇学习笔记《word2vec学习笔记之概述》中介绍了word2vec提出的一些背景(当然,除了该篇文章中所说的一些向量化方法之外,在word2vec之后,...原创 2020-01-26 12:45:15 · 754 阅读 · 1 评论 -
决策树学习笔记
本文是学习周志华老师的《机器学习》以及其他相关博客之后进行概括和整理,以便自己将来能够快速回忆其决策树的相关内容。大家若想看更加详细的决策树相关知识,请参看《机器学习》总体概述本文通过脑图对决策树相关知识进行整理,目前整理了ID3,C4.5,CART以及决策树的剪枝处理等知识,而对于其他决策树的连续值和缺失值的处理以及多变量决策树的相关知识,后续再进行添加。ID3决策树是从根节点开始,...原创 2019-11-18 01:29:03 · 375 阅读 · 0 评论 -
机器学习之模型评估指标学习笔记
前段时间工作中发现自己对模型评估指标中的AUC有点忘了,因此打算重新看一下然后写个博客记录一下。混淆矩阵和查全率,查准率首先简单介绍一下混淆矩阵,查全率(也叫做召回率,recall)和查准率(也叫做精确率,precesion)。在进行模型评估的时候,单单使用准确率accuracy(预测正确样本数/总样本数)有时候并不能很好的对模型进行评估。比如,在对日活或月活用户预测其购买商品概率并将比较有...原创 2019-05-03 15:22:00 · 340 阅读 · 0 评论 -
IRT模型学习小结
IRT模型学习小结关于IRT模型与IRT模型相对应的经典测量理论CCT。经典测量理论与项目反应理论在测量领域均占有重要地位。经典测量理论形成较早,但是经典测量理论却有一些难以克服的缺点:能力与观测分数之间的线性关系假设不合理。在经典测量理论中认为被试的能力与测试得到的分数是线性关系的,但是在实际情况中往往不程线性关系。比如我们在进行考试时,想要从50分考到60分很容易,但是想要从90分考...原创 2018-12-09 20:29:46 · 12803 阅读 · 2 评论 -
机器学习之优化算法学习总结
优化算法演化历程机器学习和深度学习中使用到的优化算法的演化历程如下: SGD –> Momentum –> Nesterov –> Adagrad –> Adadelta –> Adam –> Nadam 表1 优化算法演化过程及原创 2018-01-29 20:45:14 · 1510 阅读 · 0 评论 -
机器学习之损失函数学习总结
经验风险最小化与结构风险最小化经验风险最小化经验风险最小化模型如下: min1N∑i=1NL(yi,f(xi))" role="presentation">min1N∑i=1NL(yi,f(xi))min1N∑i=1NL(yi,f(xi))\min\dfrac{1}{N}\sum_{i=1}^{N}L(y_i, f(x_i)) 经验风险最小化的目标是使模型预测出来的结原创 2018-01-31 16:12:38 · 451 阅读 · 0 评论 -
模式识别——聚类分析 学习笔记
聚类分析相关概念聚类分析——对一批没有标出类别的模式样本集,按照样本之间的相似程度分类,相似的归为一类,不相似的归为另一类 聚类中,将样本根据相似程度进行分类,这个相似程度就是用样本特征之间的相似程度。把整个模式样本集的特征向量看成是分布在特征空间中的一些点,点与点之间的距离即可作为模式相似性的测量依据,也就是将特征空间中距离较近的样本归为一类。 其中,特征的选择非常重要。当特征选少了,可能导致原创 2017-10-26 16:59:56 · 1843 阅读 · 0 评论