深度学习&机器学习
文章平均质量分 95
深度学习、机器学习、NLP等
rotation ㅤ
这个作者很懒,什么都没留下…
展开
-
论文阅读Heterogeneous Graph Attention Network
论文信息题目Heterogeneous Graph Attention Network基于注意力机制的异构图神经网络作者Xiao Wang, Houye Ji,Chuan Shi等论文水平WWW 2019其他论文下载地址:https://arxiv.org/pdf/1903.07293.pdfgithub:https://github.com/Jhy1993/HAN...原创 2020-11-12 16:21:10 · 1675 阅读 · 0 评论 -
论文阅读RoBERTa: A Robustly Optimized BERT Pretraining Approach
论文信息题目RoBERTa: A Robustly Optimized BERT Pretraining Approach一个强力优化的BERT预训练方法作者Yinhan Liu,Myle Ott,Naman Goyal, Jingfei Du等其他论文下载地址:https://arxiv.org/abs/1907.11692?context=cs.CLAbstract这篇论文更像是一篇丰富的实验报告,作者发现BERT严重训练不足,若加大训练后,BERT性能会有很大的提升。因此,作者从原创 2020-11-02 16:11:40 · 3142 阅读 · 0 评论 -
论文阅读Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
论文信息题目Sentence Embeddings using Siamese BERT-Networks使用孪生BERT网络结构的句子嵌入作者Nils Reimers, Iryna Gurevych论文水平EMNLP 2019其它论文下载地址:https://arxiv.org/abs/1908.10084该论文的相关代码已开源,github链接:sentence-transformers,sentenc-tansformers文档:官方文档sentenc-tansformers非常原创 2020-10-21 15:54:10 · 4588 阅读 · 7 评论 -
论文阅读-Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation
论文信息题目Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation通过知识蒸馏使单语种句子嵌入多语种化作者Nils Reimers, Iryna Gurevych论文水平已被EMNLP 2020 接收其它论文下载地址:https://arxiv.org/abs/2004.09813该论文的相关代码已开源,github链接:sentence-transformers,sentenc-t原创 2020-10-10 21:16:07 · 1152 阅读 · 1 评论 -
最大似然估计与最大后验估计总结
TLDR (or the take away)频率学派 - Frequentist - Maximum Likelihood Estimation (MLE,最大似然估计)贝叶斯学派 - Bayesian - Maximum A Posteriori (MAP,最大后验估计)两大学派的争论抽象一点来讲,频率学派和贝叶斯学派对世界的认知有本质不同:频率学派认为世界是确定的,有一个本体,这个本体的真值是不变的,我们的目标就是要找到这个真值或真值所在的范围;而贝叶斯学派认为世界是不确定的,人们对世界先原创 2020-05-30 12:03:54 · 803 阅读 · 0 评论 -
机器学习-朴素贝叶斯
朴素贝叶斯介绍朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。之所以叫朴素,是因为朴素贝叶斯法对条件概率分布作了条件独立性的假设。朴素贝叶斯法是典型的生成学习方法。生成方法由训练数据学习联合概率分布P(X,Y),然后求得后验概率分布P(X|Y)。具体来说,利用训练数据学习P(X|Y)和P(Y)的估计,得到联合概率分布:P(X,Y)=P(X)P(X|Y)概率估计方法可以是极大极...原创 2019-09-25 10:07:14 · 513 阅读 · 0 评论 -
统计学习方法——K近邻模型
0. 写在前面在这一讲的讨论班中,我们将要讨论一下K近邻模型。可能有人会说,K近邻模型有什么好写的,那分明就是一个最简单的机器学习模型,哦,不,连机器学习也算不上的算法吧。但是这里,我想提醒的是,我们要讨论的,不仅仅是简单的K近邻模型,而是和它相关的一些有困惑的话题。1. K近邻定义k近邻算法,也成为KNN算法,是一种基本分类与回归算法。它在基本实现上,使用的是多数表决的惰性学习过程。也就是...转载 2019-09-22 18:20:02 · 499 阅读 · 0 评论 -
机器学习-感知机
感知机是1957年,由Rosenblatt提出,是神经网络和支持向量机的基础。感知机是二分类的线性分类模型,其输入为实例的特征向量,输出为实例的类别,取+1和-1二值。感知机对应于输入空间中将实例划分为正负两类的分离超平面,属于判别类型。假设训练数据集是线性可分的,感知机学习的目标是求得一个能够将训练数据集正实例点和负实例点完全正确分开的分离超平面。如果是非线性可分的数据,则最后无法获得超平面。...原创 2019-09-18 20:51:27 · 487 阅读 · 1 评论 -
机器学习-逻辑回归总结
分类问题与线性回归不同,Logistic回归虽然带有"回归"二字,但是并不是回归问题,属于分类问题。简单介绍一下,什么是分类问题。在监督学习中,当输出变量Y取有限个离散值时,预测问题便成为分类问题。这时,输入变量X可以是离散的,也可以是连续的。监督学习从数据中学习一个分类模型或分类决策函数,称为分类器。分类器对新的输入进行输出的预测,称为分类。可能的输出称为类。分类的类别为两个时,称为二分类...原创 2019-01-22 17:40:45 · 858 阅读 · 0 评论 -
机器学习-线性回归总结
最近学习了线性回归的模型,也是机器学习中最基础的一种模型。在此,总结一下线性回归的模型介绍、梯度下降以及正规方程。回归问题线性回归,顾名思义,属于回归问题。既然是回归问题,那必然属于监督学习。在这里简单再介绍一下什么是回归问题,回归用于预测输入变量和输出变量之间的关系,特别是当输入变量的值发生变化时,输出变量的值随之发生的变化。回归模型正是表示从输入变量到输出变量之间映射的函数,回归问题的...原创 2019-01-19 20:38:20 · 29504 阅读 · 9 评论 -
博客中插入数学公式(LaTeX的使用)
写机器学习相关的博客时,插入一些复杂的数学公式是不可避免的事,总是截图并不是一个完美的解决方法,在此总结一下如何使用LaTeX编辑数学公式,包括常用的符号,以及机器学习经常用到的公式。什么是LaTeXLaTeX(LATEX,音译“拉泰赫”)是一种基于ΤΕΧ的排版系统,由美国计算机学家莱斯利·兰伯特(Leslie Lamport)在20世纪80年代初期开发,利用这种格式,即使使用者没有排版和程...原创 2019-01-18 22:26:24 · 5503 阅读 · 5 评论 -
数值分析-范数的基础知识总结
什么是范数?范数,是具有“长度”概念的函数。在线性代数、泛函分析及相关的数学领域,范数是一个函数,是矢量空间内的所有矢量赋予非零的正长度或大小。在数学上,范数包括向量范数和矩阵范数。向量范数表征向量空间中向量的大小,矩阵范数表征矩阵引起变化的大小。 一种非严密的解释就是,对应向量范数,向量空间中的向量都是有大小的,这个大小如何度量,就是用范数来度量的,不同的范数都可以来度量这个大小,就好比米...原创 2018-12-30 19:09:40 · 14352 阅读 · 0 评论 -
统计学习方法-统计学习方法概论
这一系列的博客是对李航老师的《统计学习方法》的总结,算是个人的学习笔记吧,因为刚刚接触机器学习,对一些知识的理解可能会不到位,若有不严谨的地方,欢迎大家纠正,一起交流。文章目录什么是统计学习监督学习基本概念统计学习的三要素模型策略算法模型评估与模型选择训练误差与测试误差过拟合与模型选择正则化与交叉验证正则化交叉验证泛化能力泛化误差泛化误差上界生成模型与判别模型分类问题标注问题回归问题什么是...原创 2019-01-03 18:02:14 · 1167 阅读 · 0 评论