机器学习
文章平均质量分 91
鹿海园
为自己而奋斗
展开
-
Attention综述
近十年以来,直到神经机器翻译系统的诞生之前,统计机器翻译一直在机器翻译领域占据着主要地位。神经机器翻译模型作为一种新兴的机器翻译方法,其致力于构建并训练出一个可以输入文本并返回翻译文本的大型神经网络。Kalchbrenner and Blunsom (2013), Sutskever et. al (2014) 和Cho. et. al (2014b)等人,作为先驱首先提出了神经机器翻译框架,之后由Sutskever 等人提出了更广为人知的序列到序列模型。我们这篇文章将基于序列到序列的框架,以及...转载 2022-04-17 15:36:23 · 594 阅读 · 0 评论 -
贝叶斯公式的直观理解(先验概率/后验概率)
前言 以前在许学习贝叶斯方法的时候一直不得要领,什么先验概率,什么后验概率,完全是跟想象脱节的东西,今天在听喜马拉雅的音频的时候突然领悟到,贝叶斯老人家当时想到这么一种理论前提可能也是基于一种人的直觉.先验概率:是指根据以往经验和分析得到的概率.[1] 意思是说我们人有一个常识,比如骰子,我们都知道概率是1/6,而且无数次重复实验也表明是这个数,这是一种我们人的常识,也是我们在不知道任何情况下必然会说出的一个值.而所谓的先验概率是我们人在未知条件下对事件发生可能性猜测的数学表示!*转载 2021-12-01 22:03:57 · 554 阅读 · 1 评论 -
【机器学习课堂】树模型之XGBoost、LightGBM、CatBoost对比
文 | Jin.Zhang来自数据算法(gh_e67de4d10fad)0. 前言虽然近年深度学习的使用越来越广泛,但是在小数据集上树模型表现往往会更加优秀,也是中小规模数据集上首选使用的模型。理论上使用树模型可以对特征空间进行无限划分,同时可以加入反映树复杂度的正则项、剪枝策略等防止过拟合,因此通过参数调整权衡方差与偏差,可以得到较优的精度。单一的树模型不太常用,提度提升树GBDT是一种精度更高的基于树的组合模型。XGBoost在GBDT的基础上,对目标函数增加了二...转载 2021-12-01 21:44:55 · 3128 阅读 · 0 评论 -
KKT条件介绍
最近学习的时候用到了最优化理论,但是我没有多少这方面的理论基础。于是翻了很多大神的博客把容易理解的内容记载到这篇博客中。因此这是篇汇总博客,不算是全部原创,但是基础理论,应该也都差不多吧。因才疏学浅,有纰漏的地方恳请指出。 KKT条件是解决最优化问题的时用到的一种方法。我们这里提到的最优化问题通常是指对于给定的某一函数,求其在指定作用域上的全局最小值。提到KKT条件一般会附带的提一下拉格朗日乘子。对学过高等数学的人来说比较拉格朗日乘子应该会有些印象。二者均是求解最优化问题的方法,不同之处在于应...翻译 2021-10-31 16:29:50 · 6443 阅读 · 0 评论