机器学习算法
Code_Tookie
程序员养成记录
展开
-
Pytorch使用BERT预训练模型微调文本分类,IMDb电影评论数据集
最近终于用Pytorch把BERT的fine tune本文分类跑通了,算是对于pytorch和bert的理解都深了一点。现在把我训练的整个流程记录分享一下。Google Colab因为BERT的模型比较大,参数也非常多。所以自己电脑用CPU是基本跑不出来的。在Google Colab上用免费GPU我感觉非常方便。对于新手而言,其交互式界面也很友好。还有一个好处是Google Colab自带...原创 2020-03-18 15:58:25 · 8126 阅读 · 11 评论 -
决策树(Decision Tree)
决策树最近要学习的东西很多,今天看了决策树和集成学习。感觉内容不是很复杂,其中决策树的内容我在信息论课上也学过。所以来写篇博客记录一下。这篇博客的主要参考资料是周志华老师的西瓜书《机器学习》决策树是什么决策树是一类常见的机器学习方法。顾名思义,决策树是基于树结构来进行决策的,这恰是人类在面临决策问题时一种很自然的处理机制。我们对一个东西的多个属性进行依次判别,最后得到最终决策。一般的,一...原创 2020-03-13 16:26:23 · 432 阅读 · 0 评论 -
主成分分析(PCA,Principle Component Analysis)
PCA 算法公式推导最近一直在B站上看一个UP主的机器学习白板推导,感觉很有益处,因为之前看过的各种博客似乎都一直强调对EM算法的感性认识,缺少了很多的推导过程。我想,要完全理性地了解这个算法,还是要一步一步地通过推导。主要参考资料:白板推导视频台大李宏毅机器学习课程简述PCA是一个无监督的降维算法。它要做的事情其实很简单,就是在空间中找多个正交的维度,使得空间中的数据落在这些维度上后尽...原创 2020-02-27 20:41:45 · 420 阅读 · 0 评论 -
EM(Expectation Maximization) 算法推导(一)
EM算法公式推导最近一直在B站上看一个UP主的机器学习白板推导,感觉很有益处,因为之前看过的各种博客似乎都一直强调对EM算法的感性认识,缺少了很多的推导过程。我想,要完全理性地了解这个算法,还是要一步一步地通过推导。主要参考资料:白板推导视频以下所有推导公式都是latex手打。参数估计与EM算法EM算法解决的其实是一个参数估计的问题。在普通的参数估计中我们要做的其实是θ=arg ma...原创 2020-02-10 15:04:20 · 282 阅读 · 0 评论 -
EM(Expectation Maximization) 算法推导(二)
EM算法公式推导最近一直在B站上看一个UP主的机器学习白板推导,感觉很有益处,因为之前看过的各种博客似乎都一直强调对EM算法的感性认识,缺少了很多的推导过程。我想,要完全理性地了解这个算法,还是要一步一步地通过推导。主要参考资料:白板推导视频公式导出:ELBO+KL divergence在上一讲EM算法公式推导(一)我们说到了EM算法有θ\thetaθ的迭代公式θ(t+1)=arg ma...原创 2020-02-10 16:21:43 · 1335 阅读 · 1 评论 -
梯度下降(Gradient Decent)与随机梯度下降(Stochastic Gradient Decent)
与EM算法类似,梯度下降算法同样是一个优化算法。它所要解决的问题是:求得θ⋆=arg minL(θ)\theta^{\star}=\argmin L(\theta)θ⋆=argminL(θ)其中θ\thetaθ是待更新的参数,注意这可以包括多个参数,也就是说θ\thetaθ是一个向量,L(θ)L(\theta)L(θ)是loss function。整个过程用数学来描述其实很简单在...原创 2020-02-17 14:11:30 · 955 阅读 · 1 评论