![](https://img-blog.csdnimg.cn/20200929212920367.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
李宏毅机器学习
文章平均质量分 94
非常详尽的记录了李宏毅的机器学习课程,除了PPT以外,精心添加了很多说明文字,非常适合课前预习和课后复习。
herosunly
985院校硕士毕业,现担任算法研究员一职,热衷于大模型算法的研究与应用。曾担任百度千帆大模型比赛、BPAA算法大赛评委,编写微软OpenAI考试认证指导手册。曾获得多项AI顶级比赛的Top名次,其中包括阿里云天池安全恶意程序检测第一名,科大讯飞恶意软件分类挑战赛第三名,CCF恶意软件家族分类第四名,科大讯飞阿尔茨海默综合症预测挑战赛第四名,科大讯飞事件抽取挑战赛第七名,Datacon大数据安全分析比赛第五名。授权多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。
展开
-
An overview of gradient descent optimization algorithms 论文阅读
0. 写在前面的话 学习论文,首先要构建一个知识架构,即大体分为哪几部分。然后再关注Abstraction、Introduction、Conclusion,接着看非数学的部分,最后再去看相关的数学公式。简单总结一下,先构建知识网络,再构建每一部分的具体细节。 本篇文章的主体架构为: 1. Abstraction 2. Introduction 3. Variants 4. ...原创 2019-07-26 10:08:02 · 8650 阅读 · 8 评论 -
李宏毅 BERT 学习笔记
语言模型:https://lilianweng.github.io/lil-log/2019/01/31/generalized-language-models.htmlContextual Word Representations: Putting Words into Computers: https://arxiv.org/abs/1902.06006BERT分析:https://zh...原创 2019-07-05 11:01:08 · 6366 阅读 · 3 评论 -
李宏毅 Transformer 学习笔记
1. self-attention1.1 为什么要引入self-attention 基于RNN(LSTM)的序列模型来说,计算每个cell的输出无法进行并行化。而且单向的RNN无法很好的利用全局的信息。 self-attention的出现恰好解决了以上两大问题。其中x->a这一步貌似在论文中并没有体现。在求每一个output的时候,对应的q会对所有的k求内积(除以d\sqrt...原创 2019-07-04 16:39:24 · 13533 阅读 · 8 评论 -
自然语言处理之循环神经网络
1. RNN基础 循环神经网络RNN,是一类用于处理序列数据的神经网络。就像卷积网络是专门用于处理网格化数据的神经网络,循环神经网络是专门用于处理序列x(1),…,xTx^{(1)},\dots,x^{T}x(1),…,xT的神经网络。正如卷积网络可以很容易地扩展到具有很大宽度的高度的图像,以及处理大小可变的图像,循环网络可以扩展到更长的序列,大多数循环网络也能处理可变长的序列。1.1 RN...原创 2019-04-26 15:23:06 · 5022 阅读 · 4 评论 -
李宏毅机器学习 深度学习入门
1. Keras Kearas 是深度学习小白入门的最佳工具之一。Keras是一个高层神经网络API的集合,Keras由纯Python编写而成并基Tensorflow、Theano以及CNTK后端。 相比tensorflow,它可以在半小时能掌握使用,而tensorflow则需要耗费更多的时间和精力才能使用。但它无法构造一些自己设计的网络。 使用Keras学习深度学习,本质上就是搭积...原创 2019-06-04 17:59:00 · 15666 阅读 · 3 评论 -
李宏毅机器学习 Brief Introduction of Deep Learning
横轴是时间,从2012年的第一个季度到2016年的第一个季度,纵轴是谷歌内部项目使用深度学习的数量的变化图。回归深度学习的历史: 一个隐藏层可以代表任意的函数,为什么需要这么深的网络呢? RBM intialization并不是真正的突破,起到的效果很有限,所以现在文献中很少提了。深度学习的步骤如下所示:全连接层:计算结果如下所示:给定神经网络的结构,本质上相当于定...原创 2019-05-31 17:21:38 · 1311 阅读 · 0 评论 -
李宏毅机器学习 Logistic Regression
逻辑回归的流程1. 定义函数集合函数集合示意图如下所示:1.1 逻辑回归和线性回归的区别逻辑回归相比线性回归而言,多了一个sigmoid函数,导致值域也会发生变化。2. 定义损失函数 给定数据以及www、bbb和f(x)=P(C1∣x)f(x)=P(C_1|x)f(x)=P(C1∣x),生成数据的概率是:L(w,b)=f(x1)f(x2)(1−f(x3))…f(xN)L(...原创 2019-05-31 11:30:22 · 10796 阅读 · 0 评论 -
李宏毅机器学习 Classification
Classification:Probabilistic Generative Model,本节课讲的是基于概率生成模型的分类。 分类任务本质上是找到一个函数,函数的输入是输入数据,输出是类别。应用范围比较广,例如信用卡评分、医学诊断、手写数字识别、人脸识别等等。 下图是对不同的宠物小精灵划分类别,如火系、冰系、草系等等。下图是给定了一些宠物小精灵的特征,然后去预测它的类别。...原创 2019-05-21 10:22:20 · 6198 阅读 · 0 评论 -
李宏毅机器学习 Gradient Descent
在给定的函数空间中求解最佳函数,本质上是一个最优化问题,即求损失函数最小值对应的参数,然后将参数对应得到最佳函数。一种方法是解析解,但在机器学习中更加常用的是利用梯度下降求最小值。 如果大家想更加深入的学习梯度下降的相关内容,建议大家学习paper,标题为An overview of gradient descent optimization algorithms,下载地址为 https:...原创 2019-05-20 10:53:40 · 5420 阅读 · 4 评论 -
李宏毅机器学习 Bias and Variance
Bias and VarianceWhere does the error come from?(误差是从哪里来的?)Ans:Bias and Variance(偏差和方差)。引入Bias and Variance是否可以解决下图中的疑问,即复杂的模型能够较好的拟合训练数据(训练数据误差小),但是却无法很好的拟合测试数据(测试数据误差大)。y^=f^(x)\hat{y} = \hat{f...原创 2019-03-25 10:57:08 · 11984 阅读 · 1 评论 -
李宏毅机器学习 Regression
RegressionRegression(回归)的思想可以解决生活中的很多难题。比如根据过去的股票价格和时下的新闻资讯(NLP),从而预测未来的股票价格。比如自动驾驶,根据路况、车况、天气等因素,预测车辆行进的方向(方向盘的方向)和速度(油门和刹车)。比如进行商品推荐,根据用户过去的购买、收藏、浏览、评论、记录,从而判断新商品用户购买的概率。一句题外话,在实际工业界中,量化交易(股价预测)、自动...原创 2019-03-04 16:04:23 · 13032 阅读 · 1 评论 -
李宏毅机器学习 Introduction
人工智能人工智能是我们想要达到的目标,即让机器和人一样智能。而机器学习是方法,让机器从数据中学习,从而得到智能的方法。智能是什么呢?对于人类智能而言,根据霍华德·加德纳的多元智能理论,人类的智能分为以下七种智能:语言智能:能说会写。逻辑智能:数学和逻辑能力强。空间智能: 能够对空间进行建模,并且利用该模型进行控制。音乐智能:音感好,音调佳。身体运动智能: 使用身体来解决问题或...原创 2019-02-19 14:05:07 · 11087 阅读 · 4 评论 -
李宏毅机器学习 笔记汇总
为了方便自己和其他人查阅笔记,特意将自己的学习笔记链接汇总整理到该博文中(感谢彦强的提醒)。章节简介1 - Introduction机器学习基本概念2 - Regression回归3 - Bias and Variance偏差和方差4 - Gradient descent梯度下降5 - Classification分类6 - Log...原创 2019-11-08 14:55:12 · 5880 阅读 · 5 评论