机器学习
文章平均质量分 94
2020李宏毅老师课程笔记
-Emmie
人生放手去做
展开
-
2022-4-18至2022-4-24周报
深度学习论文阅读+复现,以及优化器原理的一点笔记原创 2022-04-24 22:20:34 · 1822 阅读 · 1 评论 -
2022-3-21至2022-3-27周报
深度学习论文导读,以及知识笔记原创 2022-03-27 17:57:38 · 4448 阅读 · 0 评论 -
李宏毅机器学习课程梳理【十六】:Network Compression(压缩深度神经网络)
Network Compression在一些移动设备上,如智能手机、智能手表、机器人、无人机飞行器等设备,没有足够的存储空间去使用训练好的模型,因为深度神经网络可能过于庞大。Network Pruning现在训练出来的模型是参数冗余的...原创 2021-09-05 23:23:27 · 458 阅读 · 0 评论 -
李宏毅机器学习课程梳理【十五】:Attack Machine Learning Models
AttackLoss Function for Attack依旧使用Loss function:Ltrain(θ)=C(y0,ytrue)L_{train}(\theta)=C(y^0,y^{true})Ltrain(θ)=C(y0,ytrue)训练网络。训练时输入固定不变,不断调整参数,直至训练出一个准确率高的模型。Non-targeted Attack: 此种攻击寻找一个输入图片x′x'x′,得到上述训练好的神经网络的输出y′y'y′,使y′y'y′与ytruey^{true}ytrue的交叉原创 2021-08-29 23:32:58 · 402 阅读 · 0 评论 -
李宏毅机器学习课程梳理【十四】:想到新优化算法的思路
如何想到Adam原创 2021-08-26 23:16:44 · 346 阅读 · 0 评论 -
李宏毅机器学习课程梳理【十三】:Explainable Machine Learning
Explainable ML分为两大类,一类是Local Explanation,另一类是Global Explanation。以猫图像识别为例,Local Explanation解释为什么它认为这张图是一只猫,Global Explanation解释它认为猫是什么样子的。Local Explanation基本思想:将输入Object x分解成若干Components:{x1,⋅⋅⋅,xn,⋅⋅⋅,xN}\{x_1,\cdot\cdot\cdot,x_n,\cdot\cdot\cdot,x_N\}{x1原创 2021-08-22 19:55:17 · 641 阅读 · 0 评论 -
李宏毅机器学习课程梳理【十二】:Semi-supervised & Unsupervised Learning
监督学习的训练集数据是{(xr,y^r)}r=1R\{(x^r,\hat y^r)\}^R_{r=1}{(xr,y^r)}r=1R,半监督学习的训练集数据是少量{(xr,y^r)}r=1R\{(x^r,\hat y^r)\}^R_{r=1}{(xr,y^r)}r=1R和大量{xu}u=RR+U\{x^u\}_{u=R}^{R+U}{xu}u=RR+U原创 2021-08-15 22:11:44 · 375 阅读 · 0 评论 -
李宏毅机器学习课程梳理【十一】:Recurrent Neural Network(RNN)
场景举例—Slot Filling技术与智能订票系统。系统内设有许多slot,如出发地、目的地和到达时间等等。系统分析客户的话语,把词汇用向量表示,训练模型来填写slot。此情景中,同一个城市前不同意义的动词,会使这个城市名词对应不同的slot。此类情景注重输入序列的元素顺序。RNN架构RNN擅长处理考虑输入序列的元素顺序的问题。RNN比DNN多了memory的设计,它将每一个hidden layer的运算结果储存并不断更新到memory中,但只能记住前一个hidden layer的运算结果。由于mem原创 2021-08-08 23:04:44 · 616 阅读 · 0 评论 -
李宏毅机器学习课程梳理【十】:GNN&Spectral-based GNN
Fourier Transform首先了解一下Almost Fourier Transform。如何让机器挑出一个信号的频率?将以时间为横轴、强度为纵轴的波形信号缠绕在一个单位圆上,关注两个变量:一个是信号的频率,每秒上下震荡N次;另一个是图像缠绕中心圆的频率,每秒转n圈。增大缠绕频率n的大小,使信号缠绕得越来越快,也就是每秒转圈数n越来越大,做一个二维平面上的缠绕图像,记录图像质心的位置变化。先暂时只记录质心在x轴的位置变化,绘制图像,发现n逐渐变大,质心几乎只在原点附近移动;当在n=N附近时,质心会大原创 2021-08-01 22:43:16 · 1137 阅读 · 0 评论 -
李宏毅机器学习课程梳理【九】:GNN&Spatial-based GNN
GNN原创 2021-07-25 22:33:00 · 814 阅读 · 0 评论 -
李宏毅机器学习课程梳理【八】:Convolutional Neural Network(CNN)
1 CNN1.1 理解Convolution卷积层的工作原理实质上与Fully Connected Network类似,将Feature Map中的每一个像素当作一个neuron,Filter每过滤一个位置,都看作一次neuron运算,示意图如图1所示。卷积层的设计可以从两个方面减少参数的数量:只使用Fully Connected Network中的一部分weight每个neuron还共用这些weight图中用9种不同颜色的连线代表不同的weight,可以看出每个神经元shared wei原创 2021-07-19 14:09:25 · 379 阅读 · 0 评论 -
李宏毅机器学习课程梳理【一】:Regression及其案例研究
1 对Regression的理解Regression指找一个function,此function的输入为所需要的特征值,输出均为数值(scalar)2 预测宝可梦进化后的战斗力案例任务:找一个function,其input为某一只宝可梦的所有相关信息值相关符号:x2.1 Step1: Model...原创 2021-05-03 22:15:38 · 495 阅读 · 0 评论 -
李宏毅机器学习课程梳理【二】:关于Gradient descent的理论以及优化技术
1 模型的结果与正确值之间误差的来源bias(截距)variance(方差)上图中的每一个蓝点,都是进行一次完整的Regression后得到的f∗f^*f∗,因为每次Regression时都会收集不同的Training Data,所以每次的f∗f^*f∗一定不同。1.1 Bias的规律一、定义:E[f∗]=fˉE[f^*] = \bar{f}E[f∗]=fˉ,求出每次的f∗f^*f∗的期望,记作 fˉ\bar{f}fˉ,Bias描述fˉ\bar{f}fˉ与f^\hat{f}f^的接近原创 2021-05-09 21:33:38 · 399 阅读 · 0 评论 -
李宏毅机器学习课程梳理【三】:分类问题
1 分类步骤第一步,将要分类的东西数字化,使其可以做函式的输入。第二步,找到理想的分类函数,下面以一个二值分类为例:上图中利用δ\deltaδ函数设计Loss function,可以训练,但是因为离散的原因,L(f)不可微分,下面介绍一个新解决办法...原创 2021-05-16 20:54:29 · 467 阅读 · 0 评论 -
李宏毅机器学习课程梳理【四】:Logistics Regression
Step1:Function Set上篇采用高斯分布,计算很多个参数才做出分类。本篇分析上篇中Generative model的表达式,数学推导出P(C1∣x)=σ(w⋅x+b)P(C_1|x)=\sigma(w \cdot x + b)P(C1∣x)=σ(w⋅x+b),那么最终目标就变成计算出vector w和constant b模型采用fw,b(x)=Pw,b(C1∣x)f_{w,b}(x)=P_{w,b}(C_1|x )fw,b(x)=Pw,b(C1∣x),其值介于0到1之间,记作σ(z)原创 2021-05-23 23:48:15 · 151 阅读 · 0 评论 -
李宏毅机器学习课程梳理【五】:逻辑回归与神经网络
文章目录摘要1 Discriminative与Generative比较1.1 利用Naive Bayes Classifier分类举例1.2 Discriminative与Generative的特点2 Multi-class Classification Opreation3 Neural Network3.1 由Logistic Regression想到Neural Network4 展望摘要针对预测未知宝可梦类别,Discriminative比Generative准确率高问题,本文研究了Discri原创 2021-06-06 21:53:34 · 221 阅读 · 0 评论 -
李宏毅机器学习课程梳理【六】:Backpropagation
文章目录摘要1 深度学习理解2 Backpropagation2.1 定义2.2 计算推导2.3 利用Backpropagation计算3 Tips for Training DNN3.1 ReLU3.2 Maxout4 总结与展望摘要利用Logistic Regression做Feature Transformation,并适当叠加层数来构建神经网络。本文介绍Backpropagation这一常见的方法,构建一个反向神经网络,可以高效计算。文章还介绍了两种较优于sigmoid函数的激活函数及其工作原原创 2021-07-04 12:12:44 · 273 阅读 · 0 评论 -
李宏毅机器学习课程梳理【七】:深度神经网络优化方法与卷积神经网络
文章目录摘要摘要原创 2021-07-12 12:07:40 · 346 阅读 · 0 评论