- 博客(19)
- 收藏
- 关注
RSS订阅
1原创 李宏毅机器学习课程梳理【十六】：Network Compression(压缩深度神经网络)
Network Compression在一些移动设备上，如智能手机、智能手表、机器人、无人机飞行器等设备，没有足够的存储空间去使用训练好的模型，因为深度神经网络可能过于庞大。Network Pruning现在训练出来的模型是参数冗余的...
2021-09-05 23:23:27
289
原创 李宏毅机器学习课程梳理【十五】：Attack Machine Learning Models
AttackLoss Function for Attack依旧使用Loss function：Ltrain(θ)=C(y0,ytrue)L_{train}(\theta)=C(y^0,y^{true})Ltrain(θ)=C(y0,ytrue)训练网络。训练时输入固定不变，不断调整参数，直至训练出一个准确率高的模型。Non-targeted Attack: 此种攻击寻找一个输入图片x′x'x′，得到上述训练好的神经网络的输出y′y'y′，使y′y'y′与ytruey^{true}ytrue的交叉
2021-08-29 23:32:58
216
原创 李宏毅机器学习课程梳理【十三】：Explainable Machine Learning
Explainable ML分为两大类，一类是Local Explanation，另一类是Global Explanation。以猫图像识别为例，Local Explanation解释为什么它认为这张图是一只猫，Global Explanation解释它认为猫是什么样子的。Local Explanation基本思想：将输入Object x分解成若干Components：{x1,⋅⋅⋅,xn,⋅⋅⋅,xN}\{x_1,\cdot\cdot\cdot,x_n,\cdot\cdot\cdot,x_N\}{x1
2021-08-22 19:55:17
363
原创 李宏毅机器学习课程梳理【十二】：Semi-supervised & Unsupervised Learning
监督学习的训练集数据是{(xr,y^r)}r=1R\{(x^r,\hat y^r)\}^R_{r=1}{(xr,y^r)}r=1R，半监督学习的训练集数据是少量{(xr,y^r)}r=1R\{(x^r,\hat y^r)\}^R_{r=1}{(xr,y^r)}r=1R和大量{xu}u=RR+U\{x^u\}_{u=R}^{R+U}{xu}u=RR+U
2021-08-15 22:11:44
349
原创 李宏毅机器学习课程梳理【十一】：Recurrent Neural Network(RNN)
场景举例—Slot Filling技术与智能订票系统。系统内设有许多slot，如出发地、目的地和到达时间等等。系统分析客户的话语，把词汇用向量表示，训练模型来填写slot。此情景中，同一个城市前不同意义的动词，会使这个城市名词对应不同的slot。此类情景注重输入序列的元素顺序。RNN架构RNN擅长处理考虑输入序列的元素顺序的问题。RNN比DNN多了memory的设计，它将每一个hidden layer的运算结果储存并不断更新到memory中，但只能记住前一个hidden layer的运算结果。由于mem
2021-08-08 23:04:44
474
原创 李宏毅机器学习课程梳理【十】：GNN&Spectral-based GNN
Fourier Transform首先了解一下Almost Fourier Transform。如何让机器挑出一个信号的频率？将以时间为横轴、强度为纵轴的波形信号缠绕在一个单位圆上，关注两个变量：一个是信号的频率，每秒上下震荡N次；另一个是图像缠绕中心圆的频率，每秒转n圈。增大缠绕频率n的大小，使信号缠绕得越来越快，也就是每秒转圈数n越来越大，做一个二维平面上的缠绕图像，记录图像质心的位置变化。先暂时只记录质心在x轴的位置变化，绘制图像，发现n逐渐变大，质心几乎只在原点附近移动；当在n=N附近时，质心会大
2021-08-01 22:43:16
876
原创 李宏毅机器学习课程梳理【八】：Convolutional Neural Network(CNN)
1 CNN1.1 理解Convolution卷积层的工作原理实质上与Fully Connected Network类似，将Feature Map中的每一个像素当作一个neuron，Filter每过滤一个位置，都看作一次neuron运算，示意图如图1所示。卷积层的设计可以从两个方面减少参数的数量：只使用Fully Connected Network中的一部分weight每个neuron还共用这些weight图中用9种不同颜色的连线代表不同的weight，可以看出每个神经元shared wei
2021-07-19 14:09:25
259
原创 李宏毅机器学习课程梳理【六】：Backpropagation
文章目录摘要1 深度学习理解2 Backpropagation2.1 定义2.2 计算推导2.3 利用Backpropagation计算3 Tips for Training DNN3.1 ReLU3.2 Maxout4 总结与展望摘要利用Logistic Regression做Feature Transformation，并适当叠加层数来构建神经网络。本文介绍Backpropagation这一常见的方法，构建一个反向神经网络，可以高效计算。文章还介绍了两种较优于sigmoid函数的激活函数及其工作原
2021-07-04 12:12:44
141
原创 李宏毅机器学习课程梳理【五】：逻辑回归与神经网络
文章目录摘要1 Discriminative与Generative比较1.1 利用Naive Bayes Classifier分类举例1.2 Discriminative与Generative的特点2 Multi-class Classification Opreation3 Neural Network3.1 由Logistic Regression想到Neural Network4 展望摘要针对预测未知宝可梦类别，Discriminative比Generative准确率高问题，本文研究了Discri
2021-06-06 21:53:34
201
原创 李宏毅机器学习课程梳理【四】：Logistics Regression
Step1：Function Set上篇采用高斯分布，计算很多个参数才做出分类。本篇分析上篇中Generative model的表达式，数学推导出P(C1∣x)=σ(w⋅x+b)P(C_1|x)=\sigma(w \cdot x + b)P(C1∣x)=σ(w⋅x+b)，那么最终目标就变成计算出vector w和constant b模型采用fw,b(x)=Pw,b(C1∣x)f_{w,b}(x)=P_{w,b}(C_1|x )fw,b(x)=Pw,b(C1∣x)，其值介于0到1之间，记作σ(z)
2021-05-23 23:48:15
123
原创 李宏毅机器学习课程梳理【三】：分类问题
1 分类步骤第一步，将要分类的东西数字化，使其可以做函式的输入。第二步，找到理想的分类函数，下面以一个二值分类为例：上图中利用δ\deltaδ函数设计Loss function，可以训练，但是因为离散的原因，L(f)不可微分，下面介绍一个新解决办法...
2021-05-16 20:54:29
316
原创 李宏毅机器学习课程梳理【二】：关于Gradient descent的理论以及优化技术
1 模型的结果与正确值之间误差的来源bias(截距)variance(方差)上图中的每一个蓝点，都是进行一次完整的Regression后得到的f∗f^*f∗，因为每次Regression时都会收集不同的Training Data，所以每次的f∗f^*f∗一定不同。1.1 Bias的规律一、定义：E[f∗]=fˉE[f^*] = \bar{f}E[f∗]=fˉ，求出每次的f∗f^*f∗的期望，记作 fˉ\bar{f}fˉ，Bias描述fˉ\bar{f}fˉ与f^\hat{f}f^的接近
2021-05-09 21:33:38
252
原创 李宏毅机器学习课程梳理【一】：Regression及其案例研究
1 对Regression的理解Regression指找一个function，此function的输入为所需要的特征值，输出均为数值（scalar）2 预测宝可梦进化后的战斗力案例任务：找一个function，其input为某一只宝可梦的所有相关信息值相关符号：x2.1 Step1: Model...
2021-05-03 22:15:38
332
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人