机器学习
ml-machine learning
Mr_Kingk
这个作者很懒,什么都没留下…
展开
-
【李宏毅】机器学习 笔记16(Anomaly Detection)
找到一个function取侦测data是否正常:正常(normal):和trainingdata像的data异常(anomaly):和trainingdata不同的data举个例子:用classifier作异常侦测:在output答案的同时,得到做出是这个答案的信心分数(作为判断是或不是的边界)侦测错误分为两类:1、把正常的侦测为异常falsealarm2、把异常的侦测为正常(即:异常未侦测出来) missi...原创 2020-08-23 21:48:29 · 222 阅读 · 0 评论 -
【李宏毅】机器学习 笔记15(Unspervised Learning)
什么是Unpervised Learning?:https://blog.csdn.net/shuiyixin/article/details/80185207一、Dimension Reduction的方法:二、T-SNE:三、deconvolution就是convolution,,因为deconvolution再补零后,做convo...原创 2020-08-20 20:12:04 · 326 阅读 · 0 评论 -
【李宏毅】机器学习 笔记14(Conditional Generation by RNN & Attention)
原创 2020-08-16 19:18:01 · 193 阅读 · 0 评论 -
【李宏毅】机器学习 笔记13(NetWork Compression)
为什么要NetWork Compression?因为一些小的设备上只有有限的存储空间,有限的power,。。。所以要将networkcompression才能放到这些设备上面networkcompression的outline:一、network purningnetwork有多余的参数,将这些多余的参数减掉,实现network的compression大的network更容易优化:lotterytickethypothesis:另一篇paper:...原创 2020-08-13 21:14:27 · 278 阅读 · 0 评论 -
【李宏毅】机器学习 笔记12(Attack ML Models)
Attack:通过在原来的特征值上加上一些杂讯,让network做出错误的判断。定义attack的lossfunction:找到一个与x0很接近的一个x',在x和theta固定的情况下,使输出的答案越错误。两类constraint:加了gradient算出的杂讯效果最明显:FGSM:采用最快的梯度,一次梯度下降得到结果:主要就是设置一个很大的learningrate使一次达到目的:黑箱攻击:通过trainin...原创 2020-08-09 18:52:10 · 271 阅读 · 0 评论 -
【李宏毅】机器学习 笔记11(Explainable ML)
Explainable ML:简单来说,就是在机器做learning时,在预测出结果的同时,给出这样预测的理由,解释它学到的东西。主要分为两类:1、Local Explainable 2、Global Explainableexplainable ml可以给我们一些改进model的参考:李宏毅老师的个人观点:Local explaination:基本思想:就是通过删除或修改一些组件的值,然后观察变化,来看这些组件对...原创 2020-08-02 17:23:10 · 325 阅读 · 0 评论 -
【李宏毅】机器学习 笔记10(RNN——循环神经网络(Recurrent Neural Network)(下))
这一节讲RNN如何learning:下面讲如何定义loss,举一个例子:RNN同样可以用gradientdescent来train:因为同样的sequent在不同的时间点会被使用:input(多个)-->output(一个):多对多:出现叠词时,用CTC区分:一些词的顺序可以被忽略:encoder和decoder一起train:RNNvs Structured Learning:...原创 2020-07-29 19:57:31 · 256 阅读 · 0 评论 -
【李宏毅】机器学习 笔记10(RNN——循环神经网络(Recurrent Neural Network)(上))
RNN介绍:https://zhuanlan.zhihu.com/p/30844905某些任务需要能够更好的处理序列的信息,即前面的输入和后面的输入是有关系的:这时,就用到了RNNRNN结构:举个例子:这时,这次的(2,2)就会代替左边的(0,0),作为下一次计算时需要考虑的value以此类推。。。RNN的基本概念:LSTM:例如:当前(x1,x2,x3)=(1 0 1)...原创 2020-07-28 17:53:44 · 204 阅读 · 0 评论 -
【李宏毅】机器学习 笔记09(CNN—— 卷积神经网络(Convolutional Neural Network))
CNN相关概念参考:http://www.360doc.com/content/19/0410/19/13328254_827767674.shtml为什么用CNN做影像处理?当用一般的Neural Network做影像处理时,需要用到太多的参数:CNN减少参数主要考虑三个方面的性质:1、可连接图片中更小的有效区域:2、当一些相同的模式出现在图片的不同区域时,可采用相同的参数集合来处理:3、对图片降采样不会改变实物CNN流程:对于以上前三条性质的前两条采.原创 2020-07-27 20:28:13 · 297 阅读 · 0 评论 -
【李宏毅】机器学习 笔记08(Tips for deep learning)
注:这不是overfiting的结果,因为这里是training data对于最后卡在local minima的点,可以通过类比现实物理中的惯性,在做梯度下降时,加上一个代表类似惯性的量momentum,和梯度共同影响下一步的移动,来解决这种卡住的情况:这个平均值和所有的权重*(1-p)%的结果是可以约等的如:两个input的时候:左边,average=(w1x...原创 2020-07-26 21:01:31 · 159 阅读 · 0 评论 -
【李宏毅】机器学习 笔记07(Backpropagation:反向传播)
数学知识:Forward pass:Backward pass:Backpropagation总结:原创 2020-07-26 20:36:45 · 142 阅读 · 0 评论 -
【李宏毅】机器学习 笔记06(brief introduce of deep learning)
机器学习的三个步骤:1、model(define a set of function)2、goodnessoffunction3、pickthebestfunctionStep1:define a set of function把input(1,-1)作为一个矩阵,乘需要计算的矩阵再+add(1,0)即可得到outputStep2:goodnessoffunctionC(y,y^/hat):预测值与目标...原创 2020-07-26 20:24:51 · 206 阅读 · 0 评论 -
【李宏毅】机器学习 笔记05(Logistic Regression:逻辑回归)
Setp 1:Fuction Set将z代入sigmod函数:1/1+e^-zStep2:Goodnessofafunction:找出使L(w,b)最大的w和b,记为w*和b*H(p,q)称为p和q的交叉熵(crossentropy);Step3:Findthebestfunction:使用gradient descent来最小化−lnL(w,b)对w求偏导:最终计算结果:比较Logistic Regression(...原创 2020-07-26 20:06:33 · 283 阅读 · 0 评论 -
【李宏毅】机器学习 笔记04(Classification:分类)
实现步骤:从概率的角度分析:先考虑两个class的情况:(概率论:全概率公式&&贝叶斯公式)假设所有的点都从正态分布中抽样出来:Gaussian distribution:正态分布计算sample出所有点的概率:计算p(c1|x),如果p(c1|x)>0.5,ouput c1;否则outputc2;...原创 2020-07-26 17:52:09 · 182 阅读 · 0 评论 -
【李宏毅】机器学习 笔记03(Tips of gradient descent)
1、AdagradAdagrad是解决不同参数应该使用不同的更新速率的问题。Adagrad自适应地为各个参数分配不同学习率的算法。公式如下:2、Stochastic Gradient Descent(SGD:随机梯度下降)如果使用梯度下降法(批量梯度下降法),那么每次迭代过程中都要对个样本进行求梯度,所以开销非常大,随机梯度下降的思想就是随机采样一个样本来更新参数,那么计算开销就下降了3、Feature Scaling(特征缩放)-- 使下降加快当特征值有相似的范...原创 2020-07-26 17:30:27 · 122 阅读 · 0 评论 -
【李宏毅】机器学习 笔记02(诊断error来源:bias&&variance)
Bias是 “用所有可能的训练数据集训练出的所有模型的输出的平均值” 与 “真实模型”的输出值之间的差异;Variance则是“不同的训练数据集训练出的模型”的输出值之间的差异。参考链接:https://www.cnblogs.com/learnAI/p/12436477.html估计bias&&variance:诊断处理:处理bias:处理variance:...原创 2020-07-26 17:15:07 · 145 阅读 · 0 评论 -
【李宏毅】机器学习 笔记01(Regression)
Regression(回归):一、定义:Regression 就是找到一个函数 function,通过输入特征 x ,输出一个数值Scalar 。(scalar:数值,标量)注:机器学习中有两件事:数值预测和分类,而这里的regression就可用于数值预测。例如:二、实现步骤:1、model(确定一个模型)--linear(线性的)定义一个函式y来通过特征值(b,w)预测数值。找到一个functionset(多个函式的集合:包括f1,f2,。。。),作为model。.原创 2020-07-26 16:54:12 · 190 阅读 · 0 评论