![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
青芒·1
这个作者很懒,什么都没留下…
展开
-
《机器学习》周志华 第二章 模型评估与选择
2.1 经验误差与过拟合错误率:分类错误的样本数a占样本总数m的比例,E = a/m精度: 1 - a/m学习器在训练集上的误差称之为:“训练误差”或者“经验误差”,在新样本上的误差称之为“泛化误差”过拟合:当学习器在训练样本上训练误差降低,但是泛化误差增加,通常的原因在于学习器的学习能力过于强大,以至于把训练样本中所包含的不太一般的特性都学到了。欠拟合:通常是由于学习能力低下造成的...原创 2019-11-06 21:23:38 · 302 阅读 · 0 评论 -
《机器学习》周志华 第1章 绪论
机器学习:(形式化定义)假设用P来评估计算机程序在某类任务类T上的性能,若一个程序通过利用经验E在T中任务上获得了性能的改善,则我们就说关于T和P,该程序对E进行了学习。理解:P是指标,T是任务,程序利用了以往的经验E来提升性能,这就是该程序对E进行了学习模型:全局性的结果(一颗决策树)模式:局部性结果(一条规则)样本(记录):关于一个事件或对象的描述,反映的是该事件或者对象在某...原创 2019-11-04 16:00:36 · 367 阅读 · 0 评论 -
李宏毅机器学习——学习笔记(24) Deep Reinforcement Learning
Reinforcement Learning:分为两种Policy-based 和 Value-based方法利用gradient进行求解为什么要用log?如果所有的R都是正的,那可以加上一个Baseline,使得调整参数过程中,可以增加或者减少。...原创 2019-04-29 21:22:25 · 267 阅读 · 0 评论 -
李宏毅机器学习——学习笔记(22) Ensemble
Ensemble指的是集成算法,很多方法结合的起来解决问题的方式。Bagging通过sample出不同的dataset进行训练原创 2019-04-29 19:42:57 · 197 阅读 · 0 评论 -
李宏毅机器学习——学习笔记(21) Sequence Labeling
Hidden Markov Model(HMM):步骤1:构造句子的词性Sequence根据所得到sequence来获取你想要说的话总结来说求解POS的方式训练的算法:Viterbi Algorithm, 复杂度只有O(L|S|^2)Conditional Random Field(CRF):对于上述公式的举例说明,通过类似的公式转换,最终log P(x,y)可...原创 2019-04-28 22:19:43 · 674 阅读 · 0 评论 -
李宏毅机器学习——学习笔记(20) Recurrent neural network
Recurrent neural networkRNN的网络结构如图所示,不仅考虑输入层的输入,还要考虑memory中的所存储的内容。RNN在训练过程中会考虑input中的sequence,RNN分为两种形式:Elman network(将hidden layer中的输出值输入到下一次的训练中)和Jordan Network(将整个网络的输出值输入到下一次的训练中)Bidirecti...原创 2019-04-13 00:27:22 · 798 阅读 · 0 评论 -
李宏毅机器学习——学习笔记(12) Un-supervised Learning-Linear methods
Un-supervised Learning分为两类:(1)聚类 & 降维(化繁为简):将多个输入抽象成一种类型(2)Generation(无中生有):输入一个code,得到一个样本聚类中最常用的方法有:(1)k-means:a.随机初始化k个类的中心点;b.每个样本以最靠近的中心点的所属类为类标签;c.根据新得到的分类更新中心点;d.重复步骤b、c,直到模型收敛。(2)Hi...原创 2019-04-03 15:27:43 · 441 阅读 · 0 评论 -
李宏毅机器学习——学习笔记(11) Semi-supervised learning
Introduction(1)除了有标签数据外,还有大量的无标签数据。(远多于标签数据)(2)Transductive learning:直推学习,无标签数据是testing data(3)Inductive Learning:归纳学习,无标签数据不是testing data为什么要半监督学习?收集数据往往是很容易的,但是收集有标签的数据却是很难的;我们的生活就是半监督学习的过...原创 2019-04-02 17:33:14 · 310 阅读 · 0 评论 -
李宏毅机器学习——学习笔记(19) Structured Learning
Structured Learning结构学习指的是输入和输出都是具有结构化的对象(数列、列表、树、边界框等)。结构化学习的例子:统一框架:训练过程,将输入X和输出Y进行匹配,判断两个对象之间的匹配程度。测试过程中,给定输入X,穷举所有的Y找到与X最为匹配的函数Y。对匹配函数可以解释为:输入X和输出Y同时出现的概率三个问题:1.F(X,Y)匹配函数的形式2.如何穷举所有的Y...原创 2019-04-11 17:03:31 · 4645 阅读 · 0 评论 -
李宏毅机器学习——学习笔记(16) Unsupervised Learning——Deep generative models
Generative models:(1)Pixel RNN:根据前面的pixel,输出下一个pixel。这种方式可以收集大量的图片进行无监督训练,训练网络。通过部分的图像就可以预测后面的图像。如果直接进行训练的话,RGB的值都会偏向于中间点,图像呈现灰色或者棕色。可以直接用one-hot编码的形式,让整个网络产生一个颜色(红色,黄色,蓝色…)。将相似的颜色用一个颜色来表示。(2)Va...原创 2019-04-08 10:10:45 · 308 阅读 · 0 评论 -
李宏毅机器学习——学习笔记(18)Support Vector Machine(SVM)
Hinge Loss + Kernel Method 就是SVM。hinge loss进行二分类的过程中,采取sigmoid和cross entropy的原因是gradient descent的梯度很大,利于参数调整。Hinge loss function就是:图中的紫色段,hinge loss 和cross entropy的差别在于对于预测准确后的样本的奖赏程度。Linear SV...原创 2019-04-11 12:16:56 · 443 阅读 · 0 评论 -
李宏毅机器学习——学习笔记(15) Unsupervised Learning—Auto encoder
Auto-encoder1.encode:将原来高维sample encode成低维的code,再将code尽量decode成原来的sample。2.deep auto-encoder只是将层数加深。auto encode的construction error不是重点,重点是code表示的有多好。3. De-noising auto-encoder:在原来的sample上加入噪声数据,但...原创 2019-04-07 20:36:40 · 705 阅读 · 2 评论 -
李宏毅机器学习——学习笔记(17) Transfer Learning
Transfer Learning1.transfer learning可以分为四大类(不同的文件上有不同的称呼):Model Fine-tuning、Multitask Learning(source labeled and target labeled),Domain-adversarial training、Zero-shot learning(source labeled and tar...原创 2019-04-10 22:44:01 · 243 阅读 · 0 评论 -
李宏毅机器学习——学习笔记(10) Why deep?
在相同参数数量的情况下?扁平的模型比深度模型的学习效果要差,因为深度模型就像是模块化的,每一层都只是识别部分特征,然后传导到下一层中。End to End Learning通过端到端的训练方式,所有的函数都是由机器自动学习到的,不需要自己去构造。多层的neural network能够达到将相似的输入得到很不一样的输出,不一样的输入得到相同的输出的效果。但是shallow n...原创 2019-04-01 17:12:21 · 235 阅读 · 0 评论 -
李宏毅机器学习——学习笔记(14) Unsupervised Learning-Neighbor Embedding
Manifold Learning (流型学习):将流型空间降维后,可以直接用普通方法进行邻居embedding。Locally Linear Embedding(LLE):运用样本x邻居的线性组合来表示样本x,样本x降维后所形成的z仍然基于原来的权重,用邻居的线性组合来表示。首先在原来的空间中找到w,在降维以后的空间中,固定住w,找出一组z,最小化邻居表示样本的误差。这个方法比较重要...原创 2019-04-05 17:34:11 · 508 阅读 · 0 评论 -
李宏毅机器学习——学习笔记(9)Convolutional neural network
Convolutional neural networkCNN是简化版的原因:神经网络不需要整张图片进行图像识别,只需要图像的部分区域就可以了;同一个识别特征的区域可能再图像的不同位置;subsameple不会改变图片里面的内容,只是将图片变小。这些方式都能够使图片再具有较少参数的情况下,识别精度保持不变;CNN的实现方式:利用filter来表示原来的整幅图像,可以用一个f...原创 2019-03-31 18:35:41 · 244 阅读 · 0 评论 -
李宏毅机器学习——学习笔记(13) Unsupervised Learning-Word Embedding
Word Embeddingword表示方法:(1)如果对word embedding用one hot编码方式来表示,难以表示word之间的关系;(2)但是如果用word class的话,太过粗糙;(3)所以用word embedding来表示,机器阅读大量无监督的文章来学习单词的含义;word的含义可以由上下文所学习理解;如何从上下文中探索word的含义?(1)如果两个word之间...原创 2019-04-04 16:19:37 · 275 阅读 · 0 评论