Jige的菜鸟进化史~

机器学习第四章走起~1.机器学习是否可行，从前面讲述，好像我们学习后的结果，只能保证在已经给出的资料中，我们的g和f是一样的，那么对于这些资料以外的新的资料呢？我们能保证是对的嘛？如果我是坏心的老师，总可以否定你的预测，似乎机器学习陷入了危机=对于一个大罐子，有绿色和橙色的球，我们想要知道各种颜色所占的比例。我们的方法是取10个，称作sample罐子橙色比例 是u ，而samle中

今天要说的是SVR上一次提到了kernel logistic rgeression1.kernel ridge regression同时也提到了，对于任何的L2-regularized linear model，它的w都可以用资料的线性组合来表示对于以前学的linear regression ，我们的error，是用的squared error，即差值的平方来达到regressio

//今天搜索beam搜索的时候看到这篇文章了=。=，感觉不错。1 综述(1) 什么是特征选择特征选择 ( Feature Selection )也称特征子集选择( Feature Subset Selection , FSS ) ，或属性选择( Attribute Selection ) ，是指从全部特征中选取一个特征子集，使构造出来的模型更好。 (2) 为什么

Recurrent Neural Networks人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候，你都是基于自己已经拥有的对先前所见词的理解来推断当前词的真实含义。我们不会将所有的东西都全部丢弃，然后用空白的大脑进行思考。我们的思想拥有持久性。传统的神经网络并不能做到这点，看起来也像是一种巨大的弊端。例如，假设你希望对电影中的每个时间点的时间类型进行分类。传统的神

http://deeplearning.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92

加载和保存模型当实验时，使用梯度下降可能会花费几个小时（有时几天）寻找好的参数。一旦你找到它们，可以保存那些权值。在搜索过程中，你也可能想要保存当前最好的估计。pickle保存共享变量中的numpy的n维数组保存或者归档模型的参数的最好的方法是使用pickle或者deepcopy保存n维数组。比如，如果你的参数在共享变量w、v、u中，则保存的命令应该看起来像这样：>>>

这些案例适合那些想要清晰简明的 TensorFlow 实现案例的初学者。本教程还包含了笔记和带有注解的代码。项目地址：https://github.com/aymericdamien/TensorFlow-Examples教程索引0 - 先决条件机器学习入门：笔记：https://github.com/aymericdamien/TensorFlow-Exa

好啦，下面谈谈EM算法。关于前两篇博文http://blog.csdn.net/lvhao92/article/details/50788380和http://blog.csdn.net/lvhao92/article/details/50802703为本篇做了个大铺垫。都说了一下EM算法的应用。同学们想必也大体上了解了EM算法是个什么东东，具体怎么的去运用。其实，个人认为这已经足够了。这篇博文为

在深度学习中，不管使用那种学习框架，我们会遇到一个很重要的问题，那就是在训练完之后，如何存储学习到的深度网络的参数？在测试时，如何调用这些网络参数？针对这两个问题，本篇博文主要探索TensorFlow如何解决他们？本篇博文分为三个部分，第一是讲解tensorflow相关的函数，第二是代码例程，第三是运行结果。一 tensorflow相关的函数我们说的这两个功能主要由一个类来完成，class

这是高中时候的基础数学，然而也是比较重要的一个知识点，在很多地方都会用到，在基于超平面分类算法中，向量空间中任意一点到超平面的距离也是一个基础知识点平面的一般式方程Ax +By +Cz + D = 0其中n = (A, B, C)是平面的法向量，D是将平面平移到坐标原点所需距离（所以D=0时，平面过原点）向量的模（长度）给定一个向量V（x, y, z),则|

/* 版权声明：可以任意转载，转载时请标明文章原始出处和作者信息 .*/                                                     author: 张俊林       要是关注深度学习在自然语言处理方面的研究进展，我相信你一定听说过Attention Model（后文有时会简称AM模型）这个词。AM模型应该说

原始GANGoodfellow和Bengio等人发表在NIPS 2014年的文章Generative adversary network，是生成对抗网络的开创文章，论文思想启发自博弈论中的二人零和博弈。在二人零和博弈中，两位博弈方的利益之和为零或一个常数，即一方有所得，另一方必有所失。GAN模型中的两位博弈方分别由生成式模型(generative model)和判别式模型(discrimi

最近看LDA,恶补数学知识呀，觉得自己真实菜得抠脚=。=52nlp讲的还不错http://www.52nlp.cn/lda-math-mcmc-%E5%92%8C-gibbs-sampling1http://www.52nlp.cn/lda-math-mcmc-%E5%92%8C-gibbs-sampling2http://wenku.baidu.com/view/8376

上面一章我们看完了kernel，通过合并转换和内积两个步骤来加速，这样我们可以通过dual SVM来解决很多问题。但是正如上一章最好说的，我们现在的要求都是基于在Z空间里线性可分的，但是过度强求每个点都分正确，是有可能带来overfit的，比如有noise的点。今天，我们就要来解这样一个问题。其实，这样的思想，我们在学习机器学习基石的时候，已经有过了，当时讲PLA和pocket的时候，

这一节我们把以前学过的logistics 和 kernel合在一起在上一节中，我们讲了soft-margin，推出的结论如下图图中的ζ其实就是一个点违反的距离，就是1-y(wz+b)其实我们可以很容易想到，对于图中的点，如果违反了，那么ζ是1-y(wz+b)，而对于没有违反的点，显然就是0，所以其实可以写成这样子其实这个形式是不是很熟悉？没错

机器学习基石的第三章，走起1.type of learning 二元分类 ： 1.是否发信用卡等等，很基本，很核心多元分类 ：美元的硬币（1c ，5c ，10c ，25c）by（size ，mass）2元分类是特例，多元分类在视觉和听觉上应用很多回归分析：输入过去的天气情况，预测天气结构学习：protein data -》 protein folding speech data

机器学习第5章走起。如果H是无限大的怎么办呢？H的大小我们用M表示。small M当M小的时候，P(BAD) ，自然可以说P(BAD)相对较小，但是当M很小的时候，也说明H的个数少，我们可以选择的h很少，那么我们可能找不到一个Ein很小很接近0的hlarge M当M很大的时候 自然P(BAD)太大，当然h的选择很多呀。当M无穷大的时候怎么办呢？我们可不可以找

机器学习第六章走起接着上一章，对于break point 按照前面的规律来看，随着N的增大，我们的effective(N) 与pow(2,N)的差距越来越大bound function 就是成长函数的一个上限，我们刚才分析的成长函数是对于不同的H给与不同的分析，那我们有个目标，就是我们知道我们的N，然后知道第一个break point k那么，我们直接由N,k这两个变量得到B(N,

机器学习第七章VC dimension of H指的是第一个break point 的前面一个点当资料量N ≤ Dvc的时候，那么存在可能被shatter掉，当然也不是绝对。当资料量N > Dvc的时候，那么一定不能被shatter掉所以其实就是当数据量N足够大，Dvc足够大的时候，就可以说明Eout和Ein足够接近，而且这个和算法以及分布没有关系对于1维的

机器学习第八章走起上一节，我们证明了有一个好的h（dev 是 有限的，同时Ein是低的），在数据量足够大的时候，我们基本上是可以学到东西的。那么接下来，如果在我们的资料中有杂讯或者错误，我们前面的推导还有效吗？作者说明了，如果是有杂讯的，比如一个x，由于杂讯的存在，那么对于某个x，假设p(o|x) = 0.7,p(x|x) = 0.3那么我们的预测还是o，然后noise l

机器学习第九章走起。前几天翻译论文翻译吐了。前面我们讲过对于一个人是否发信用卡，而今天我们要求输出信用卡的额度。X=(x0,x1,x2,...,xd) 顾客的特征。期中X0对应到常数项。用w表示加权的参数。那么我们用y来表示我们想要预测的那个值。那么我们就可以写成这样这个和我们前面的PLA算法有一点不一样，在前面的PLA算法的时候，我们也有个w，用w算完以后

机器学习第10章走起。现在我们有兴趣的不仅仅是二元的分类，我们有兴趣的输出是一个[0,1]这样的输出比如但是在实际中的资料，我们很难得到0.9,0.6,0.2这样的数字，因为我们在现实中，我们只能看到这件事情发生没有， 但是并不能看到它发生的概率是多少。所以我们可以把现实中实际的资料看成上面那个东西有杂讯的版本。即这个是有杂讯的版本那么我们现在的问题就是我们

判别式模型与生成式模型的区别产生式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念，它们的区别在于：对于输入x，类别标签y：产生式模型估计它们的联合概率分布P(x,y)判别式模型估计条件概率分布P(y|x)产生式模型可以根据贝叶斯公式得到判别式模型，但反过来不行。Andrew Ng在NIPS20

//回家也几天了，在家里吃吃吃，堕落了几天，还是决定要学习一下=。=//毕业找不到工作怎么办=。=//机器学习基石的后面几章的笔记，一直没写，后面补上吧，现在还是开始我们的机器学习技法，不得不说，这门mooc质量真的很高。今天看的是linear support vector machine。支持向量机(SVM)从前面知道的说起，对于一些平面上的点，我们分成两种XX和OO，我们以

接着上一章说=。=上一章看上去其实已经挺不错的了，但是实际上，我们仔细思考还是有一些问题需要解决的。例如，当我们需要做非线性的划分的时候，我们可以考虑转换到Z空间，在Z空间做线性划分，再回到原来的x。然而就是这里出现了问题，如果我们要做z空间的转换，那么我们的复杂度就不再是以前的那个d了，而是弯弯曲曲的d了，也就是复杂度变大了，还记得我们上次说的如何解决最后的问题吗？就是找一个二次

//想买mac pro，大陆价格贵得很，在找港台或者美帝的小伙伴代购。囧囧=。=以后不能玩烧显卡的游戏了，谁有mac的待机时间太吸引人了。上一次我们学习了对偶形式，对偶形式的解决其实也是一个二次规划的问题，而且这个二次规划问题好像是和我们所在的空间没有关系。但是实际上，是隐藏在了矩阵计算中。这就是我们的瓶颈所在。在矩阵计算中，每一项都有zz‘相乘，因为z是x在z空间的转换，所以可以写成

================================机器学习我是看的机器学习基石从第二章开始：对于各个字母做了解释比如H是什么举个例子，在一个二维平面上，有两种点，XX和oo，现在我们的目标是找到一条直线，使得XX和oo分别在这条线的两边，那么H是什么，H便是这个平面上所有直线的集合，也就是各种可能假设的集合。那么f是什么，f就是一个函数，能够完美分开XX和oo的，也就