luchi007的专栏

深度学习之一：CNN初见

前几篇接触了关于神经网络的学习方法，总结起来的要点有以下几点：1，BP算法2，激励函数3，正则化与交叉验证等其他防止过拟合的方法 BP神经网络在之前的工作中取到了不错的效果，但是在Micheal Nilson的数的第五章，描述了之前的神经网络在增加多个隐含层之后训练效果会大大下降，也就是说，对于层数过多的网络训练效果不理想，如何训练深层的神经网络成了一个问题，这就是深度学习的...

深度学习之一：CNN初见

经网络在之前的工作中取到了不错的效果，但是在Micheal Nilson的数的第五章，描述了之前的神经网络在增加多个隐含层之后训练效果会大大下降，也就是说，对于层数过多的网络训练效果不理想，如何训练深层的神经网络成了一个问题，这就是深度学习的由来 深度学习近些年来很火，尤其是在自然语言处理领域，其取得的成就也是巨大的。之前我对深度学习是有畏惧心理的，因为我觉得挺难的，后来慢慢接触，发现这个也是一个循序渐进的过程，还是要有信心。 深度学习一个最广泛的应用就是卷积神经网络（deep convol

原创 MLA Review之三：朴素贝叶斯分类

朴素贝叶斯（Naive Bayes）,贝叶斯概率论在整个统计学习上都是泰山北斗一样的存在，《Pattern Recognization and Machine Learning》这一扛鼎之作全书的思想其实就是贝叶斯概率论，简单的说就是先验代替后验。 我们先来给朴素贝叶斯找一点理论支持 贝叶斯概率公式：P(A|B)=P(A)*p(B|A)/P(B) ，而根据要求，我们

原创 深度学习之一：CNN初见

MLA Review之五：回归

回到回归的正题，回归问题是机器学习领域中应用的比较广的一种方法，不过我觉得大部分的回归模型都是广义线性模型，在Andrew NG的课程中，对广义线性模型做了比较详细的推导，这篇文章的内容是，线性回归、局部加权回归、岭回归以及前向逐步回归，除了前向逐步回归之外，其他的都是广义线性回归模型，基本思路都是 1，确定损失函数 2，使用梯度下降（或者梯度上升）求解权重参数，算是套路，而这两种套路使用Py...

MLA Review之五：回归

线性模型做了比较详细的推导，这篇文章的内容是，线性回归、局部加权回归、岭回归以及前向逐步回归，除了前向逐步回归之外，其他的都是广义线性回归模型，基本思路都是 1，确定损失函数 2，使用梯度下降（或者梯度上升）求解权重参数，算是套路，而这两种套路使用Python都比较容易实现，就是使用了矩阵运算，代码量也不大，所以这篇文章就简单说说各种回归，而不实现代码，代码和之前的logistic回归计算过程都是一样的 言归正传 一、线性回归 线性回归方式很简单，公式如下： z=w0+w1*

原创 MLA Review之二： 决策树

分类决策树是一种描述对实例进行分类的属性结构，决策树由内部节点和叶节点，内部节点表示一个特征或者属性，叶节点表示一个类。 Part 1 ：决策树生成用决策树分类其实是一个if-then的过程，根据一个特征值的取值将原始的数据进行分类，比如，银行往往会根据个人情况和信用进行处理是否借贷，其评比条件如下图： 那么可能其中的一个决策树就会如下： 分

MLA Review之四：logistic回归

终于来到logistic回归，logistic回归其实很简单，之前的说到的神经网络就用到了这个方法，其中最重要的就是使用了sigmoid损失函数。当然使用的方法也就最简单的梯度下降法，这里并没有使用之前神经网络的随机梯度下降法，也是为了简单起见。因为之前在神经网络里面使用过了，所以这篇文章就略微介绍下。 logistic回归是属于广义线性回归的一种，基本形式：z=w0+w1*x1+...

MLA Review之四：logistic回归

MLA Review之三：朴素贝叶斯分类

朴素贝叶斯（Naive Bayes）,贝叶斯概率论在整个统计学习上都是泰山北斗一样的存在，《Pattern Recognization and Machine Learning》这一扛鼎之作全书的思想其实就是贝叶斯概率论，简单的说就是先验代替后验。 我们先来给朴素贝叶斯找一点理论支持 贝叶斯概率公式：P(A|B)=P(A)*p(B|A)/P(B) ，而根据要求，我们需要做的是得...

MLA Review之三：朴素贝叶斯分类

就是贝叶斯概率论，简单的说就是先验代替后验。 我们先来给朴素贝叶斯找一点理论支持 贝叶斯概率公式：P(A|B)=P(A)*p(B|A)/P(B) ，而根据要求，我们需要做的是得出P(C1|X,Y)和P(C2|X,Y)的概率，其中P(C1|X,Y)的意思是根据特征值X,Y得到是C1的概率，后面是得到C2的概率，因此，我们只需要比较这两者的大小就知道结果是归为哪一类了，但是问题是这个根本不好计算，这时候贝叶斯准则就可以派上用场了：P(C1|X,Y)=P(C1)*P(X,Y|C1)/P(X,Y

原创 MLA Review之一： KNN算法

在看完Machine Learning in Action一书之后，觉得还是需要进行一些回顾，而且由于第一次看的时候Python基础并不牢固，所以这次也当做是Python一些知识回顾和运用的过程。在回到主题之前插几句话，MLA 一书并不是一本理论著作，相反是使用了一些现成的机器学习方法使用了Python在具体的问题上进行了运用，整书没有使用繁琐的公式和证明过程，属于一本实战类的非学院派著作

MLA Review之二：决策树

分类决策树是一种描述对实例进行分类的属性结构，决策树由内部节点和叶节点，内部节点表示一个特征或者属性，叶节点表示一个类。 Part 1 ：决策树生成用决策树分类其实是一个if-then的过程，根据一个特征值的取值将原始的数据进行分类，比如，银行往往会根据个人情况和信用进行处理是否借贷，其评比条件如下图： 那么可能其中的一个决策树就会如下： 分类树也就是这样。  那...

MLA Review之二：决策树

策树生成用决策树分类其实是一个if-then的过程，根据一个特征值的取值将原始的数据进行分类，比如，银行往往会根据个人情况和信用进行处理是否借贷，其评比条件如下图： 那么可能其中的一个决策树就会如下： 分类树也就是这样。  那么这个时候问题就来了，每次进行选取一个特征，如上面根节点是选取年龄还是选择有房子呢，这是第一个问题。 主要有两种算法进行计算，第一个是信息增益，另外一个是信息增益比，下面会来介绍一下这两种方式 1，信息增益信息增益不用多介绍，在分类问题上被用

MLA Review之一： KNN算法

在看完Machine Learning in Action一书之后，觉得还是需要进行一些回顾，而且由于第一次看的时候Python基础并不牢固，所以这次也当做是Python一些知识回顾和运用的过程。在回到主题之前插几句话，MLA 一书并不是一本理论著作，相反是使用了一些现成的机器学习方法使用了Python在具体的问题上进行了运用，整书没有使用繁琐的公式和证明过程，属于一本实战类的非学院派著作...

MLA Review之一： KNN算法