IMWTJ123的博客

import numpy as npimport sklearn.preprocessing as prepimport tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_datadef xavier_init(fan_in,fan_out,constant=1): low = -cons...

神经网络的隐含层越多，就可以对原有特征进行越抽象的变化，模型的拟合能力就越强，这就是多层神经网络的功能所在。当我们给Softmax Regression神经网络中加入一个隐含层，正确率会从92%提升到98%。有隐含层的Softmax Regression只能直接从图像的像素点推断是哪个数字，而没有特征抽象的过程，多层神经网络依靠隐含层，则可以组合出高阶特征，比如横线、竖线、圆圈等，之后可以将这...

    AlexNet包含6亿3000万个连接，6000万个参数和65万个神经元，拥有5个卷积层，其中3个卷积层后面连接了最大池化层，最后还有3个全连接层。  AlexNet将LeNet的思想发扬光大，主要用到的新技术如下：（1）成功使用ReLU作为CNN的激活函数，并验证其效果再较深的网络中超过Sigmoid，成功解决了Sigmoid在网络较深时的梯度弥散问题。（2）训练时使用Dro...

    VGGNet探索了卷积神经网络与其性能之间的关系，通过反复叠堆3*3的小型卷积核和2*2的最大池化层，VGGNet成功构造了16~19层深的卷积神经网络。目前，VGGNet依然经常用于提取图像特征。VGGNet各级别的网络结构图：   从11层的网络一直到19层的网络都有详细的性能测试，虽然从A到E级网络逐渐变深，但网络的参数量便没有增加很大，如图2，这是因为参数主要消耗在后面的三...

 一、Google Incepion Net首次出现在ILSVRC 2014的比赛中，就以较大的优势取得第一名，在这场比赛中Google Incepion Net称为Inception V1,他最大的特点是控制了计算量和参数量的同时获得了非常好的分类性能——top-5错误率6.67%，是AlexNet的一半不到。Inception V1有22层深，比AlexNet有8层和VGGNet有19层还要深...

 一、先了解什么是Word2Vec      Word2Vec也称为word Embeddings,中文有很多叫法，比如“词向量”，“词嵌入”。Word2Vec可以将语言中的字词转化为计算机可以理解的稠密向量，比如图片是像素的稠密矩阵，音频可以装换为声音信号的频谱数据。进而对其他自然语言处理，比如文本分类、词性标注、机器翻译等。在自然语言的Word2Vec处理之前，通常将字词转换为离散的单独的...

一、机器学习概念老提机器学习，每次想起想表达其意思，发现总有点差。在这里再做一个综述：其实机器学习是针对数据的一种建模技术，即从数据中学习和提取有用的信息，不断改善机器的性能。机器学习的基本工作是从训练数据中学习规则，利用这些规则预测新的数据。深度学习是机器学习的一个子类，而机器学习是人工智能的一个子类。二、机器学习算法的分类机器学习根据任务的不同分为监督学习、无监督学习、半监督学...

其实if __name__ == "__main__":很容易理解，当模块被接运行时，即不调用直接在本脚本中运行，模块 __name__名就为 __main__ ，后面的代码块将被运行。如下：#first.pyprint("新年快乐！猪事大吉！")def test1(): print("很简单的啦啦啦！") if __name__=="__main__": ...

 一、Logistic Regression 算法Logistic Regression  算法具有复杂度低、容易实现的优点，我们可以利用 Logistic Regression 算法实现广告的点击率估计。Logistic Regression 模型是线性的分类的模型，所谓线性通俗的来说只需要一条直线就可以将不同的类区分开来。这条直线也成为超平面，使用                   ...

今天运行程序时，发现出现 NameError:name 'xrange' is not defined 这个错误，程序是没有问题的，不要惊慌，版本问题。一、问题出现原因     在 Python 2 中，经常会用 xrange() 创建一个可迭代对象，通常出现在 “for循环” 中，这种行为与生成器非常相似。在 Python 3 中，range() 的实现方式与 xrange() 函数相同...

    上一个讲的 Logistic Regression 属于二分类问题，如果处理多分类问题如手写字辨识就需要 Softmax Regression 算法，在Softmax Regression 算法中任意两个分类之间是线性的。关于手写字的辨识在之前我就写过一篇文章 https://blog.csdn.net/IMWTJ123/article/details/84072995，手写字是辨识 ...

 一、 因子分解机 FM 算法的提出 在 Logistic Regression 只能处理线性可分的二分类问题，但在现实中大多数是非线性问题，为了能使 Logistic Regression 算法能处理非线性，我们需要对算法进行升级，有两种方法：（一）、利用人工对特征处理，如使用核函数对特征进行处理，但人工处理对初学者比较难。（二）、对 Logistic Regression 算法进行...

一、什么是支持向量机 SVM支持向量机（ Support Vector Mavhine ）简称 SVM ，是一种二类分类模型。SVM 的目标是找到一个超平面，然后找到各个分类离这个超平面最近的样本点，使得这个点到超平面的距离最大化，即使直线两端的数据间隔最大。与分割超平面距离最近的样本称为支持向量，下图中虚线是间隔边界，确定最终的分割超平面只有支持向量起作用，其他样本点不起作用，所以称为支...

四、序列最小优化算法 SMO1. 核函数：前面我们了解的 SVM 是线性的支持向量机，当我们遇到非线性可分的数据集时并找不到分隔超平面，可以引入核函数，将非线性问题转化为线性问题。核函数是通过将数据映射到高维空间，来解决在原始空间中线性不可分的问题。计算两个向量在隐式映射过后的空间中的内积的函数叫做核函数，但是映射到高维空间中，然后再根据内积的公式进行计算时遇到维度爆炸（原始空间是三...

  指示函数或示性函数（indicator function）数学中，指示函数是定义在某集合X上的函数，表示其中有哪些元素属于某一子集A。即若x为真，则取值为1，否则取值为0....

   2018年4月5日开始学习机器学习，我采用的是周志华的“机器学习”作为初学者的指路书。   机器学习所研究的主要内容是关于在计算机上从数据中产生“模型”的算法，即“学习算法”有了学习算法  ，我们把经验数据传给它，它就能基于这些数据产生模型，在面对新的情况时，模型会给我们提供相应的判断。机器学习的目标是使学得的模型能更好的适用于“新样本”。在这章主要介绍一些基本术语，假设空间，归纳偏好以及机...

首先介绍经验误差与过拟合，过拟合现象出现原因，提出在现实生话中如何进行模型评估与选择？顺着提出评估方法、性能度量、比较检验、偏差与方差。一、经验误差与过拟合1、错误率：分类错误的样本数占样本总数的比例。精度=1-错误率2、误差：学习器的实际预测输出与样本的真是输出之间的差异。学习器在训练集上的误差称为训练误差或经验误差，在新样本上的误差称为泛化误差，我们希望得到的是泛化误差小的学习器。然而，我们事...

三、性能度量衡量模型泛化能力的评价标准就是性能度量。性能度量反映了任务需求。评估学习器f的性能，就是将学习器预测结果f(x)与真实标记y进行比较。“均方误差”：（2-1）1、错误率与精度错误率是分类错误的样本数占总样本数的比例，定义为：（2-2）精度是分类真确的样本数占样本总数的比例，定义为：（2-3）2、查准率、查全率1）真正例（TP）、假真例（FP）、真反例（TN）、假反例（FN），TP+FP...