- 博客(83)
- 资源 (44)
- 收藏
- 关注
RSS订阅原创 MNIST集的数据格式
MNIST数据集的文件格式本数据集采用非常简单的方式来保存，就像数组和多维矩阵一样储存。本数据集的文件里按整数保存的数字，都是按MSB优先的方式保存，也叫大端模式，也可以叫做非INTEL处理器的保存格式，因为INTEL的CPU是采用小端模式保存数据，因此在INTEL的CPU平台里读取，需要自行调换字节的顺序，才可以正确地读取它的整数。主要包括下面四个文件：train-images-idx3-uby
2017-03-09 20:14:52
5594
原创 MNIST是什么？
The MNIST database (Mixed National Institute of Standards and Technology database) is a large database of handwritten digits that is commonly used for training various image processing systems.[1][2]
2017-03-08 16:05:37
19803
2
原创 TensorFlow入门基本教程-蔡军生-专题视频课程
随着人工智能的复兴，特别是阿法狗在围棋界轻松碾压所有人类棋手时，我们在惊奇它的神奇，它的高智慧，更好奇它的来源，以及它的实现原理，以及它的实际运行过程，那么你需要学习这个课程。这样的事件标志着一个新时代--人工智能时代的到来，在这样背景之下，人人都应该了解一些人工智能的基本知识，以及它的实现方式，以便把它应用到自己的工作领域里，让自己的工作更加出色，更加适应时代的发展。...
2017-03-08 10:46:19
302
原创 多元正态分布(multivariate normal distribution)是什么？
多元统计分析涉及到的都是随机向量或多个随机向量放在一起组成的随机矩阵，在介绍正态分布之前，先论述有关随机向量的基本概念。为了便于理解概念和性质，借助复习一元统计分析中有关概念和性质，自然推广给出多元统计分析中相应的概念和性质。In probability theory and statistics, the multivariate normal distribution or multivari
2017-03-07 11:11:16
9179
原创 隐马尔可夫模型（Hidden Markov Model，HMM）是什么？
隐马尔可夫模型（Hidden Markov Model，HMM）是统计模型，它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析，例如模式识别。是在被建模的系统被认为是一个马尔可夫过程与未观测到的（隐藏的）的状态的统计马尔可夫模型。http://bluewhale.cc/2016-06-02/hidden-markov-mod
2017-03-07 11:03:32
1764
原创 凸优化(Convex Optimization)是什么？
”凸优化“ 是指一种比较特殊的优化，是指求取最小值的目标函数为凸函数的一类优化问题。其中，目标函数为凸函数且定义域为凸集的优化问题称为无约束凸优化问题。而目标函数和不等式约束函数均为凸函数，等式约束函数为仿射函数，并且定义域为凸集的优化问题为约束优化问题 。一、什么是凸优化不严格的说，凸优化就是在标准优化问题的范畴内，要求目标函数和约束函数是凸函数的一类优化问题。二、重要性“凸优化在数学规划领域具
2017-03-07 10:52:55
17272
原创 强化学习（Reinforcement learning）是什么？
强化学习（Reinforcement learning）：Reinforcement learning is an area of machine learning inspired by behaviorist psychology, concerned with how software agents ought to take actions in an environment so as
2017-03-07 09:51:05
5947
原创 独立成分分析（Independent Component Analysis, ICA）是什么？
独立成分分析（Independent Component Analysis, ICA）是近年来出现的一种强有力的数据分析工具（Hyvarinen A, Karhunen J, Oja E, 2001; Roberts S J, Everson R, 2001）。1994年由Comon给出了ICA的一个较为严格的数学定义，其思想最早是由Heranlt和Jutten于1986年提出来的。 ICA从出
2017-03-06 20:58:03
3974
原创 主成分分析（Principal Component Analysis，PCA）是什么作用？
主成分分析（Principal Component Analysis，PCA）， 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。在实际课题中，为了全面分析问题，往往提出很多与此有关的变量（或因素），因为每个变量都在不同程度上反映这个课题的某些信息。主成分分析首先是由K.皮尔森（Karl Pearson）对非随机变量引入的，尔后H.霍特林
2017-03-06 20:36:21
9608
原创 因子分析法（Factor Analysis）是什么分析？
因子分析与因子分析法主成分分析通过线性组合将原变量综合成几个主成分，用较少的综合指标来代替原来较多的指标（变量）。在多变量分析中，某些变量间往往存在相关性。是什么原因使变量间有关联呢？是否存在不能直接观测到的、但影响可观测变量变化的公共因子？因子分析法（Factor Analysis）就是寻找这些公共因子的模型分析方法，它是在主成分的基础上构筑若干意义较为明确的公因子，以它们为框架分解原变量，以此
2017-03-06 20:29:15
21331
原创 詹森不等式到底是什么？
詹森不等式以丹麦数学家约翰·詹森（Johan Jensen）命名。它给出积分的凸函数值和凸函数的积分值间的关系。In mathematics, Jensen's inequality, named after the Danish mathematician Johan Jensen, relates the value of a convex function of an integral to
2017-03-06 20:15:53
12442
原创 混合高斯模型（Mixtures of Gaussians）和EM算法
混合高斯模型（Mixtures of Gaussians）:GMM（Gaussian Mixture Model） 统计学习的模型有两种，一种是概率模型，一种是非概率模型。 所谓概率模型，是指训练模型的形式是P(Y|X)。输入是X，输出是Y，训练后模型得到的输出不是一个具体的值，而是一系列的概率值（对应于分类问题来说，就是输入X对应于各个不同Y（类）的概率），然后我们选取概率最大的那个类作为
2017-03-06 19:59:17
1389
原创 K-均值聚类算法(K-means algorithm)
k-means clustering is a method of vector quantization, originally from signal processing, that is popular for cluster analysis in data mining. k-means clustering aims to partition n observations into
2017-03-06 18:12:36
4713
原创 批量学习（batch learning）和在线学习（online learning）
批量学习（batch learning），一次性批量输入给学习算法，可以被形象的称为填鸭式学习。在线学习（online learning），按照顺序，循序的学习，不断的去修正模型，进行优化。batch越小，训练完一组的时间越短，但可能需要更多的步数接近局部最佳值，从大体效果来说，batch对结果影响应该不大。http://blog.csdn.net/vividonly/article/detail
2017-03-06 18:05:26
13300
原创 交叉验证（Cross-Validation）和特征选择（Feature Selection）
交叉验证（Cross-Validation）：以下简称交叉验证(Cross Validation)为CV.CV是用来验证分类器的性能一种统计分析方法,基本思想是把在某种意义下将原始数据(dataset)进行分组,一部分做为训练集(train set),另一部分做为验证集(validation set),首先用训练集对分类器进行训练,在利用验证集来测试训练得到的模型(model),以此来做为评价分类
2017-03-06 17:50:20
5270
原创 Learning Theory---误差理论（Error Theory）
Error = Bias + VarianceError反映的是整个模型的准确度，Bias反映的是模型在样本上的输出与真实值之间的误差，即模型本身的精准度，Variance反映的是模型每一次输出结果与模型输出期望之间的误差，即模型的稳定性。BIAS是偏离率的意思，即信号检测估计理论中常用的一种参数。Variance是方差，方差是各个数据与其算术平均数的离差平方和的平均数。Generalizatio
2017-03-06 17:24:31
1128
原创 Support Vector Machine是什么？
Support Vector Machine是支持向量机，在机器学习领域，支持向量机SVM(Support Vector Machine)是一个有监督的学习模型，通常用来进行模式识别、分类以及回归分析。Vapnik等人在多年研究统计学习理论基础上对线性分类器提出了另一种设计最佳准则。其原理也从线性可分说起，然后扩展到线性不可分的情况。甚至扩展到使用非线性函数中去，这种分类器被称为支持向量机（Sup
2017-03-06 16:06:09
1504
原创 生成学习算法（generative learning algorithms）和判别学习算法（discriminative learning algorithms）
1、 生成学习算法例：对恶性肿瘤和良性肿瘤的分类除了寻找一个将两类数据区分的直线外，还可以用如下方法：1) 遍历训练集，找到所有恶性肿瘤样本，直接对恶性肿瘤的特征建模；同理，对良性肿瘤建模。2) 对一个新的样本分类时，即有一个新的病人时，要判断其是恶性还是良性，用该样本分别匹配恶性肿瘤模型和良性肿瘤模型，看哪个模型匹配的更好，预测属于恶性还是良性。这种方法就是生成学习算法。
2017-03-06 15:50:05
6125
原创 Softmax Regression
Softmax Regression是Logistic回归的推广，Logistic回归是处理二分类问题的，而Softmax Regression是处理多分类问题的。下面就是TensorFlow使用Softmax回归的例子：# Import MINST dataimport input_datamnist = input_data.read_data_sets("/tmp/data/", one
2017-03-06 15:16:46
1772
原创 Ordinary least squares是什么意思？
Ordinary Least Square是普通最小二乘法，简称OLS。是应用最多的参数估计方法，也是从最小二乘原理出发的其他估计方法的基础。英语的解释：In statistics, ordinary least squares (OLS) or linear least squares is a method for estimating the unknown parameters in
2017-03-06 14:53:32
3762
原创 广义线性模型Generalized Linear Model (GLM)
这一段主要讲的是广义线性模型的定义和假设，为了看明白逻辑回归，大家要耐着性子看完。1.The exponential family 指数分布族因为广义线性模型是围绕指数分布族的，因此需要先介绍，用NG大神的话说就是，“虽然不是全部，但是我们见过的大多数分布都属于指数分布族，比如：Bernoulli伯努利分布、Gaussian高斯分布、multinomial多项分布、Poisson泊松分布、gamm
2017-03-06 14:41:14
4875
原创 AI学习之路（18）: 会话管理
会话管理class tf.Session运行TensorFlow所有操作的会话管理类。 会话管理封装了所有被执行的操作对象，并且计算所有张量的值，例如： # 创建一个图.a = tf.constant(5.0)b = tf.constant(6.0)c = a * b # 在会话里运行图sess = tf.Session() # 计算张量 `c`.print(sess.run(c)) 会话有很多自
2017-03-06 10:41:35
1804
原创 黑塞矩阵（Hessian Matrix）
在机器学习课程里提到了这个矩阵，那么这个矩阵是从哪里来，又是用来作什么用呢?先来看一下定义：黑塞矩阵（Hessian Matrix），又译作海森矩阵、海瑟矩阵、海塞矩阵等，是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。黑塞矩阵最早于19世纪由德国数学家Ludwig Otto Hesse提出，并以其名字命名。黑塞矩阵常用于牛顿法解决优化问题。一般来说, 牛顿法主要应用在两个方面, 1,
2017-03-05 12:07:45
30742
3
原创 tensorflow提示出错'module' object has no attribute 'pack'
编译旧的代码，会像下面这样提示出错：deconv_shape3 = tf.pack([shape[0], shape[1], shape[2], NUM_OF_CLASSESS]) AttributeError: 'module' object has no attribute 'pack'因为TF后面的版本修改了这个函数的名称，把tf.pack改为 tf.stack。因此只需要替换掉，就可以编译
2017-03-05 11:26:23
17970
原创 再遇牛顿迭代法
在计算机图形学里，学习过牛顿迭代法，在人工智能的课程也少不了，因为它是一种快速迭代的算法，同样在人工智能里也可以快找到回归的方法。NG介绍它如下：1. C++标准模板库从入门到精通 http://edu.csdn.net/course/detail/33242.跟老菜鸟学C++http://edu.csdn.net/course/detail/29013. 跟老菜鸟学pythonhttp://ed
2017-03-05 10:50:54
1123
原创 感知机算法(perceptron learning algorithm)
在学习NG的课程里，他提到了感知机算法，大体内容如下：其实感知器学习算法，就是利用介绍的单层感知器。首先利用给的正确数据，计算得到输出值，将输出值和正确的值相比，由此来调整每一个输出端上的权值。首先 是一个“学习参数”，一般我将它设置成小于1的正数。T便是训练数据中的正确结果，便是第i个输入端的输入值，便是第i个输入端上面的权值。学习规则是用来计算新的权值矩阵W及新的偏差B的算法。感知器利用其学习
2017-03-05 10:27:20
2312
原创 伯努利分布(Bernoulli distribution)
伯努利分布 是一种离散分布,有两种可能的结果。1表示成功，出现的概率为p(其中0概率分布有两种类型：离散（discrete）概率分布和连续（continuous）概率分布。离散概率分布也称为概率质量函数（probability mass function）。离散概率分布的例子有伯努利分布（Bernoulli distribution）、二项分布（binomial distribution）、泊松分
2017-03-05 09:43:29
49713
3
原创 AI学习之路（17）: TensorFlow优化器2
tf.train.Optimizer.__init__(use_locking, name)优化器的构造函数，用来创建一个新的优化器。 参数: use_locking: 布尔类型Bool.如果设置为真可以防止别的异步操作更新这些变量。name: 非空字符串。优化器的名称。异常: ValueError: 如果名称错误抛出此异常. tf.train.Optimizer.minimize(loss, g
2017-03-05 08:35:42
3632
转载 Andrew NG机器学习课程笔记系列之——机器学习之逻辑回归（Logistic Regression）
1. Classification这篇文章我们来讨论分类问题（classification problems），也就是说你想预测的变量 y 是一个离散的值。我们会使用逻辑回归算法来解决分类问题。之前的文章中，我们讨论的垃圾邮件分类实际上就是一个分类问题。类似的例子还有很多，例如一个在线交易网站判断一次交易是否带有欺诈性（有些人可以使用偷来的信用卡，你懂的）。再如，之前判断一个肿瘤是良性的还是恶性的
2017-03-04 21:20:06
976
原创 局部加权回归（Locally weighted linear regression）
通常情况下的线性拟合不能很好地预测所有的值，因为它容易导致欠拟合（under fitting），比如数据集是一个钟形的曲线。而多项式拟合能拟合所有数据，但是在预测新样本的时候又会变得很糟糕，因为它导致数据的过拟合（overfitting），不符合数据真实的模型。 今天来讲一种非参数学习方法，叫做局部加权回归（LWR）。为什么局部加权回归叫做非参数学习方法呢？ 首先参数学习方法是这样一种方法：在训练
2017-03-04 17:52:48
7172
原创 多元线性回归
多元线性回归的基本原理和基本计算过程与一元线性回归相同，但由于自变量个数多，计算相当麻烦，一般在实际中应用时都要借助统计软件。介绍多元线性回归的一些基本问题。但由于各个自变量的单位可能不一样，比如说一个消费水平的关系式中，工资水平、受教育程度、职业、地区、家庭负担等等因素都会影响到消费水平，而这些影响因素（自变量）的单位显然是不同的，因此自变量前系数的大小并不能说明该因素的重要程度，更简单地来说，
2017-03-04 14:34:14
1632
原创 什么是LMS算法（Least mean square）
LMS算法可认为是机器学习里面最基本也比较有用的算法，神经网络中对参数的学习使用的就是LMS的思想，在通信信号处理领域LMS也非常常见，比如自适应滤波器。其它就是利用梯度下降的算法来实现的，具体推导如下：最后这条公式，就是LMS算法的实现基础，可以使用python代码实现如下：import numpy as npimport randomfrom matplotlib import pyplo
2017-03-04 13:16:19
17497
原创 什么是梯度
在学习机器学习过程中，会遇到一个名词，就是梯度。因为很多情况之下，基本上没有完美的解，只能逐渐逼近它，往往要使用迭代法来求解，并且迭代法也是计算机的专长，可以说这世界上只有它是最会玩迭代算法了。在使用迭代法的过程中，又需要不断尝试各个方向。比如从一座山峰顶往下走，而这座山峰各个方向有不一样的坡度。如下图：从上图可以看到，有一些地方比较陡峭，那么我们就会说这里的梯度比较大，因为在这里下限得最快。接着
2017-03-04 11:08:52
5222
原创 似然函数（Likelihood function）是什么
上次在寻找线性回归最小化函数时，又引出一个新的地雷，一个新的不知道，我们继续上路，开足马车继续寻找“似然函数”，它到底是什么呢？先来到WIKI上看看定义：In statistics, a likelihood function (often simply the likelihood) is a function of the parameters of a statistical model g
2017-03-03 17:27:57
23625
2
原创 线性回归的最小化函数
在这个世界里，你知道得越多，就发现有更多的不知道，就在知道与不知道之间来回寻找，这个世界就是这样神奇。当你正在看NG的公开课时，就像这样在知与不知中寻找，或者在其中迷茫，或紧张，或张望，希望有人拉你一把。当看到下面这个公式时：这个就是一个变量的线性回归最优化函数，NG当时没有解释为什么这样定义的，只是让这个J函数最小化，就可以达到最优化的线性方程回归了。同时，你如果看过我前面的文章，也会发现Ten
2017-03-03 14:55:28
3754
原创 AI学习之路（16）: TensorFlow优化器1
训练模型 在TF里提供了一些类和函数来帮助训练神经网络模型，主要的类就是优化器类，它提供一个基类的接口，让外面使用所有优化器算法达到统一，因此，优化器是接口类，你不能实例化它，只能从它的派生类来进行实例化。优化器主提供一些计算梯度损失函数和应用梯度到变量，以及提供优化的算法，比如像梯度下降算法（gradient descent，即随机梯度下降）和Adagrad（一个基于梯度优化的算法）。 clas
2017-03-03 09:38:51
1248
原创 什么是矩阵的迹
在学习andrew ng的深度学习公开课里，可看到一段与数据的矩阵相关的，这里提出了求trace的算法以及规则，虽然学习过高数，线代，概率论，还有数理方程等等，但还是没有什么印象，一脸迷茫。这段相关的文本，我放到这里，如下：只能先百度一下：在线性代数中，一个n×n的对角矩阵A的主对角线（从左上方至右下方的对角线）上各个元素的总和被称为矩阵A的迹（或迹数），一般记作tr(A)。例子如下：对角元素是a
2017-03-02 22:16:58
44396
原创 什么是监督学习(supervised learning)
在机器学习里，首先会遇到这样一个概念，什么是学习？学习，是指通过阅读、听讲、思考、研究、实践等途径获得知识或技能的过程。学习分为狭义与广义两种：狭义：通过阅读、听讲、研究、观察、理解、探索、实验、实践等手段获得知识或技能的过程，是一种使个体可以得到持续变化（知识和技能，方法与过程，情感与价值的改善和升华）的行为方式。广义：是人在生活过程中，通过获得经验而产生的行为或行为潜能的相对持久的行为方式。人
2017-03-02 16:05:56
6101
原创 AI学习之路（15）: 张量不同数轴的平均值计算
在深度学习里研究的物体的关系，都是比较复杂的。比如一个图片32X32大小的，它的像素信息就有1024个点，如果考虑RGB三种颜色，就是1024X3了。对于目前还没有办法构造140亿个神经元的计算机来说，只能干一件事情，就是简化，化繁为简。为了简化，就需要使用算法来进行，在数学上最简单的处理，就是求平均值。这个道理非常简单，如果10个数，只要把它们相加，再除以10即可。对于0维数字，可以这样来计算，
2017-03-02 14:12:38
2719
原创 深度学习的数学基础要求
随着人工智能加速进入中国，特别是以深度学习为代表的算法，更是碾压人类的智慧，人类又在一个围棋领域失守，这是继象棋失守之后的大突破。下一个领域会是在什么地方呢？据说在皮肤癌症方面判断，已经超越了相关专业的医生。中医里注重的“望闻问切”，其中望这个领域，很快就可能让人工智能领先了。要想了深度学习相关内容，必须要学会以下的相关数学知识，现在才发现数学不是用来考试的，不是无用的，“书到用时方恨少”。书目如
2017-03-02 13:06:36
8600
1
python抓取天气并分析 实例源码
2017-08-28
书《深度学习》
2017-03-13
国产8051模拟器
2016-09-10
tinyxml2配套源码
2016-06-27
selenium的浏览器驱动
2016-06-14
开源鸿蒙4.0不能进入桌面的补丁
2024-03-17
开源鸿蒙 4.0 RK3566开发板配置
2024-03-17
svm_hog_data.rar
2020-03-02
实现numpy的C++库扩展
2019-11-24
python web py入门配套源代码
2018-02-23
webpy演示例子1
2018-02-21
胶囊模型的代码
2018-02-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人