深度学习
文章平均质量分 87
caimouse
在IT行业有20多年的经验。拥有20多年的C和C++开发经验,5年以上Python开发经验,资深数据库开发、上百G数据库优化经验。曾经任职嵌入式工程师、P2P开发工程师、银行信用卡交易系统工程师、全自动化电池测试部门经理。
展开
-
MIT的《深度学习》精读(2)
看完了“皮格马利翁”和“伽拉泰亚(Galatea)”的故事,已经很让人感动,接着下来,又来看看“代达罗斯”和“塔罗斯(Talos)”的传奇故事:艺术家代达罗斯是位建筑师和雕刻家。人们说他的雕像是具有灵魂的创造物,从前的大师创作石像时,都让石像闭上眼睛,双手连着身体,无力地垂落下来。而他第一个让雕刻的人像张开眼睛,往前伸出双手,并迈开双腿好像走路一样。代达罗斯有个儿子名叫伊卡洛斯。代达罗斯的外甥塔洛原创 2017-03-18 15:33:41 · 986 阅读 · 0 评论 -
MIT的《深度学习》精读(3)
看完上面两个神话故事,真是令人赞叹不已,最后我们来到第三个故事,也就是“赫菲斯托斯”和“潘多拉(Pandora)”的故事,如下:提坦神的儿子普罗米修斯从天上盗火种送给人类,人类学会了使用火,最高统治神宙斯(雷神)十分恼火,为了抵消火给人类带来的巨大好处,宙斯决定要让灾难也降临人间。宙斯(Zeus)首先命令火与锻冶神赫菲斯托斯(Hephaestus),使用水土合成搅混,依女神的形象做出一个可爱的女性原创 2017-03-19 12:55:29 · 3568 阅读 · 0 评论 -
MIT的《深度学习》精读(4)
When programmable computers were first conceived, people wondered whether such machines might become intelligent, over a hundred years before one was built (Lovelace, 1842). Today, artificial intellig原创 2017-03-19 14:04:32 · 1110 阅读 · 0 评论 -
AI学习之路(18): 会话管理
会话管理class tf.Session运行TensorFlow所有操作的会话管理类。 会话管理封装了所有被执行的操作对象,并且计算所有张量的值,例如: # 创建一个图.a = tf.constant(5.0)b = tf.constant(6.0)c = a * b # 在会话里运行图sess = tf.Session() # 计算张量 `c`.print(sess.run(c)) 会话有很多自原创 2017-03-06 10:41:35 · 1804 阅读 · 0 评论 -
广义线性模型Generalized Linear Model (GLM)
这一段主要讲的是广义线性模型的定义和假设,为了看明白逻辑回归,大家要耐着性子看完。1.The exponential family 指数分布族因为广义线性模型是围绕指数分布族的,因此需要先介绍,用NG大神的话说就是,“虽然不是全部,但是我们见过的大多数分布都属于指数分布族,比如:Bernoulli伯努利分布、Gaussian高斯分布、multinomial多项分布、Poisson泊松分布、gamm原创 2017-03-06 14:41:14 · 4875 阅读 · 0 评论 -
AI学习之路(11): 创建随机张量1
由于在测试的过程中,经常要产生一些不同分布的随机数,比如初始化待定的变量。又或者一些训练数据。因此来学习一步随机数的产生。tf.random_normal(shape, mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None)从正态分布创建随机张量。参数:shape: 一维整数张量或者Python数组mean: 常数,表示正态分布的原创 2017-02-27 11:38:14 · 1612 阅读 · 0 评论 -
从源码编译TensorFlow
TF是开源的,因此也想看看它的实现代码,但是网络很不给力,经常出现如下这种情况,下载不了:出现这个问题,不知道有什么解决方法?代码下载和编译命令如下:C:\Users\tony>"C:\Program Files (x86)\Microsoft Visual Studio 14.0\VC\vcvarsall.bat"C:\Users\tony>set PATH="%PATH%;C:\Program原创 2017-02-27 15:22:32 · 1539 阅读 · 0 评论 -
Ordinary least squares是什么意思?
Ordinary Least Square是普通最小二乘法,简称OLS。是应用最多的参数估计方法,也是从最小二乘原理出发的其他估计方法的基础。英语的解释:In statistics, ordinary least squares (OLS) or linear least squares is a method for estimating the unknown parameters in原创 2017-03-06 14:53:32 · 3756 阅读 · 0 评论 -
Softmax Regression
Softmax Regression是Logistic回归的推广,Logistic回归是处理二分类问题的,而Softmax Regression是处理多分类问题的。下面就是TensorFlow使用Softmax回归的例子:# Import MINST dataimport input_datamnist = input_data.read_data_sets("/tmp/data/", one原创 2017-03-06 15:16:46 · 1772 阅读 · 0 评论 -
生成学习算法(generative learning algorithms)和判别学习算法(discriminative learning algorithms)
1、 生成学习算法例:对恶性肿瘤和良性肿瘤的分类除了寻找一个将两类数据区分的直线外,还可以用如下方法:1) 遍历训练集,找到所有恶性肿瘤样本,直接对恶性肿瘤的特征建模;同理,对良性肿瘤建模。2) 对一个新的样本分类时,即有一个新的病人时,要判断其是恶性还是良性,用该样本分别匹配恶性肿瘤模型和良性肿瘤模型,看哪个模型匹配的更好,预测属于恶性还是良性。这种方法就是生成学习算法。原创 2017-03-06 15:50:05 · 6125 阅读 · 0 评论 -
Support Vector Machine是什么?
Support Vector Machine是支持向量机,在机器学习领域,支持向量机SVM(Support Vector Machine)是一个有监督的学习模型,通常用来进行模式识别、分类以及回归分析。Vapnik等人在多年研究统计学习理论基础上对线性分类器提出了另一种设计最佳准则。其原理也从线性可分说起,然后扩展到线性不可分的情况。甚至扩展到使用非线性函数中去,这种分类器被称为支持向量机(Sup原创 2017-03-06 16:06:09 · 1504 阅读 · 0 评论 -
MNIST集的数据格式
MNIST数据集的文件格式本数据集采用非常简单的方式来保存,就像数组和多维矩阵一样储存。本数据集的文件里按整数保存的数字,都是按MSB优先的方式保存,也叫大端模式,也可以叫做非INTEL处理器的保存格式,因为INTEL的CPU是采用小端模式保存数据,因此在INTEL的CPU平台里读取,需要自行调换字节的顺序,才可以正确地读取它的整数。主要包括下面四个文件:train-images-idx3-uby原创 2017-03-09 20:14:52 · 5594 阅读 · 0 评论 -
卷积是什么?
在泛函分析中,卷积、旋积或摺积(英语:Convolution)是通过两个函数f和g生成第三个函数的一种数学算子,表征函数f与g经过翻转和平移的重叠部分的面积。如果将参加卷积的一个函数看作区间的指示函数,卷积还可以被看作是“滑动平均”的推广。卷积公式:相关运算过程:离散卷积是两个离散序列和之间按照一定的规则将它们的有关序列值分别两两相乘再相加的一种特殊的运算。在工程上离散卷积有着广泛的应用。例如为了原创 2017-03-09 21:24:40 · 2220 阅读 · 0 评论 -
图像进行卷积运算来提取特征
一副数字图像可以看作一个二维空间的离散函数可以表示为f(x, y), 假设有对于二维卷积操作函数C(u, v) ,则会产生输出图像g(x, y) = f(x, y) *C(u,v), 利用卷积可以实现对图像模糊处理,边缘检测,产生轧花效果的图像。一个简单的数字图像卷积处理流程可以如下:1. 读取源图像像素2. 应用卷积操作数矩阵产生目标图像3. 对目标图像进行归一化处原创 2017-03-09 21:45:52 · 4684 阅读 · 0 评论 -
Learning Theory---误差理论(Error Theory)
Error = Bias + VarianceError反映的是整个模型的准确度,Bias反映的是模型在样本上的输出与真实值之间的误差,即模型本身的精准度,Variance反映的是模型每一次输出结果与模型输出期望之间的误差,即模型的稳定性。BIAS是偏离率的意思,即信号检测估计理论中常用的一种参数。Variance是方差,方差是各个数据与其算术平均数的离差平方和的平均数。Generalizatio原创 2017-03-06 17:24:31 · 1128 阅读 · 0 评论 -
交叉验证(Cross-Validation)和特征选择(Feature Selection)
交叉验证(Cross-Validation):以下简称交叉验证(Cross Validation)为CV.CV是用来验证分类器的性能一种统计分析方法,基本思想是把在某种意义下将原始数据(dataset)进行分组,一部分做为训练集(train set),另一部分做为验证集(validation set),首先用训练集对分类器进行训练,在利用验证集来测试训练得到的模型(model),以此来做为评价分类原创 2017-03-06 17:50:20 · 5270 阅读 · 0 评论 -
批量学习(batch learning)和在线学习(online learning)
批量学习(batch learning),一次性批量输入给学习算法,可以被形象的称为填鸭式学习。在线学习(online learning),按照顺序,循序的学习,不断的去修正模型,进行优化。batch越小,训练完一组的时间越短,但可能需要更多的步数接近局部最佳值,从大体效果来说,batch对结果影响应该不大。http://blog.csdn.net/vividonly/article/detail原创 2017-03-06 18:05:26 · 13299 阅读 · 0 评论 -
K-均值聚类算法(K-means algorithm)
k-means clustering is a method of vector quantization, originally from signal processing, that is popular for cluster analysis in data mining. k-means clustering aims to partition n observations into原创 2017-03-06 18:12:36 · 4712 阅读 · 0 评论 -
混合高斯模型(Mixtures of Gaussians)和EM算法
混合高斯模型(Mixtures of Gaussians):GMM(Gaussian Mixture Model) 统计学习的模型有两种,一种是概率模型,一种是非概率模型。 所谓概率模型,是指训练模型的形式是P(Y|X)。输入是X,输出是Y,训练后模型得到的输出不是一个具体的值,而是一系列的概率值(对应于分类问题来说,就是输入X对应于各个不同Y(类)的概率),然后我们选取概率最大的那个类作为原创 2017-03-06 19:59:17 · 1389 阅读 · 0 评论 -
詹森不等式到底是什么?
詹森不等式以丹麦数学家约翰·詹森(Johan Jensen)命名。它给出积分的凸函数值和凸函数的积分值间的关系。In mathematics, Jensen's inequality, named after the Danish mathematician Johan Jensen, relates the value of a convex function of an integral to原创 2017-03-06 20:15:53 · 12442 阅读 · 0 评论 -
因子分析法(Factor Analysis)是什么分析?
因子分析与因子分析法主成分分析通过线性组合将原变量综合成几个主成分,用较少的综合指标来代替原来较多的指标(变量)。在多变量分析中,某些变量间往往存在相关性。是什么原因使变量间有关联呢?是否存在不能直接观测到的、但影响可观测变量变化的公共因子?因子分析法(Factor Analysis)就是寻找这些公共因子的模型分析方法,它是在主成分的基础上构筑若干意义较为明确的公因子,以它们为框架分解原变量,以此原创 2017-03-06 20:29:15 · 21331 阅读 · 0 评论 -
主成分分析(Principal Component Analysis,PCA)是什么作用?
主成分分析(Principal Component Analysis,PCA), 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量,转换后的这组变量叫主成分。在实际课题中,为了全面分析问题,往往提出很多与此有关的变量(或因素),因为每个变量都在不同程度上反映这个课题的某些信息。主成分分析首先是由K.皮尔森(Karl Pearson)对非随机变量引入的,尔后H.霍特林原创 2017-03-06 20:36:21 · 9606 阅读 · 0 评论 -
独立成分分析(Independent Component Analysis, ICA)是什么?
独立成分分析(Independent Component Analysis, ICA)是近年来出现的一种强有力的数据分析工具(Hyvarinen A, Karhunen J, Oja E, 2001; Roberts S J, Everson R, 2001)。1994年由Comon给出了ICA的一个较为严格的数学定义,其思想最早是由Heranlt和Jutten于1986年提出来的。 ICA从出原创 2017-03-06 20:58:03 · 3968 阅读 · 0 评论 -
MIT的《深度学习》精读(5)
In the early days of artificial intelligence, the field rapidly tackled and solved problems that are intellectually difficult for human beings but relatively straightforward for computers—problems tha原创 2017-03-20 14:08:21 · 1003 阅读 · 0 评论 -
谷歌人工智能的美女带来了什么?
从李飞飞的演讲中,应该可以看到这两张图:从这张图里可看到,计算力、海量数据、算法和人才是人工智能的四大支柱。从这张图里,可以看到人工智能的应用场合,已经成熟的市场:视觉、语音、找工作、翻译、自然语言、视频。原创 2017-03-10 11:28:54 · 1036 阅读 · 0 评论 -
Python是机器学习的首选语言
可以从下图看到,机器学习已经占据了主流开发位置:当时还有很多人问我,为什么要学习Python语言,从上图就作出了最好的回答,无论从数值处理,还是科学计算,还是机器学习方面都十分完善,还有大数据的爬虫方面也十 分令人满意,因此选择Python来开发是绝佳的配合。1. TensorFlow入门基本教程http://edu.csdn.net/course/detail/43692. C++标准模板库从入原创 2017-03-10 13:39:56 · 1377 阅读 · 0 评论 -
强化学习(Reinforcement learning)是什么?
强化学习(Reinforcement learning):Reinforcement learning is an area of machine learning inspired by behaviorist psychology, concerned with how software agents ought to take actions in an environment so as原创 2017-03-07 09:51:05 · 5947 阅读 · 0 评论 -
凸优化(Convex Optimization)是什么?
”凸优化“ 是指一种比较特殊的优化,是指求取最小值的目标函数为凸函数的一类优化问题。其中,目标函数为凸函数且定义域为凸集的优化问题称为无约束凸优化问题。而目标函数和不等式约束函数均为凸函数,等式约束函数为仿射函数,并且定义域为凸集的优化问题为约束优化问题 。一、什么是凸优化不严格的说,凸优化就是在标准优化问题的范畴内,要求目标函数和约束函数是凸函数的一类优化问题。二、重要性“凸优化在数学规划领域具原创 2017-03-07 10:52:55 · 17247 阅读 · 0 评论 -
隐马尔可夫模型(Hidden Markov Model,HMM)是什么?
隐马尔可夫模型(Hidden Markov Model,HMM)是统计模型,它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析,例如模式识别。是在被建模的系统被认为是一个马尔可夫过程与未观测到的(隐藏的)的状态的统计马尔可夫模型。http://bluewhale.cc/2016-06-02/hidden-markov-mod原创 2017-03-07 11:03:32 · 1764 阅读 · 0 评论 -
多元正态分布(multivariate normal distribution)是什么?
多元统计分析涉及到的都是随机向量或多个随机向量放在一起组成的随机矩阵,在介绍正态分布之前,先论述有关随机向量的基本概念。为了便于理解概念和性质,借助复习一元统计分析中有关概念和性质,自然推广给出多元统计分析中相应的概念和性质。In probability theory and statistics, the multivariate normal distribution or multivari原创 2017-03-07 11:11:16 · 9178 阅读 · 0 评论 -
AI学习之路(19)TensorFlow里的矩阵乘法
如果对矩阵的知识有点遗忘,有点陌生,有点想不起来,请先看看这个网页:http://blog.csdn.net/caimouse/article/details/55001181基础知识已经补过了,就直接来使用TF的矩阵乘法了。tf.matmul(a, b, transpose_a=False, transpose_b=False, adjoint_a=False, adjoint_b=False,原创 2017-03-10 16:05:14 · 22639 阅读 · 4 评论 -
神经网络的双曲线正切激活函数
在数学中,双曲函数类似于常见的(也叫圆函数的)三角函数。基本双曲函数是双曲正弦“sinh”,双曲余弦“cosh”,从它们导出双曲正切“tanh”等。也类似于三角函数的推导。反函数是反双曲正弦“arsinh”(也叫做“arcsinh”或“asinh”)依此类推。y=tanh x,定义域:R,值域:(-1,1),奇函数,函数图像为过原点并且穿越Ⅰ、Ⅲ象限的严格单调递增曲线,其图像被限制在两水平渐近线y原创 2017-03-28 08:24:27 · 16206 阅读 · 0 评论 -
调用tf.softmax_cross_entropy_with_logits函数出错解决
运行一个程序时提示出错如下:Traceback (most recent call last): File "/MNIST/softmax.py", line 12, in cross_entropy2=tf.reduce_sum(tf.nn.softmax_cross_entropy_with_logits(logits, y_))#dont forget tf.reduce_sum(原创 2017-03-10 21:32:27 · 30060 阅读 · 0 评论 -
MIT的《深度学习》精读(6)
This book is about a solution to these more intuitive problems. This solution is to allow computers to learn from experience and understand the world in terms of a hierarchy of concepts, with each con原创 2017-03-21 13:56:43 · 1290 阅读 · 0 评论 -
视频打卡机是否可以应用了?
从GOOGLE近来公布的视频来看,视频识别还是蛮高的。举个例子,如果用在公司打卡上,就非常方便,只要从门口走进来,视频摄像头对准录一下,就可以实现打卡了,无接触,无停留。如下图这样识别:云视频智能应用程序接口使用强大的深度学习模型,基于TensorFlow等架构进行开发,适用于YouTube等大规模媒体平台。这款API也是首款此类的API,通过在视频内容中提供有关实体存在物(例如狗、花、人等名词,原创 2017-03-11 18:32:34 · 1303 阅读 · 0 评论 -
MIT的《深度学习》精读(12)
This dependence on representations is a general phenomenon that appears throughout computer science and even daily life. In computer science, operations such as searching a collection of data can proc原创 2017-03-28 14:13:09 · 1191 阅读 · 0 评论 -
TensorFlow开源的三个原因
GOOGLE的迪恩(Jeff Dean)说开发并且开源TensorFlow是有三个目标:建立一个通用的机器学习平台,让它成为世界上最好的平台,然后再把它开放给所有人。TensorFlow 是 Google 的一套综合性的机器学习系统框架,开源之前是仅供该公司内部使用,从搜索排名到应用商城推荐,从 Gmail 反垃圾到 Android 系统,被几乎所有产品团队所采用。迪恩透露,Google 内部有超原创 2017-03-12 14:36:12 · 4210 阅读 · 0 评论 -
MIT的《深度学习》精读(7)
Many of the early successes of AI took place in relatively sterile and formal environments and did not require computers to have much knowledge about the world. For example, IBM’s Deep Blue chess-play原创 2017-03-22 15:59:43 · 952 阅读 · 1 评论 -
AI学习之路(20)占位符(placeholder)的使用
在编写TF程序里,经常会有一些待输入的参数,但是在建立模型时,需要使用到它,那么就需要使用占用符的方式来写入计算公式里,也就是建立到模型里的关系。下面就是一个使用占位符的例子:#python 3.5.3 #2017-03-13 蔡军生 http://blog.csdn.net/caimouse #import tensorflow as tfimport numpy as原创 2017-03-13 11:37:28 · 4955 阅读 · 0 评论 -
MIT的《深度学习》精读(13)
Many artificial intelligence tasks can be solved by designing the right set of features to extract for that task, then providing these features to a simple machine learning algorithm. For example, a u原创 2017-03-29 16:48:35 · 853 阅读 · 0 评论