![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 92
玉来愈宏(张玉宏)
《品味大数据》(北京大学出版社,2016年10月)、《深度学习之美》(电子工业出版社,2018年7月)、《Python极简讲义——一本书入门数据分析与机器学习》作者
展开
-
Python极简讲义——一本书入门数据分析与机器学习(序言)
为什么写此书?我们正处于一个数据科技(Data Technology,简称DT)的时代。我们的一举一动,都有能在数据空间留下电子印记。于是海量的社交、电商、行为及科研大数据铺面而来。然而,太多的数据给人们带来的,可能并不是更多的洞察,还可能是迷失。因为仅仅就数据本身而言,它们是“一无所知”的。数据的价值,在于形成信息,变成知识,乃至升华为智慧。也就是说,这些数据如果不能进一步 “深加工...原创 2020-04-19 08:00:33 · 2435 阅读 · 4 评论 -
tf.nn.softmax_cross_entropy_with_logits中的“logits”到底是个什么意思?
tf.nn.softmax_cross_entropy_with_logits函数是TensorFlow中常用的求交叉熵的函数。其中函数名中的“logits”是个什么意思呢?它时不时地困惑初学者,下面我们就讨论一下。1. 什么是logits?说到Logits,首先要弄明白什么是Odds?在英文里,Odds的本意是指几率、可能性。它和我们常说的概率又有什么区别呢?在统计学里,概率(P...原创 2018-05-10 09:01:55 · 39413 阅读 · 13 评论 -
TensorFlow学习系列之八:什么是数据流图?
一、概述TensorFlow最基本的一次计算流程通常是这样的:首先它接受n个固定格式的数据输入,通过特定的函数,将其转化为n个张量(Tensor)格式的输出。一般来说,某次计算的输出很可能是下一次计算的(全部或部分)输入。整个计算过程其实是一个个Tensor 数据的流动过程。在这其中,TensorFlow将这一系列的计算流程抽象为了一张数据流图(Data Flow Graph)。简单来说,数据流图...原创 2018-05-10 19:11:56 · 7864 阅读 · 1 评论 -
TensorFlow学习系列之九:如何利用可视化数据流图TensorBoard?
人们在训练庞大而复杂的深度神经网络时,经常会出现难以理解的运算。而人类是有“视觉青睐”的,也就是说,人们通常对图片带来的信息更善于理解。为了迎合这一特性,也为了更方便理解、调试与优化程序,TensorFlow提供一个非常好用的可视化工具——TensorBoard,它能够可视化机器学习的流程,绘制图像生成的定量指标图以及附加数据。下面我们就以范例【11-1】这个简单的程序,来说明如何利用Tensor...原创 2018-05-10 21:29:53 · 5530 阅读 · 0 评论 -
Dropout技术为什么能防止过拟合?
在学习深度学习时,常常有人会问到这样一个问题:Dropout技术为什么能防止过拟合?当然,简单的回答是:防止参数过分依赖训练数据,增加参数对数据集的泛化能力。这样的回答,当然是正确的。但有点抽象。我来说点具体的案例。首先,这涉及到深度学习的分布式特征表达。1.什么是分布式特征表达呢?分布式表征(Distributed Representation),是人工神经网络研究的一个核心思想。那什么是分布式...原创 2018-05-23 07:34:23 · 9707 阅读 · 2 评论 -
【深度学习之美】BP算法双向传,链式求导最缠绵(入门系列之八)
8.1 BP神经网络极简史在神经网络(甚至深度学习)参数训练中,BP(Back Propagation)算法非常重要,它都占据举足轻重的地位。在提及BP算法时,我们常将它与杰弗里•辛顿(Geoffrey Hinton)的名字联系在一起。但实际上,辛顿还真不是第一个提出BP算法的人,就像爱迪生不是第一个发明电灯的人一样。但人们记住的,永远都是那个让电灯“飞入平常百姓家”的功勋人物爱迪生,而不是它的第...原创 2018-06-24 12:34:42 · 2060 阅读 · 0 评论 -
【深度学习之美】全面连接困何处,卷积网络见解深(入门系列之九)
在前面的文章中,我们介绍了反向传播(Back Propagation,简称BP) 算法,在本质上,BP算法是一种全连接神经网络。BP算法也有很多成功的应用,但只能适用于“浅层”网络,因为“肤浅”,所以也就限制了它的特征表征能力,进而也就局限了它的应用范围。为什么它难以“深刻”呢?在很大程度上问题就出在它的“全连接”上。难道“全连接”不好吗?它更全面啊,难道全面反而是缺陷?我们暂时不讨论这个问题,等...原创 2018-06-24 12:36:22 · 620 阅读 · 0 评论 -
【深度学习之美】卷地风来忽吹散,积得飘零美如画(入门系列之十)
在前面的章节中,我们简要地介绍了卷积神经网络的来龙去脉。接下来我们逐一来解释它之所以成功的几个核心要素。卷积神经网络的名字就来自于其中的卷积操作。因此说到卷积神经网络,它最核心概念可能莫过于“什么是卷积”?10.1 卷积的数学定义脱离卷积神经网络这个应用背景,“卷积”其实是一个标准的数学概念。早在3.4节中,我们已经提及到“卷积”的概念:所谓卷积,不过是一个函数和另一个函数在某个维度上的加权“叠加...原创 2018-06-24 12:37:53 · 452 阅读 · 0 评论 -
【深度学习之美】局部连接来减参,权值共享肩并肩(入门系列之十一)
很多年前,著名物理学家爱因斯坦说过一句名言:Everything should be made as simple as possible, but not simpler(越简单越好,但是还不能过分简单)。”是的,只有名人才能说名言。如果这句话是我的说的,你可能认为这不是废话吗?我把爱老爷子搬出来,自然不是想唬你,而是因为他的名言和我们今天要讲的主题有点相关。我们知道,相比于全连接的前馈网络,卷...原创 2018-06-24 12:53:26 · 1604 阅读 · 0 评论 -
【深度学习之美】激活引入非线性,池化预防过拟合(入门系列之十二)
12.1 两个看似闲扯的问题在开讲本章内容之前,先请你思考两个问题呗:第一个问题,你能用直线画出一张漂亮的笑脸吗?第二个问题是,你知道那副著名的对联:“诸葛一生唯谨慎,吕端大事不糊涂”,说得是什么典故吗?如果你不是抬杠的话,我想你第一个问题的答案,应该是不能。因为直线的表现力非常有限,只有曲线才能画出更美的线条。因此,才有英国画家和美学家威廉•荷加兹(William Hogarth,1697~17...原创 2018-06-24 12:55:18 · 745 阅读 · 0 评论 -
【深度学习之美】循环递归RNN,序列建模套路深(入门系列之十三)
13.1 你可能不具备的一种思维近来,吴京主演的电影《战狼 Ⅱ》大获好评。走进电影院的你,如痴如醉,外加一把爱国泪,绝不肯错过冷锋的每一个镜头。假设情况不是这样,仅想打发无聊时光的你,随机选择了一部电影,不凑巧,电影是部烂片,电影播到10分钟20分钟时,你会怎么办?是当机立断地拂袖而去呢?还是强打精神看下去(毕竟电影票花了80块人民币啊)?在经济学领域,有个重要的概念,叫“沉没成本”。说...原创 2018-06-24 12:56:56 · 2757 阅读 · 1 评论 -
【深度学习之美】LSTM长短记,长序依赖可追忆(入门系列之十四)
14.1 遗忘是件好事还是坏事?如果我问你,遗忘,是件好事,还是坏事?或许你会说,当然是件坏事啊,我可羡慕记忆力好的人了。可我要告诉你,如果你到现在还记得,两岁时,隔壁家的小女孩“横刀夺爱”,抢了你的棒棒糖,估计你现在还可能单身。如此“记”仇的人,不孤独也难啊?的确,有时候,遗忘是好事,它会让大脑清理无用“内存”,让你能得以重新起航。其实从脑科学的角度来看,记忆是一种生物运算,它需要消耗能量的。从...原创 2018-06-24 12:58:55 · 1176 阅读 · 0 评论 -
《深度学习之美》推荐序:通俗也是一种美德
2017年5月份到8月份,《品味大数据》作者张玉宏博士在云栖社区连载了十四篇深度学习入门文章。这些文章,在云栖社区备受好评——“通俗易懂”、“坐等更新”、“大神的更新频率可以快点吗?”……并且,篇篇阅读过万。目前深度学习入门系列文章第一季更新已结束,云栖社区将文章集结成专题,以便更多人从中受益。这14篇精彩的博客在这里:https://yq.aliyun.com/topic/111,请你过...原创 2018-06-27 05:43:39 · 1250 阅读 · 0 评论 -
乾隆会判阿尔法狗死刑吗 ——浅谈当前人工智能的技术进化
人生自古谁无死,乾隆会判阿尔法狗去死?一个能打败李世石的阿尔法狗并不可怕,而一个具备打败李世石实力,但却在某些场景下故意输给李世石的阿尔法狗,那才真正可怕!原创 2017-05-07 14:01:52 · 832 阅读 · 0 评论 -
训练分类器为什么要用cross entropy loss(交叉熵损失函数)而不能用mean square error loss(MSE,最小平方差损失函数)?
在一个人工智能群里,有人问起,训练分类器为什么要用cross entropy loss(交叉熵损失函数)而不能用mean square error loss(MSE,最小平方差损失函数)呢?正好,在我的那本《深度学习之美》(第11章)提及这个问题,于是复制了一部分内容,作为回答,群里的同学觉得通俗易懂,于是,把我的回答贴到这里,算是一个总结:---------对于多分类的标签(即教师信号),从本质...原创 2018-05-10 06:37:45 · 13256 阅读 · 0 评论 -
【深度学习之美】神经网络不胜语, M-P模型似可寻(入门系列之三)
“那些在个人设备里,谦谦卑卑地为我们哼着歌曲的数字仆人,总有一天会成为我们的霸主!”在“忍无可忍,无需再忍”这句俗语背后,也隐藏中神经网络常用的“激活函数”和“卷积”的概念。知其道,用其妙,THIS IS HOW!原创 2017-06-06 21:51:13 · 1694 阅读 · 0 评论 -
【深度学习之美】人工“碳”索意犹尽,智能“硅”来未可知(入门系列之二)
现在的人工智能,大致就是用“硅基大脑”模拟或重现“碳基大脑的过程”。那么,在未来会不会出现“碳硅合一”的大脑或者全面超越人脑的“硅基大脑”呢?专家们的回答是“会的”。而由深度学习引领的人工智能,正在开启这样的时代。原创 2017-06-06 21:48:04 · 1254 阅读 · 0 评论 -
【深度学习之美】一入侯门“深”似海,深度学习深几许(入门系列之一)
在这个深度学习系列文章中,我们力图用最为通俗易懂、图文并茂的方式,带你入门深度学习。我们都知道,高手从来都是自学出来的。所以,这个深度学习的入门系列,能带给你的是“从入门到精通”,还是“从入门到放弃”,一切都取决你个人的认知。成就你自己的,永远都是你自己,是吧?原创 2017-05-23 06:45:12 · 4569 阅读 · 0 评论 -
【深度学习之美】Hello World感知机,懂你我心才安息 (入门系列之五)
感知机,就如同神经网络(包括深度学习)的“Hello World”。如果不懂它,就如同“为人不识陈近南,便称英雄也枉然”一样尴尬。当感知机可以模拟人类的感知能力,当它能够明辨与或非,但它最大的“疑惑”就是“异或”。难道机器领域也只能是异性才能有结果吗?原创 2017-06-18 16:37:12 · 1386 阅读 · 0 评论 -
【深度学习之美】损失函数减肥用,神经网络调权重(入门系列之六)
有人开玩笑说,男人有两大烦恼:一是把别人的肚子搞大了,二是把自己的肚子搞大了。对于后者,除了减(jian)肥(shen),似乎别无他法。可你知道吗?这减肥背后的机理,和前馈神经网络利用损失函数,来反向调节各个神经元之间的连接权重,其实是一样一样的。为啥咧?原创 2017-06-18 16:39:23 · 4007 阅读 · 0 评论 -
TensorFlow 学习系列之一:TensorFlow 概述
在计算机相关的很多领域(如大数据、分布式计算、搜索等),Google公司都有着卓越的表现,贡献了很多划时代的产品。在人工智能领域,它也不例外。2011年,谷歌就开发了它的第一代分布式机器学习系统DistBelief[1]。其中计算机科学家杰夫·迪恩(Jeff Dean)和著名深度学习专家吴恩达(Andrew Y. Ng)都是这个项目的核心人员。除了吴恩达先生声名赫赫之外,这位杰夫·迪恩也非常了...原创 2018-01-26 21:05:35 · 978 阅读 · 0 评论 -
TensorFlow学习系列之二:深度学习框架比较
“工欲善其事,必先利其器”。事实上,适用于深度学习的“器”很多,各有特色,也各有千秋。下面我们对其它几个比较流行的深度学习框架,给予简单介绍,以便给读者提供一个宏观的认知。11.2.1 TheanoTheano是一个偏向底层的深度学习框架,它开启了基于符号运算的机器学习框架的先河。Theano支持自动的函数梯度计算,带有Python接口并集成了Numpy。所以,从严格意义上来说,Thean原创 2018-01-26 21:11:17 · 914 阅读 · 0 评论 -
TensorFlow 学习系列之四:配置TensorFlow环境
Anaconda的核心命令就是conda。conda既是一个包管理器,又是一个环境管理器。作为包管理器,它可以协助用户查看或安装软件包。如果当前环境的Python不止一个时,我们还可以借助conda搭建起特定Python版本的环境,这就是conda环境管理器功能。下面我们就借助这个功能,为TensorFlow配置环境。11.3.2.1 配置TensorFlow环境为了确保是否已经正确安装好原创 2018-01-26 21:33:04 · 1684 阅读 · 0 评论 -
TensorFlow学习系列之六:测试TensorFlow是否安装成功
“是骡子是马,拉出来溜溜”。上述安装是否成功,需要测试一下才知道。下面我们就用大名鼎鼎的“HelloWorld”程序,来测试TensorFlow是否安装成功。在终端输入python(请注意,在Mac/Linux环境下“python”全部小写),进入Python的交互模式(Pythonshell)。然后依次输入如下4条语句。01 >>> import tensorflow a...原创 2018-01-26 21:49:30 · 19030 阅读 · 4 评论 -
TensorFlow学习系列之三:Anaconda的安装
在介绍完毕几个主流的深度学习框架之后,下面让我们把视角重新回到TensorFlow上,介绍一下TensorFlow的安装过程。由于TensorFlow并非全部由Python编写而成,它的很多底层代码仍然是由高性能的C++甚至CUDA编写而成,所以它的安装过程比较繁琐,可能导致部分初学者不能一次性安装成功。TensorFlow为CPU和GPU两个版本。由于本书主要是面向初学者(而非生产环原创 2018-01-26 21:23:25 · 1603 阅读 · 0 评论 -
TensorFlow学习系列之五:寻找TensorFlow安装源
在配置完毕conda的环境之后,下面我们来介绍一下如何在当前环境下安装TensorFlow。由于网络环境的不同,用一种方法安装TensorFlow,可能会因莫名原因而失败。下面我们先后介绍3种方式来安装,相信总有一种方式能适用于你。(1)conda软件源安装首先,在终端输入以下命令搜索当前可用的TensorFlow版本anaconda search -t conda tenso原创 2018-01-26 21:45:49 · 6952 阅读 · 1 评论 -
TensorFlow学习系列之七:TensorFlow的源码编译
为了编译TensorFlow的源代码,除了要有gcc(版本不低于4.8)支持之外,还需要安装Google自产的编译工具Bazel。1.安装Bazel安装Bazel,需要Java JDK 8或更高版本的支持,所以接下来我们要的第一件工作,就是要确定Java 8/9是否已经安装(可用“java -version”来查询)。如果没有安装,则可以通过如下流程安装。(1)利用Ubuntu的PPA(Perso...原创 2018-04-16 21:54:22 · 23597 阅读 · 5 评论 -
【深度学习之美】“机器学习”三重门,“中庸之道”趋若人(入门系列之四)
王国维说过人有三重境界,对应的,“机器学习”也有三大类不同算法,而有着“中庸之道”的半监督学习可能就是未来机器学习的大趋势,它一步一步地走“像”人类!原创 2017-06-06 21:54:55 · 970 阅读 · 0 评论