Lee达森的博客

13.2.1 GAN的特点GAN从2015年提出至今，短短4年的时间已经发展成为人工智能学界一个热门的研究方向，吸引了大批研究人员来研究 GAN。除了学术界的理论研究以外，许多科技公司已经付诸行动，将GAN应用到实际场景中。其中就包括发明者古德费洛曾经工作过的“谷歌大脑”和“OpenAI”，以及业界知名的“脸书”和“推特”等公司，它们都在最近两年投入了大量的精力研究GAN，如何使它更好地生成图片与视频。究竟是什么原因让一个新兴技术有如此快的发展呢？又是什么原因让GAN模型在这么短的时间内吸引了

12.3.1 引入BPTT求解RNN通过前面对RNN算法的工作原理与基本结构的学习，我们对RNN算法有了初步的了解。RNN 算法从本质上来说还是一个神经网络，也是由输入层、隐藏层及输出层组成。因此求解RNN实际上和求解普通的神经网络一样，也是求解参数如何设置的问题。如图12-10所示，在RNN中我们需要求解U 、V 和W 这三个参数。其中，参数W 和U 的求解过程需要用到历史时刻数据，而求解参数V 只关注目前时刻的数据结果，相对来说比较简单。如果我们要预测t时刻的输出，就必须利用上一时刻t-1的

上一章我们讲到，卷积神经网络（CNN）的出现带动了计算机视觉领域的巨大发展，同时也让世人看到了深度学习的无限潜力。自从在数字图像处理领域取得巨大的成功以后，人们就在想，既然CNN的数据处理能力这么强，能不能尝试将其用在自然语言处理领域来帮助计算机理解文本内容呢？一旦实现，意味着计算机能够像人类一样阅读文字，理解文字的含?，向真正的人工智能迈出了一大步。在自然语言处理这门学科中有一类任务称为“统计语言模型”，这是一种用于计算某个句子合理排列方式的模型。利用语言模型，可以确定哪组词序列的排列更合

2.1.1 什么是自然语言处理2014年，作为全球第一个以培养情商为目标的AI聊天机器人“微软小冰”诞生，并在同年6月在微博上线。上线后因性格活泼、聊天能力强引起人们的热烈反响。和小冰对话就好像和一个活泼可爱的女生交流一样，时不时俏皮的回答让人惊叹AI的学习能力，同时也让人们对小冰充满好奇。相信很多读者的第一个问题就是，如何才能让计算机“?懂”我们的语言呢？这就得用到我们这一章要学习的自然语言处理技术。自然语言处理（Natural Language Processing，NLP）是目前计算机科学

早在40年前，图像识别领域就有很多关于人脸识别的研究。但是在当时，传统算法在普通图像识别中已经很难取得良好的识别效果，更何况还要从人脸中提取更加细微的特征。在很长一段时间里，人脸识别主要存在过拟合与欠拟合两个问题。一方面是因为不同的人脸之间的差别只有五官上细微的差异，这要比区分飞机、桌子的照片更难。因为后者的特征差异明显，比较容易判断，而模型容易将长得很像的两个人误判为同一个人；另一方面是同一个人在不同时间拍摄的两张照片可能由于光照、角度、年纪、表情、化妆等不同的原因，导致同一个人的脸在计算

11.2.1 卷积运算因为运算能力受到了限制，所以只有运算量小的方法才有可能提取图像的特征。仔细思考我们会发现，图像特征的表现有一个很显然的特点，就是在图像中特征边缘的像素点的颜色通常都是变化较大的 。实际上我们没有必要扫描整幅图像来学习特征，只需要找到这些边缘变化大的地方就能够发现物体的特征。于是我们从数学领域寻找有没有合适的方法能够帮助我们表达像素变化较大的边缘，如果能找到这样的方法就能够通过运算直接找出物体的特征。幸运的是，人们发现“卷积运算”能够提取图像的边缘与特征。在第7章我们讲过神

11.1 图像识别的准备工作11.1.1 从电影走进现实早在1968年，经典的科幻电影《2001太空漫游》描述了这样一个片段：影片中的赫伍德教授在登陆环形空间站时，需要进行一个“声影测试”的身份验证，验证通过才能进入。这也是当时人们的美好愿望，希望到了21世纪，我们不再需要验证任何账号密码，计算机根据我们的脸或声音就能识别出我们的身份。经过近50年的发展，人脸识别技术从电影的幻想逐渐走进了人们的日常生活，成了我们日常安检、考勤、支付等不同领域的得力助手。同时国内外的算法团队不断刷新人脸识别的

19.1 存储过程迄今为止，我们使用的大多数 SQL语句都是针对一个或多个表的单条语句。并非所有操作都这么简单，经常会有一些复杂的操作需要多条语句才能完成，例如以下的情形。 为了处理订单，必须核对以保证库存中有相应的物品。 如果物品有库存，需要预定，不再出售给别的人，并且减少物品数据以反映正确的库存量。 库存中没有的物品需要订购，这需要与供应商进行某种交互。 关于哪些物品入库（并且可以立即发货）和哪些物品退订，需要通知相应的顾客。这显然不是一个完整的例子，它甚至超出了本书

18.1 视图视图是虚拟的表。与包含数据的表不一样，视图只包含使用时动态检索数据的查询。说明：SQLite 的视图SQLite仅支持只读视图，所以视图可以创建，可以读，但其内容不能更改。理解视图的最好方法是看例子。第 12课用下面的 SELECT 语句从三个表中检索数据：输入▼SELECT cust_name, cust_contactFROM Customers, Orders, OrderItemsWHERE Customers.cust_id = Orders.cust_idA

17.1 创建表SQL 不仅用于表数据操纵，而且还用来执行数据库和表的所有操作，包括表本身的创建和处理。一般有两种创建表的方法： 多数 DBMS都具有交互式创建和管理数据库表的工具； 表也可以直接用 SQL语句操纵。用程序创建表，可以使用 SQL的 CREATE TABLE 语句。需要注意的是，使用交互式工具时实际上就是使用 SQL语句。这些语句不是用户编写的，界面工具会自动生成并执行相应的 SQL语句（更改已有的表时也是这样）。注意：语法差别在不同的 SQL实现中， CREAT

这一课介绍如何利用 UPDATE 和 DELETE 语句进一步操作表数据。16.1 更新数据更新（修改）表中的数据，可以使用 UPDATE 语句。有两种使用 UPDATE的方式： 更新表中的特定行； 更新表中的所有行。下面分别介绍。注意：不要省略 WHERE 子句在使用 UPDATE 时一定要细心。因为稍不注意，就会更新表中的所有行。使用这条语句前，请完整地阅读本节。提示： UPDATE 与安全在客户端/服务器的 DBMS中，使用 UPDATE 语句可能需要特殊的安全权限。在

15.1 数据插入毫无疑问， SELECT 是最常用的 SQL语句了，这就是前 14课都在讲它的原因。但是，还有其他 3个常用的 SQL语句需要学习。第一个就是 INSERT（下一课介绍另外两个）。顾名思义， INSERT 用来将行插入（或添加）到数据库表。插入有几种方式： 插入完整的行； 插入行的一部分； 插入某些查询的结果。下面逐一介绍这些内容。提示：插入及系统安全使用 INSERT 语句可能需要客户端/服务器 DBMS中的特定安全权限。在你试图使用 INSERT 前

14.1 组合查询多数 SQL查询只包含从一个或多个表中返回数据的单条 SELECT 语句。但是，SQL也允许执行多个查询（多条 SELECT 语句），并将结果作为一个查询结果集返回。这些组合查询通常称为并（union）或复合查询（compound query）。主要有两种情况需要使用组合查询： 在一个查询中从不同的表返回结构数据； 对一个表执行多个查询，按一个查询返回数据。14.2 创建组合查询可用 UNION 操作符来组合数条 SQL 查询。利用 UNION ，可给出多条SEL

第 7课介绍了如何使用别名引用被检索的表列。给列起别名的语法如下：输入▼SELECT RTRIM(vend_name) + ' (' + RTRIM(vend_country) + ')'AS vend_titleFROM VendorsORDER BY vend_name;SQL 除了可以对列名和计算字段使用别名，还允许给表名起别名。这样做有两个主要理由：  缩短 SQL语句； 允许在一条 SELECT 语句中多次使用相同的表。请看下面的 SELECT 语句。它与前一课例子中所

10.1.1 “人以群分”的算法在现实生活中，我们经常遇到需要快速分辨陌生人身份的场景。在某些情况?，我们会用富有逻辑性的“决策树”思维做判断。例如求职者去一家新公司面试，面试官可能是同级员工也可能是人力资源主管或者部门主管，总之是这三种职位中的某一个。通常面试官职能不同，提问的问题也不同，因此通过面试官提出的问题就能够逐步确定他的职位。而在另一些情况?，我们会用推测式的“朴素贝叶斯”思维去判断，例如，走在路上遇见一个黑色皮肤的人，因为他的肤色以及长相特点，我们会推测他大概率是从非洲来的。还有

9.3.1 Bagging是什么Bagging是Bootstrap aggregating的缩写，翻译成中文为“套袋”，其同样是一类算法的统称。这类算法的主要特点是采用随机、可被重复选择的方式挑选训练集，然后“并行”构造弱学习器，最后通过结合方式生成强学习器。在 Boosting 算法中，各个弱学习器之间存在依赖关系，?一个学习器依赖上一个学习器的学习结果去调整参数，是一种“串行”结构；但是在Bagging算法中，各个弱学习器之间没有依赖关系，不需要依赖别的结果，是一种“并行”结构。它的工作机制

9.2.1 Boosting是什么Boosting是一类算法的统称，翻译成中文为“自适应”算法，它们的主要特点是使用一组弱分类器通过“迭代更新”的方式构造一个强分类器。在每轮迭代中会在训练集上产生一个新的弱分类器，然后使用该弱分类器对所有样本进行分类，从而评估每个样本的重要性。从中文名可以看出来，Boosting算法的每轮学习都会根据数据调整参数，不断提升模型的准确率。Boosting算法的工作机制如图9-3所示。它首先基于训练样本生成一个弱学习器，然后基于弱学习器的表现调整样本分布，即增加错误

上一节讲述了SVM的硬间隔最大化算法。它对线性可分的数据集有较好的处理效果，但是对线性不可分的数据集则显得束手无措。那么，当面对线性不可分的数据集时，我们该如何处理呢？回顾第4章中的线性回归算法，我们也遇到过类似的场景。当时我们的解决方法是将低维非线性的数据集映射到高维，数据就变成线性可分的了。这也启发了我们，对于线性不可分的低维数据集，如果想要使用 SVM 算法，则可以将其映射到高维，使得线性不可分的数据集变成线性可分的，这样就可以使用SVM 算法求解了。线性可分SVM的优化目标函数为：注

经常喝咖啡的朋友知道，咖啡豆的产地不同，冲出来的咖啡口味也不相同。阿拉比卡的咖啡具有均衡的风味、口感与香气，而罗布斯塔的咖啡带有强烈的酸味，口感比较浓郁。挑选咖啡豆是一件非常有讲究的事情，如何区分两种不同的咖啡豆呢？假设我们现在要训练一个模型，借助计算机将两种不同产地的咖啡豆区分开来。经过前面章节的学习，我们很自然会想到使用感知机算法。使用感知机算法，只需要从已有咖啡豆的“豆体”和“颜色”这两个特征数据不断调整模型，就能学习得到一个超平面将两类咖啡豆分开。我们也知道在感知机算法中，赋予的初始

7.4.1 全连接与局部连接1968 年 ， 生 物 学 家 休 伯 尔 （ David Hunter Hubel ） 教 授 与 维 泽 尔（Torsten N.Wiesel）教授在研究动物如何处理视觉信息时有一个重要的发现。他们发现动物大脑皮层是分级、分层处理信息的。在大脑的初级视觉皮层中存在好几种不同的细胞，这些不同类型的细胞?担着不同层次的视觉感知工作。两位学者的研究成果对于神经网络领域有着重要的启发。原来当我们思考的时候，大脑里的神经元不是采用“全连接”的方式，也就是说没有必要激活大

7.3.1 从单层到多层神经网络明斯基教授曾表示，单层神经网络无法解决异或问题，但是当增加一个计算层以后，两层神经网络不仅可以解决异或问题，而且具有非常好的非线性分类效果。只是两层神经网络的计算量过于庞大，没有一个较好的解法。直到1986年，戴维·鲁梅尔哈特（Rumelhar）教授与杰弗里·欣顿（Geo??rey Hinton）教授等人提出了误差逆传播（Back Propagation，BP）算法，彻?解决了两层神经网络计算量问题，从而带动了业界研究多层神经网络的热潮。由于神经网络在解决复杂问题

7.2.1 基础感知机原理因为MP模型只能预设参数，无法随数据的不同自适应调整参数，所以研究人员开始寻找能够自主“学习”的神经网络。在1958年，计算科学家罗森布拉特（Rosenblatt）提出由两层神经元组成的神经网络，取名为感知机（Perceptron）算法。感知机是最古老的分类算法，同时也是最简单、最经典的机器学习算法之一。每个人工智能领域的产品经理都必须掌握感知机的基本原理，很多业界学者认为学习感知机的思想是理解神经网络和深度学习的重要途径。简单来说，感知机学习算法是一种适用于二分类的

2012年?，微软研究院的创始人里克·雷斯特（Rick Rashid）教授在一次大会做主题演讲时，展示了一套实时语音机器翻译系统。他在系统中输入一些英文内容，系统自动翻译成中文并且合成他的声音用中文朗读，在场观众无不惊叹。实际上这套实时语音翻译系统是基于神经网络算法研发的，会前雷斯特用自己的声音反复训练模型，在神经网络的帮助?，让模型学习他的声音，最终实现用机器合成他的中文声音，将以往难以想象的事情变成了现实。谈起神经网络，很多对它不了解的产品经理会认为这是一种很深奥、复杂的算法。在工作中，有

对于Vue.js框架编程而言，当创建一个新的Vue实例对象时，其会将数据（data）对象中的所有的property属性?入到Vue.js框架的响应式系统当中去。该操作带来的最直接效果就是，当这些property属性值发生改变时，视图（View）将会随之发生“响应”——也就是同时更新为新匹配的属性值。以上关于Vue.js数据的描述听起来会感觉比较晦涩，下面我们通过具体实例进行解释。（1）在页面中定义一个层（）元素，用于显示Vue组件定义的对象，代码如下：【代码8-1】（详见源代码vu.....

在日常生活中，我们几乎每天都在做选择题。小到午饭选哪家餐厅的外卖，大到?业以后选择打工还是创业，都是一个有有限答案的选择题。这些看似简单的选项背后往往隐藏着一连串问题的答案，只有逐个回答，逐层深入方能找到答案。当我们选择外卖的时候可能会思考以?几个问题。先想想今天想吃什么口味的菜品，再想想自己能接受的价格区间是多少。因为午休的时间比较短，还要考虑送达时间等问题，最后选出一家合适的餐馆。在面对打工还是创业的就业选择时，通常我们先考虑创业的风险，如果风险较低，再考虑有没有好的创业方向。如果碰巧有

4.5.1 梯度下降原理求解这个凸函数的最低点通常采用“梯度?降法”。构造损失函数，把求解最优参数θ的问题变成求解损失函数最小值的问题，便可以用梯度?降法求解。梯度?降法是调整参数θ使得损失函数J(θ)取得最小值的最基本方法之一。从图像上看，就是在碗状结构的凸函数上取一个初始值，然后沿着楼梯一步步挪动这个值，直到?降到最低点。梯度?降法的求解过程就像是一个旅客?山的场景。如图 4-16 所示，假设一位旅客在山上迷路了，身上没有水也没有食物，只有山?才有水源，因此他需要找到最快的?山路径。此

回归分析对我们来说并不陌生，早在小学的时候，有一种题目是从数列中找规律，然后填出?一个数字。例如一个数列为“1、4、7、10、__”，请找出规律填出?一个数字。对于这个简单的数列很容易看出规律，每一个后面的数字是前一个加“3”得到的，因此横线处应该填写 13。实际上我们已经找到了这个数列的函数表达式，也预测出了?一个值，只是我们当时只知道用“加3”这样的方式表示。在统计学中，回归分析法指利用数据统计原理，对大量统计数据进行数学处理，确定因变量与某些自变量的相关关系，建立一个强相关性的回归方程

在进行数据预处理时，有一个重要的步骤可以帮助我们直观地了解数据状况，那就是数据可视化。有时候，数据通过表格的形式展现，很难看清楚特征之间的关系。因此在平时的工作中，常用数据可视化的方式突出数据的特点。数据可视化是产品经理的好帮手，你需要了解有哪些可视化的方法，各个方法之间的区别。这些工作能够引导我们构建模型，帮助我们理解机器学习模型的机制。数据可视化的图表类型有很多，这里我们只讲最常用的直方图与散点图。3.2.1 直方图直方图（Histogram）又称质量分布图，由一系列高度不等的纵向矩形表

3.1.1 机器学习的数据统计思维相信不少产品经理都有与前端工程师沟通需求的经历。如果想要将一个页面的背景色变成蓝色，只需要告诉工程师一个色值，工程师输入一行代码，就能够实现这个效果。如果想要将页面中菜单栏与内容栏的间距变大，只需要告诉他们一个距离，他们输入一行代码，就能改变间距。对于工程师来说，他们赋予计算机一串指令，编译器根据这串指令一步步执行?去，生成结果。这是因为对于“程序”背后蕴含的“逻辑关系”，可以通过特定的语法得到想要的结果，工程师只需要将规则翻译成指令，交给计算机去执行即可。

2.2.1 如何进行特征工程.用于机器学习的数据源一般有两种：一种是业务部门直接提供的数据，或者根据需要在网络上爬取的数据。这种数据称为原始数据，通常存在较多的问题，需要通过数据预处理整理数据并且找出解决问题所需要的特征；另一种是对原始数据进行组合加工构建的高级特征数据，构建高级特征的过程称为特征工程。接?来我们学习如何挖掘特征与特征之间的联系，组合出高级特征。特征工程的本质是数据转化。原始数据通过特征工程转化为更有意?的数据，这类特征能够表述原始数据集的内在关联关系。特征工程在机器学习中占有

数据准备有收集数据、探索数据、数据预处理三个步骤。这一章我们重点讲解如何挖掘数据的有效信息以及如何对数据进行预处理，以便从加工后的数据中提取特征，为模型学习打?坚实的基础。在信息化时代，数据逐渐成为现代社会基础设施的一部分，就像日常生活中不可或缺的水、电、公路、通信网络一样。同时因互联网的快速普及，全球数据量正呈现出指数级的爆炸式增长。弗雷斯特研究公司的公开研究结果表明，目前金融交易、社交媒体、GPS 坐标等数据源每天产生超过 2.5EB 的海量数据。美国国际数据集团预测，按照目前全球数据总量

产品经理在日常工作中经常要用到一些理论方法来帮助解决问题。例如，在需求调研阶段，使用深度?谈、焦点小组、问卷调查、可用性测试等方法获得用户的真实反馈。在需求分析阶段，使用KANO模型、RFM模型、重要性象限判断等方法划分需求优先级。选择方法的关键是看使用场景以及不同产品的特性。在机器学习方面同样也有很多不同的算法，选择算法的关键是看数据的类型和待解决的问题。如图1-8所示，机器学习最常见的分类方式是根据数据有无标签分为四类：数据全部有标签的情况称为有监督学习，这种学习通过已有的一部分输入数据

1.3.1 机器学习的三个阶段学习了机器学习的概念后，我们知道机器学习实际上就是计算机通过算法处理数据并且学得模型的过程。“模型”这个词经常被我们挂在嘴边，但大部分人仍然不清楚模型是怎么做出来的，模型在计算机里是怎么表示的，对模型很难有一个具象的认识。实际上模型主要完成转化的工作，帮助我们将一个在现实中遇到的问题转化为计算机可以理解的问题，这就是我们常说的建模 。如图1-6所示，在机器学习中生成一个模型的过程包括准备数据、建立模型以及模型应用三个阶段。准备数据有收集数据、探索数据及数据预处理三

在前面的章节中，提到了mongoose模块是基于node-mongodb-native开发的MongoDB的Node.js驱动，同样使用node-mongodb-native这个原生MongoDB驱动也可以对MongoDB进行相应的操作。node-mongodb-native 模 块 的 GitHub 地 址 是https://github.com/mongodb/node-mongodb-native ， 官 方 网 站 为http://mongodb.github.io/node-mongod

机器学习不是万能的，不能解决所有的问题。机器学习擅长的是通过已知经验找到规律去解决问题。如果我们面对的问题没有任何规律可循，完全是一个随机事件，那么使用再复杂的机器学习算法也无济于事 。值得注意的是，很多问题看似没有规律，实际上是人类处理不了太大的数据量，看起来杂乱的数据掩盖了背后的规律，这类问题并非无迹可寻，只是需要用正确的方法。所以面对问题，产品经理首先要分析可行性，想清楚数据背后的关联关系，透过数据现象看到问题本质。当银行决定某个客户的贷款额度时，可以根据过往成功放贷的数据找出每个贷款

自计算机问世以来，人类一直尝试赋予计算机思想，让计算机变得更智能，使它能够理解我们说的话，看懂我们的表情，还能够帮助我们处理复杂的事 情 。 为 此 ， 一 个 专 门 的 学 科 诞 生 了 ， 即 人 工 智 能 （ ArtificialIntelligence）。如今，人工智能已经成为计算机科学的一个重要分支，它主要研究智能的实质，并提出一种模拟人类思考的方式。该领域的研究对象包括机器人、语音识别、图像识别、自然语言处理和专家系统等。从20世纪50年代起，人工智能的发展进入第一阶段推理期，