- 博客(49)
- 收藏
- 关注
RSS订阅原创 人工智能基础课【学习笔记】结课 | 溯洄从之，道阻且长
三个月的时间弹指即逝，40 期的《人工智能基础课》已走到尾声。在专栏里，我和你一起走马观花地浏览了人工智能的技术概观，以。算起来，经历了三起三落之后，人工智能已步入花甲之年。虽然在创造者眼中仍然是个孩子，但对你我这些后学之辈来说，这位老人身上还是有无穷的奥秘有待探索。在我看来，。当然，简历无法浓缩一个人丰富的经历，40 篇文章的体量也不足以覆盖人工智能的全部内容。想要基于这份提纲深入研究，还需要大量的时间和精力的付出。在互动中，不少朋友都表达了从事人工智能工作的意愿。
2024-06-15 12:33:45
867
原创 人工智能基础课【学习笔记】 | 机器学习必备的数学基础
在此前 4 个月的时间当中，我和大家一块分享了最近火热的人工智能的技术，包括它的一些数学基础、机器学习的算法以及神经网络，还有深度学习这样一些热点的话题。俗话说得好，编筐编篓，全在收口。能在最后一次更新的时候和大家做一次这样的视频直播的分享，我觉得也是非常荣幸，能够有机会和大家进行一个更加深入的交流。我们今天分享的内容主要是。从这个主题当中，我也可以感受到，大家在学习人工智能的时候，一个务实的态度。
2024-06-15 12:24:48
1100
原创 人工智能基础课【学习笔记】40 应用场景 | 数字巴别塔：机器翻译
根据圣经旧约《创世纪》中的记载，大洪水劫后，诺亚的子孙们在巴比伦附近的示拿地定居。这一时期的机器翻译有了全新的理论基础：语言学巨擘诺姆·乔姆斯基在其经典著作《句法结构》（Syntactic Structures）中对语言的内涵做了深入的阐述，他的核心观点是语言的基本元素并非字词，而是句子，一种语言中无限的句子可以由有限的规则推导出来。同一个词可能存在多种意义，在不同的语言环境下也具有不同的表达效果，逐字对应的翻译在意义单一的专业术语上能有较好的表现，但在日常生活的复杂语言中就会演化为一场灾难。
2024-06-15 12:00:29
685
原创 人工智能基础课【学习笔记】39 应用场景 | 心有灵犀一点通：对话系统
在机器人已有初始固定数据集训练基础的前提下，与人类实时或半实时的互动学习能够有效提升机器人的表现，这样的学习过程甚至可以无限地持续下去，这是不是意味着学无止境的道理对人工智能同样适用呢？在这个过程中，反馈的形式包括两种：一种是在常规的深度学习中使用的明确的数字类型回复，另一种是在人类对话中更加常见的文本式反馈。在处理反馈的过程中，如何以最小的反馈量实现对机器人的高效训练，机器人如何利用不同类型的反馈信号，在实时学习中如何避免收敛性差与不稳定性等都是需要解决的问题。而在 2017 年的。
2024-06-15 11:58:47
541
原创 人工智能基础课【学习笔记】38 应用场景 | 嘿, Siri：语音处理
经过训练，机器学习的算法就能完成从语言特征到声音特征的映射，生成的声音特征被用于指导单元选择过程，至关重要的指导因素就是合适的音调和音长。在后端，录制的语音流数据首先要根据语音识别声学模型进行分段，在这个过程中，输入的语音序列需要与从语音信号中提取出的声学特征进行对准。比如说如果文本是个疑问句，那么输出的语音就应该以升调结尾，文本中的感情色彩也会影响语音特征的选择。但这些语料不可能覆盖所有的表达，因而需要将其划分为音素和半音素等更微小的基本单元，再根据由输入语音转换成的文本将基本单元重组，合成全新的语音。
2024-06-15 11:57:33
550
原创 人工智能基础课【学习笔记】37 应用场景 | 你是我的眼：计算机视觉
残差的操作相当于用恒等映射对待学习的未知映射做了一重预处理，因而学习的对象就从原始的未知映射 H(x) 变成了对恒等映射的扰动 F(x)，这就使深度结构的优势得以发挥。密集网络的研究者提到，他们的想法借鉴了残差网络的思想，但密集网络的独特之处在于所有层都可以直接获取前面所有层中的特征，而残差网络中的层只能获取到和它相邻的那个层次。全连接的特性提升了结点，也就是不同层之间的交互性，让提取出的特征在不同的层次上得到重复的利用，起到整合信息流的作用。如此一来，良好特征的设计就成为了视觉处理的关键和瓶颈。
2024-06-15 11:53:52
883
原创 人工智能基础课【学习笔记】36 深度学习之外的人工智能 | 滴水藏海：知识图谱
知识图谱中的概念、属性和关系可以用下面的一个例子来理解：当我们提到莱昂内尔·梅西的时候，即使不熟悉足球的人也很可能知道他是个足球运动员，这里的“足球运动员”就是概念；在算错的情况下等于 3！但在由软性规则构造出的马尔可夫逻辑网中，1 加 1 等于 3 也是合法的，但这个合法规则只存在于另外的一个平行世界之中，这个世界和真实世界的差别很大，其存在的可能性很小，因而与它相关的规则成立的概率也会很低。如果在我认识的程序员朋友中，小张很聪明，老李很聪明，大刘也很聪明，那我就有理由相信，所有的程序员都很聪明。
2024-06-15 11:52:55
729
原创 人工智能基础课【学习笔记】35 深度学习之外的人工智能 | 授人以鱼不如授人以渔：迁移学习
基于特征映射的迁移学习是把每个领域的数据从原始高维特征空间映射到新的低维特征空间，使源域数据和目标域数据在新的低维空间上具有相同的分布，这样就可以利用低维空间表示的有标签的源域数据来训练目标域上的分类器。与其他三种方法不同，关系学习方法处理的是关系域中的迁移学习问题，其中的数据在概率上不需要满足独立同分布的条件，但是一定要能够用类似的关系来表示，最典型的实例就是物理网络的数据和社交网络的数据。元学习的目标是通过对元数据的自动化学习来提升学习算法的灵活性，是对学习方法的学习。那么你如何看待迁移学习的前景呢？
2024-06-15 11:52:17
860
原创 人工智能基础课【学习笔记】34 深度学习之外的人工智能 | 乌合之众的逆袭：集群智能
在由大量数目的生物个体构成的群体中，不同个体之间的局部行为并非互不相关，而是互相作用和影响，进而作为整体化的协调有序的行为产生对外界环境的响应。集群智能系统中的作用方式通常是个体间的间接通信，因而互动的个体数量往往不会随着群体中个体的总数量的增加而增长，每个个体的行为只受群体维度的松散影响。在行进的过程中，蚂蚁会在自己的路径上释放信息素，信息素的强度是与解的最优程度成正比的，新的蚂蚁则会根据已有信息素的强度选择自己的行进路径。功能模拟是个自顶向下的过程：先确定要完成的任务，再来设计任务实现的方式。
2024-06-15 11:51:43
672
原创 人工智能基础课【学习笔记】33 深度学习之外的人工智能 | 一图胜千言：概率图模型
条件独立性是概率论视角下的概念，如果从图论的角度看，变量之间的依赖与独立对应的是顶点之间的连通与分隔。它们提供了将概率模型的结构可视化的简单方式，而对图形的观察可以加深对模型性质的认识，其中最主要的性质就是变量之间的条件独立性。如果不同的变量之间存在因果关系，那么相应的顶点就会由带箭头的边连接起来，箭头的方向由表示原因的变量指向表示结果的变量，边的权重就是对应的条件概率值。可遗憾的是，真实世界是由随机性和误差主宰的，在这光怪陆离的环境中，纯粹的数理逻辑就如同古板的老夫子一般与周遭格格不入。
2024-06-15 11:51:08
440
原创 人工智能基础课【学习笔记】32 深度学习框架下的神经网络 | 三重门：长短期记忆网络
相比于原来使用的基于短语的系统，新系统的翻译误差平均降低了 60%，这是非常明显的提升。输入门的工作机制与遗忘门类似，但是更加复杂，它首先用对数几率函数对即时输入和上一时刻的输出的组合进行过滤，过滤的作用一方面在于确定哪些信息被保留，另一方面则在于确定这些信息以何种比例被添加到记忆单元之中。当然，记忆单元的更新不一定意味着完全的替换，对新输入的部分信息和原始存储中的部分信息加以整合也是可以的。长期记忆的基础是足够的存储，但宝贵的存储不能被滥用，它不是收集桶，有用的没用的都一股脑儿往里面扔。
2024-06-15 11:49:54
708
原创 人工智能基础课【学习笔记】31 深度学习框架下的神经网络 | 左右互搏：生成式对抗网络
没有坚实的理论基础，对算法的推广自然存在困难。生成式对抗网络是没有显式的损失函数的，之所以这么说是因为它训练的目标是生成器，判别器只是训练过程中的副产品。2016 年 10 月，谷歌大脑的研究者们做了一个有趣的实验：使用三个并不复杂的神经网络执行保密通信的任务，两个合法通信方共享的只有保密的密钥，而没有商定的加解密算法，第三个神经网络则作为窃听者出现。实验的结果同样令人惊讶：经过不断的试错与调整，接收方可以精确恢复出发送方的明文，而窃听者的错误率稳定在 50% 左右，意味着她的破译只是随机的猜测。
2024-06-15 11:48:07
458
原创 人工智能基础课【学习笔记】30 深度学习框架下的神经网络 | 昨日重现：循环神经网络
这个式子的含义在于将时刻 t 的输入 xt 的加权结果和时刻 t−1 的隐藏层状态 ht−1 的加权结果共同作为传递函数的输入，得到的就是隐藏层在时刻 t 的输出 ht。由于正向计算和反向计算的权重系数是不共享的，因而双向循环网络需要分别计算正向和反向的结果，并将两者的组合作为隐藏层的最终参数。它的作用不是给每种类型的特征分配固定的权重，而是描述一系列时序事件之间的关系，即使这些事件之间可能没有明显而紧密的时间关联，但它们之间的相关性依然可能如草蛇灰线般伏延千里，而这正是循环网络的记忆要挖掘的对象。
2024-06-15 11:46:05
700
原创 人工智能基础课【学习笔记】29 深度学习框架下的神经网络 | 见微知著：卷积神经网络
如果在图像的一个区域上，某些像素的组合构成一条直线，那么在图像的其他区域，具有相同灰度的像素组合仍然是直线，而不会变成一个圆。将前面介绍的卷积神经网络结构加以总结，就可以得到它的工作流程：输入层将待处理的图像转化为一个或者多个像素矩阵，卷积层利用一个或多个卷积核从像素矩阵中提取特征，得到的特征映射经过非线性函数处理后被送入池化层，由池化层执行降维操作。如果选取的核函数表示一个直角，原始图像中的直角就会体现为特征映射中一个较大的数值，根据这个数的坐标就可以确定曲线在输入图像中的位置。
2024-06-15 11:45:01
703
原创 人工智能基础课【学习笔记】28 深度学习框架下的神经网络 | 枯木逢春：深度信念网络
具体的做法是保持所有连接的权重系数不变，但是将方向反转，这样一来，每个隐藏单元的输出就会按照已经确定的系数反馈给可见层，可见层的每个神经元接收到的反馈信息是不同隐藏单元输出的线性组合。从功能上看，深度信念网络的每一个隐藏层都代表着对输入数据的一种中间表示，而隐藏层中的每个神经元都代表着输入数据不同层次上的特征，不同层神经元之间的连接则代表着不同层次特征之间的联系，所有特征和特征之间的所有关系共同形成了对输入数据的抽象描述。，它既能让隐藏层准确地提取可见层的特征，也能根据隐藏层的特征较好地还原出可见层。
2024-06-15 11:43:15
773
原创 人工智能基础课【学习笔记】27 深度学习 | 困知勉行者勇：深度强化学习
本质上说，Q 学习算法是有限集上的搜索方法，如果出现一个不在原始集合中的新状态，Q 算法就无能为力了，所以这是一种不具备泛化能力的算法，也就不能对未知的情况做出预测。为了实现具有预测功能的 Q 算法，深度强化学习采用的方式是将 Q 算法的参数也作为未知的变量，用神经网络来训练 Q 算法的参数，这样做得到的就是深度 Q 网络。这种方法的问题是在每一轮的策略梯度更新中都需要大量智能体与环境的互动轨迹作为训练数据，但在强化学习中，大量的在线训练数据是难以获取的，这无疑给策略梯度方法带来了很大的限制。
2024-06-14 11:17:06
312
原创 人工智能基础课【学习笔记】26 深度学习 | 空竹里的秘密：自编码器
在自编码器的另一端，输出层将隐藏层的输出转换为自编码器的整体输出，从而实现了解码映射的功能。如果栈式自编码器的输入是几何形状，那么它的第一层就会学习如何识别边缘，第二层会在第一层学到的边缘概念的基础上，学习如何通过边缘的组合得到轮廓，更高层还会学到如何通过轮廓的组合得到不同的形状这类更高阶的特征。有损压缩的特点决定了它不可能对所有输入都具有较小的信息量损失，因而学习的作用就是习得在训练数据集上更加精确的映射，并希望这样的映射在测试数据上同样表现良好，也就是使自编码器具有较好的泛化性能。
2024-06-14 11:16:19
399
原创 人工智能基础课【学习笔记】25 深度学习 | 玉不琢不成器：深度学习中的优化
梯度聚合方法则将先前迭代中得到的梯度估计存储下来，并在每次迭代中对这些估计中的一个或多个进行更新，再通过将搜索方向定义为之前轮次中梯度估计的加权平均，来改善搜索方向的准确性。当训练集的数据量较大，并且经验风险又难以用简单的解析式来表示时，计算所有梯度的求和就会变成一个复杂的计算任务，消耗大量的计算资源。相对于让所有训练样本的风险函数最小化的原始梯度下降法，随机梯度下降是让每几个样本的风险函数最小化，虽然不是每次迭代得到的结果都指向全局最优方向，但大方向终归是没有错的，其最终的结果往往也在全局最优解附近。
2024-06-14 11:15:29
323
原创 人工智能基础课【学习笔记】24 深度学习 | 小树不修不直溜：深度学习中的正则化
常用的参数共享方法是将一个监督学习模型的参数正则化，令其接近另一个无监督学习的模型，那么这个无监督学习模型就可以匹配监督模型的参数。需要注意的是，以上的分类方式并不是互斥的，一种正则化方法通常针对的是学习算法中的多个变量。误差函数表示的是算法输出与目标输出之间的一致性，正则化项表示的则是关于映射关系的额外的假设。对初始化的正则化影响的是权重系数的最初选择，这既可以通过在特定的概率分布中选择初始参数完成，也可以经由预训练实现。早停的正则化效果在数学上也有解释，在简单的模型下，早停和 L2 正则化是等价的。
2024-06-14 11:13:50
318
原创 人工智能基础课【学习笔记】23 深度学习 | 前方有路，未来可期：深度前馈网络
虽然在 0 点这个间断点上不满足可微的条件，但在激活的区域上，整流线性单元的一阶导数是常数 1，二阶导数则恒等于 0。损失函数的表示与输出单元的选择密切相关，输出单元的传递函数决定了交叉熵的具体表达式。相比于这些函数，整流线性单元的优势在于它的线性特性，这一性质使得模型更加容易优化，对黑箱中的隐藏神经元而言尤其如此。虽然在这个定理的初始证明中，隐藏神经元的传递函数是具有“挤压”性质的非线性函数，但定理的成立性实际上并不取决于传递函数的性质，而是由网络的前馈架构所决定的。寻找损失函数的最小值。
2024-06-14 11:12:56
376
原创 人工智能基础课【学习笔记】22 深度学习 | 空山鸣响，静水流深：深度学习概述
第一个隐藏层学习到“边缘”的特征，第二个隐藏层学习到的是由“边缘”组成的“形状”的特征，第三个隐藏层学习到的是由“形状”组成的“图案”的特征，最后的隐藏层学习到的是由“图案”组成的“目标”的特征。在 64 格的国际象棋棋盘上，深蓝的运算能力决定了它能算出 12 手棋之后的局面下的最优解，而身为人类棋手执牛耳者的卡斯帕罗夫最多只能算出 10 手棋，多出来的两手棋就会成为左右战局的关键因素。在这一过程中，小猫的瞳孔感受不同类型和不同强度的刺激，小猫的后脑上则被插入电极，用来测量神经元的活跃程度。
2024-06-14 11:12:01
499
原创 人工智能基础课【学习笔记】21 人工神经网络 | 水无至清，人莫至察：模糊神经网络
假如一个模糊数中包含三个元素 x、y 和 z，其参数分别是 0.3、0.6 和 0.7，那么当截断点等于 0.5 时，这个模糊数的 0.5 水平集就会把参数为 0.3 的元素 x 过滤掉，只保留参数大于 0.5 的 y 和 z。扩展原理及其引申得到的模糊算术，定义的就是运算给模糊数的模糊程度带来的变化，这当然也是一个通俗的说法。神经模糊系统的基础是。模糊神经网络是一类特殊的神经网络，它是神经网络和模糊逻辑结合形成的混合智能系统，通过将模糊系统的类人推理方式与神经网络的学习和连接结构相融合来协同这两种技术。
2024-06-14 11:03:48
244
原创 人工智能基础课【学习笔记】20 人工神经网络 | 看不见的手：自组织特征映射
自组织映射的拓扑结构并非如多层感知器般的层次结构，而是一张一维或者二维的网格，网格中的每个节点都代表一个神经元，神经元的权重系数则是和输入数据的维度相同的向量。”的效应，它描述的是兴奋的神经元会降低相邻神经元活性的现象。在训练过程中，自组织映射中每个神经元的权重系数首先要初始化，初始化的方式通常是将其赋值为较小的随机数，这可以保证不引入无关的先验信息。在降维的同时，自组织映射妙就妙在还能维持数据在高维空间上的原始拓扑，将高维空间中相似的样本点映射到网络输出层的邻近神经元上，从而保留输入数据的结构化特征。
2024-06-14 11:02:59
385
原创 人工智能基础课【学习笔记】19 人工神经网络 | 各人自扫门前雪：径向基函数神经网络
但在之前的处理中，空间的维数并未增加，问题的转化只用到了非线性的高斯函数。感受野理论告诉我们，每个训练数据对曲面的影响都只限于其数据周边的一个小范围内，因而在新样本的插值结果中，贡献较大的是离它比较近的训练数据。径向基函数是只取决于与中心矢量的距离的函数，也就是不管不同的点是在东西还是南北，只要它们和中心点之间的距离相同，其函数值就是相同的。支持向量机中的核技巧能够把低维空间中的非线性问题映射成高维空间中的线性问题，将低维空间中曲面形式的决策边界转化为高维空间中的超平面，从而降低分类问题的难度。
2024-06-14 11:01:49
320
原创 人工智能基础课【学习笔记】18 人工神经网络 | 左手信号，右手误差：多层感知器
在输出节点的神经元 E 上，各路输入线性组合的结果为 0.5，因而 E 的输出，也是神经网络整体的输出，为 1，与两个输入的异或相等。上面的这个过程发生在单个的隐藏神经元上，而在隐藏层中每个神经元上发生的都是同样的故事，所以整个网络的输出变化就等于所有隐藏神经元上由“权重系数 + 传递函数”计算出的输出变化的总和。在训练过程中，虽然信号的流向是输出方向，但计算出的误差函数和信号传播的方向相反，也就是向输入方向传播的，正因如此，这种学习方式得名。所以在算法执行的过程中，能够更新的就只有权重系数了。
2024-06-14 11:00:51
350
原创 人工智能基础课【学习笔记】17 人工神经网络 | 一个青年才俊的意外死亡：神经元与感知器
第二，受硬件水平的限制，当时的计算机无法完成训练感知器所需要的超大的计算量。更重要的是，大量来自政府的经费都涌向罗森布拉特的项目，也许这才是让明斯基不爽的真正原因。异或问题是最简单的逻辑问题之一，如果连异或的分类都无法解决，这样的模型存在的意义就颇为有限了。遗憾的是，赫布的学习机制并不适用于 MP 神经元，因为 MP 神经元中的权重 wi 都是固定不变的，不能做出动态的调整。通俗地说，两个神经细胞之间通过神经元进行的交流越多，它们之间的联系就会越来越强化，学习的效果也在联系不断强化的过程中逐渐产生。
2024-06-14 11:00:04
394
原创 人工智能基础课【学习笔记】16 人工神经网络 | 道法自然，久藏玄冥：神经网络的生理学背景
但巧妙的是，在逐级整合的过程中，每一个层次上实现的都是”1 + 1 > 2”的效果，在较高层次上产生了较低层次的每个子系统都不具备的“突生功能”。其实剑齿虎也好，长毛象也罢，不过是不同波长不同数量的光子的组合，是我们的视网膜和大脑的视觉皮层把这些光子进一步加工为不同的属性，这就是信息抽象的过程。重要的是，数据的传输和处理是同步进行的，并不存在先传输后处理的顺序。在这个模型中，信息的加工具有从简单到复杂的层次化特征，在每个层次上都有相应的表征，无论是特征提取还是认知加工，都是由不同表征的组合完成的。
2024-06-14 10:58:56
1043
原创 （课外辅导）拓展阅读参考书
这本书的特点在于将机器学习看成一个整体，不管于基于频率的方法还是贝叶斯方法，不管是回归模型还是分类模型，都只是一个问题的不同侧面。采用“总 - 分 - 总”的结构，在梳理了统计学习的基本概念后，系统而全面地介绍了统计学习中的 10 种主要方法，最后对这些算法做了总结与比较。这本书以数学公式为主，介绍每种方法时都给出了详尽的数学推导，几乎不含任何废话，因而对读者的数学背景也提出了较高的要求。它强调的是各种学习方法的内涵和外延，相比于具体的推演，通过方法的来龙去脉来理解其应用场景和发展方向恐怕更加重要。
2024-06-14 10:57:06
303
原创 人工智能基础课【学习笔记】15 机器学习 | 好钢用在刀刃上：降维学习
因而，原始样本点和在投影超平面上重构出的样本点之间的距离可以表示为 ∣∣j=1∑kzijwj−xi∣∣22，在整个训练集上对距离求和并最小化，求出的解就是最小均方误差意义下的最优超平面。这是降维操作不可避免的代价。在信号处理理论中，当信号的均值为零时，方差反映的就是信号的能量，能量越大的信号对抗噪声和干扰的能力也就越强。在数学上，投影后所有样本点的方差可以记作 i∑WTxixiTW，式中每个 n 维向量 xi 都代表具有 n 个属性的样本点，W 则是经过投影变换后得到的新坐标系。
2024-06-14 10:56:20
308
原创 人工智能基础课【学习笔记】14 机器学习 | 物以类聚，人以群分：聚类分析
当所有样本的聚类归属都确定后，再计算每个聚类中所有样本的算术平均数，作为聚类新的中心，并将所有样本按照 k 个新的中心重新聚类。ϵ - 邻域这一概念给出的对邻域的限制，密度的可连接性则通过密度直达关系、密度可达关系、密度相连关系等一系列标准定义，根据这些概念形成的聚类就是由密度可达关系导出的最大的密度相连样本集合。此外，由于算法优化的对象是每个聚类的中心，因而 k 均值算法倾向于划分出相似大小的聚类，这会降低聚类边界的精确性。在采用会聚策略的层次聚类算法中，数据集中的每个样本都被视为一个初始聚类。
2024-06-14 10:47:03
820
原创 人工智能基础课【学习笔记】13 机器学习 | 三个臭皮匠，赛过诸葛亮：集成学习
这些未使用的数据没有参与个体学习器的训练，但可以作为验证数据集，用于对学习器的泛化性能做出包外估计，包外估计得到的泛化误差已被证明是真实值的无偏估计。以 Boosting 方法为代表的序列化方法使用了全体训练数据，并根据每次训练的效果不断迭代以使损失函数最小化，因而可以降低平均意义上的偏差，能够基于泛化能力较弱的学习器构建出较强的集成。如果每个个体学习器的分类精度都不高，在集成时错误的分类结果就可能占据多数，导致集成学习的效果甚至会劣于原始的个体学习器，正如俗语所言“和臭棋手下棋，越下越臭”。
2024-06-12 10:31:52
883
原创 人工智能基础课项【学习笔记】12 机器学习 | 穷则变，变则通：支持向量机
支持向量机的学习问题可以形式化为凸二次规划问题的求解，SMO 算法的特点正是不断将原始的二次规划问题分解为只有两个变量的二次规划子问题，并求解子问题的解析解，直到所有变量满足条件为止。这，就是棋盘上的核技巧。正定核函数的充要条件是由函数中任意数据的集合形成的核矩阵都是半正定的，这意味着任何一个核函数都隐式定义了一个成为“再生核希尔伯特空间”的特征空间，其中的数学推导在此不做赘述。最简单的情形是训练数据线性可分的情况，此时的支持向量机就被弱化为线性可分支持向量机，这可以视为广义支持向量机的一种特例。
2024-06-06 15:52:53
706
原创 人工智能基础课【学习笔记】11 机器学习 | 步步为营，有章可循：决策树
在这套策略中，业主对每个可选房源都要做出“买”与“不买”的决策结果，而“每平米价格”、“房屋面积”、“学区房”等因素共同构成了决策的判断条件，在每个判断条件下的选择表示的是不同情况下的决策路径，而每个“买”或是“不买”的决定背后都包含一系列完整的决策过程。信息增益描述的是在已知特征后对数据分类不确定性的减少程度，因而特征的信息增益越大，得到的分类结果的不确定度越低，特征也就具有越强的分类能力。在特征空间上，单变量决策树得到的分类边界是与坐标轴平行的分段，多变量决策树的分类边界则是斜线的形式。
2024-06-06 15:46:10
864
原创 人工智能基础课【学习笔记】10 机器学习 | 衍化至繁：逻辑回归
相比之下，逻辑回归的偏差更小，但方差更大。逻辑回归则在线性回归的基础上，通过对数似然函数的引入使判定边界的形状不再受限于直线，而是推广为更加复杂的曲线形式，更加精细的分类也就不在话下。如果将对数几率函数的结果 y 视为样本 x 作为正例的可能性，则 1−y 就是其作为反例的可能性，两者的比值 0<1−yy<+∞ 称为几率，体现的是样本作为正例的相对可能性。其次，当线性回归的结果 z=0 时，逻辑回归的结果 y=0.5，这可以视为一个分界点：当 z>0 时，y>0.5，此时逻辑回归的结果就可以判为正例；
2024-06-06 15:45:22
654
原创 人工智能基础课【学习笔记】09 机器学习 | 大道至简：朴素贝叶斯方法
每一个样本既可以用于刻画 x1，又可以用于刻画 xn，这无形中将训练样本的数量扩大为原来的 n 倍，分析属性的每个取值对分类结果的影响时，也有更多数据作为支撑。还是以贷款申请为例，如果在训练集中没有样本同时具有“年龄大于 60”的属性和“发放贷款”的标签，那么当一个退休人员申请贷款时，即使他是坐拥百亿身家的李嘉诚，朴素贝叶斯分类器也会因为后验概率等于零而将他无情拒绝。即使相关性在不同类别上的分布不是均匀的也没关系，只看两个单独的属性，它们之间可能存在强烈的依赖关系，会影响分类的结果。
2024-06-06 15:28:59
305
原创 人工智能基础课【学习笔记】08 机器学习 | 简约而不简单：线性回归
与岭回归不同的是，LASSO 回归选择了待求解参数的一范数项作为惩罚项，即最小化的对象变为 ∣∣yk−wTxk∣∣2+λ∣∣w∣∣1，其中的 λ 是一个常数。在大量复杂的实际任务中，每个样本中属性的数目甚至会超过训练集中的样本总数，此时求出的最优解 w∗ 就不是唯一的，解的选择将依赖于学习算法的归纳偏好。对这个现象的一种解释是回归结果可以完美匹配理想样本点的分布，但训练中使用的真实样本点是理想样本点和噪声叠加的结果，因而与回归模型之间产生了偏差，而每个样本点上噪声的取值就等于 yk−f(xk)。
2024-06-06 15:27:52
619
原创 人工智能基础课【学习笔记】07 机器学习 | 数山有路，学海无涯：机器学习概论
机器学习要做的就是根据已有的训练数据推导出描述所有数据的模型，并根据得出的模型实现对未知的测试数据的最优预测。但在实际生活中，每个国家的人都不是同一个模子刻出来的，其长相自然也会千差万别，因而一个浓眉大眼的韩国人可能被误认为中国人，一个肤色较深的日本人也可能被误认为泰国人。然而，一旦过于看重训练误差，一味追求预测规律与训练数据的符合程度，就会把训练样本自身的一些非普适特性误认为所有数据的普遍性质，从而导致学习器泛化能力的下降。在人类的学习中，有的人可能有高人指点，有的人则是无师自通。
2024-06-06 15:25:42
645
原创 人工智能基础课（课外辅导）数学基础 | 拓展阅读参考书
作者从逻辑的角度探讨了基于频率的概率，贝叶斯概率和统计推断，将概率论这门偏经验的学科纳入数理逻辑的框架之下。陈老的书重在论述统计的概念和思想，力图传授利用统计观点去观察和分析事物的能力，这是非常难能可贵的。这本书通过向量和线性方程组这些基本概念深入浅出地介绍线代中的基本概念，着重公式背后的代数意义和几何意义，同样配有大量应用实例，对理解基本概念帮助很大。，对应原书第九版，也有英文影印本。这本书抛开测度，从中心极限定理的角度讨论概率问题，对概念的解释更加通俗，书中还包含海量紧密联系生活的应用实例与例题习题。
2024-06-06 15:24:37
926
原创 人工智能基础课【学习笔记】06 数学基础 | 明日黄花迹难寻：形式逻辑
人工智能的早期研究者认为人类认知和思维的基本单元是符号，而认知过程就是对符号的逻辑运算，这样一来，人类抽象的逻辑思维就可以通过计算机中逻辑门的运算模拟，进而实现机械化的人类认知。从“认知即计算”的角度出发，基于计算机的人工智能如果想要达到近似人类的思维能力，也必须建立起“自我”的概念，这就无疑会导致自指的出现，也将成为不完备性定理的活靶子。存储的是输入事实、中间结果与最终结果，当规则库中的某条产生式的前提可与事实库中的某些已知事实匹配时，该产生式就被激活，其结论也就可以作为已知事实存储在事实库中。
2024-06-06 15:21:43
486
原创 人工智能基础课【学习笔记】05 数学基础 | 万物皆数，信息亦然：信息论
这就是分类带来的不确定性的下降。非对称性则是指 DKL(P∣∣Q)=DKL(Q∣∣P)，即用 P(X) 去近似 Q(X) 和用 Q(X) 去近似 P(X) 得到的偏差是不同的，因此 KL 散度并不满足数学意义上对距离的定义，这一点需要注意。在生活中，信息的载体是消息，而不同的消息带来的信息即使在直观感觉上也是不尽相同的。可是当信源的符号集合不变，而符合的概率分布变为 Q(X) 时，再用概率分布 P(X) 的最优编码对符合分布 Q(X) 的符号编码，此时编码结果的字符数就会比最优值多一些比特。
2024-06-06 15:20:17
418
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人