玩转人工智能中的机器学习之知识体系

机器学习是AI理论中最关键和重要的部分，之前的分析学、线性代数与矩阵论、概率论与数理统计、运筹学与最优化这些基础理论都是为了学习机器学习的内容做好准备。机器学习通过计算机模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径。主要有两大领域的人在从事机器学习的研究，一个领域的人是做统计的，另外一个领域的人是做计算机研究的。不同领域的人对机器学习有不同的叫法，做统计的人喜欢叫做统计学习或者统计机器学习，做计算机研究的人喜欢叫机器学习。实际上统计学习、机器学习、统计机器学习的内容大体一致。通常意义下不对三者做严格的区分，即三者可等同。机器学习的内容主要包括了监督学习、半监督学习、无监督学习、强化学习等方面的内容。近些年来，机器学习的边界正快速地不断被拓展，出现了联邦学习、可解释的机器学习等新的内容。了解机器学习的知识体系构成是学好机器学习的关键，下面将重点介绍。

图 3-13 学习AI必须知道的机器学习知识

机器学习是一个包罗万象的学科，机器学习的知识体系复杂，其需要的分析学、线性代数与矩阵论、概率论与统计学、运筹学与最优化等数学理论前面已经讨论过，下面重点描述一下机器学习中的知识体系，具体见图 3-13。图中包含了机器学习的主流方法，每一种方法包含的内容基本上都需要由一本独立的教材来描述。需要注意的是监督学习、无监督学习、半监督学习是机器学习中最主要的三类方法，每一类方法又分别包含了大量的模型。

监督学习是一类样本标签已知的机器学习方法，主要包含了感知机、K近邻、朴素贝叶斯、决策树、逻辑斯蒂回归、最大熵模型、支持向量机、提升方法、EM算法、隐马尔科夫模型、条件随机场等。

无监督学习是一类样本标签未知的机器学习方法，主要包括：聚类方法、奇异值分解、主成分分析、潜在语义分析、概率潜在语义分析、马尔科夫链蒙特卡洛法、潜在狄利克雷分配、PageRank算法等。

半监督学习是一类部分样本标签已知的机器学习方法，主要包括：自训练算法、多视角算法、生成模型、转导支持向量机、基于图的算法等。

核学习是机器学习的一个主要分支，所谓核学习是指在构造机器学习模型过程中使用了核函数的技巧。支持向量机就是一种典型的核学习方法。该方法通过核函数将原始空间中的样本由低维空间向高维空间投影，从而使在原始样本空间中线性不可分的样本投影到高维空间后变得线性可分。核学习更像是一种转换思想或者是一种数学技巧，很多常见的机器学习方法都可以与核学习相结合，从而产生新的机器学习方法。例如将主成分分析与核学习相结合可以得到核主成分分析的方法。

贝叶斯学习是机器学习的另外一个主要分支。贝叶斯学习是利用参数的先验分布，由样本信息来求后验分布，从而直接求出总体分布。贝叶斯学习理论使用概率去表示所有形式的不确定性，通过概率规则来实现学习和推理过程。

多示例学习（Multiple-instance Learning）由Dietterich等在1997年提出，其与监督学习、无监督学习和半监督学习有所不同，它是以多示例包为训练单元的学习问题。在多示例学习中，训练集由一组具有分类标签的多示例包组成，每个多示例包中含有若干个没有分类标签的示例。如果多示例包至少含有一个正示例，则该包被标记为正类多示例包（正包）。如果多示例包的所有示例都是负示例，则该包被标记为负类多示例包（负包）。多示例学习的目的是通过对具有分类标签的多示例包的学习，建立多示例分类器，并将该分类器应用于未知多示例包的预测。

元学习（Meta-Learing），又称“学会学习”，即利用以往的知识经验来指导新任务的学习，使模型具备学会学习的能力，是解决小样本问题常用的方法之一。

深度学习是目前机器学习方法中最主流的方法之一，受到了广大研究者的青睐。可以认为深度学习是一类特殊的神经网络模型，只不过这种神经网络模型具有更多的隐层数和节点数。深度学习对于计算资源有较高的要求，往往需要借助特定的计算单元加快训练的速度，如GPU（Graphics Processing Unit，简称GPU，图形处理器）或者TPU（Tensor Processing Unit，简称TPU，张量处理器）。

迁移学习是杨强教授2005年提出的概念，其目的是让计算机把大数据领域学习获得的知识和方法迁移到数据不那么多的领域。通过这一方式，计算机也可以做到“举一反三”、“触类旁通”，而不必在每个领域都依赖大数据从头学起。通俗地说，迁移学习就是能让现有的模型算法稍加调整即可应用于一个新的领域和功能的一项技术。

联邦机器学习又叫联邦学习、联合学习或联盟学习。联邦机器学习是一个机器学习框架，能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。例如，利用不同银行的数据进行联邦机器学习，而不必将各个银行的数据集中在一起，从而避免数据泄露的风险。

集成学习本身不是一个单独的机器学习算法，而是通过构建并结合多个机器学习模型来完成学习任务。集成学习有两个主要的问题需要解决，第一是如何训练若干个独立的机器学习模型，第二是如何选择一种集成策略将这些独立的机器学习模型集合成一个功能更强的机器学习模型。

强化学习（Reinforcement Learning, 简称RL）又称再励学习、评价学习或增强学习。它是机器学习的范式和方法论之一，用于描述和解决智能体在与环境交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。

可解释的机器学习主要是为了解决机器学习模型的黑箱问题，也就是说很多情况下训练机器学习模型时，只需要给定模型的输入和输出，对于模型的的具体工作机理却并不清楚。可解释机器学习的提出正是为了解决这一问题。

因果推理是AI的一个核心研究领域之一。它是为了使机器像人一样具有推理能力，即让机器通过AI技术依据某些前提条件推理出有用的结论。

关于人工智能中机器学习的更多介绍，可以购买《人工智能怎么学》进一步阅读。

图书购买方式

京东：https://item.jd.com/13395339.html

当当：http://product.dangdang.com/29469230.html

天猫：https://detail.tmall.com/item_o.htm?id=687374654836

为了让图书惠及更多的读者，为更多想学习人工智能的人提供帮助，经过向出版社申请，对图书《人工智能怎么学》的部分内容进行改编和连载。图书《人工智能怎么学》的全部内容包含了初级入门、中阶提高以及高级进阶三个级别的内容。连载的内容主要是初级入门级别，适合想对人工智能进行快速和高效入门的读者，对于已有一定的人工智能学习基础，希望进一步进阶或提高的读者，则需要购买图书《人工智能怎么学》，学习中阶提高以及高级进阶的内容。此外，对于学习人工智能感兴趣的读者，也可以加入知识星球《人工智能怎么学》，知识星球是一个构建学习社群的平台，通过加入《人工智能怎么学》的社群，你将获得更多的学习资料和课程信息。

与作者互动和了解更多信息

想跟作者一起学习人工智能和互动，你可以加入如下社群：

知识星球：https://t.zsxq.com/0aLkVg0os

QQ群：600587177

想了解更多关于人工智能学习及实践的内容，请关注如下媒体：

官方网站：https://bigdatamininglab.github.io

官方微信公众号：人工智能怎么学(可扫描下方二维码或者微信搜索“人工智能怎么学”添加关注)

CSDN：https://blog.csdn.net/audyxiao001

参考文献

1. 张文俊. 数学欣赏[M]. 北京: 科学出版社, 2011.

2. 李文林. 数学史概论 第4版[M]. 北京: 高等教育出版社, 2021.

3. 方开泰. 漫漫修远攻算路：方开泰自述[M]. 长沙: 湖南教育出版社, 2016.

4. 徐品方. 数学王子——高斯[M]. 哈尔滨: 哈尔滨工业大学出版社, 2018.

5. 同济大学数学系. 高等数学（第7版）[M]. 北京: 高等教育出版社, 2014.

6. 李忠，周建莹. 高等数学（第2版）[M]. 北京: 北京大学出版社, 2009.

7. Joel Hass et al.Thomas’ Calculus: Early Transcendentals (Fourteenth Edition)[M]. Pearson, 2018.

8. Ron Larson, and Bruce Edwards. Calculus (Eleventh Edition)[M]. Cengage Learning, 2018.

9. 华东师范大学数学科学学院. 数学分析（第5版）[M]. 北京: 高等教育出版社, 2019.

10. 常庚哲, 史济怀. 数学分析教程（第3版）[M]. 合肥: 中国科学技术大学出版社, 2012.

11. Walter Rudin. Principles of Mathematical Analysis (ThirdEdition) [M]. McGraw-Hill Education, 1976.

12. Vladimir A. Zoric. Mathematical Analysis (Second Edition)[M]. Springer, 2016.

13. Elias M. Stein, and RamiShakarchi. Real Analysis: Measure Theory, Integration, and Hilbert Spaces [M]. Princeton University Press,2004.

14. Elias M. Stein, and Rami Shakarchi. Complex Analysis [M]. Princeton University Press,2005.

15. Elias M. Stein, and Rami Shakarchi. Fourier Analysis: AnIntroduction [M]. PrincetonUniversity Press,2003.

16. Elias M. Stein, and Rami Shakarchi. Functional Analysis:Introduction to Further Topics in Analysis[M]. Princeton University Press, 2011.

17. 丘维声. 简明线性代数[M]. 北京: 北京大学出版社, 2002.

18. 居于马. 线性代数（第2版）[M]. 北京: 清华大学出版社, 2002.

19. 李尚志. 线性代数[M]. 北京: 高等教育出版社, 2002.

20. 李炯生. 线性代数（第2版）[M]. 合肥: 中国科学技术大学出版社, 2010.

21. 龚昇. 线性代数（第2版）[M]. 合肥: 中国科学技术大学出版社, 2005.

22. 任广千, 谢聪, 胡翠芳. 线性代数的几何意义[M]. 西安: 西安电子科技大学出版社, 2015.

23. Kuldeep Singh. Linear Algebra: Step by Step [M]. OxfordUniversity Press,2014.

24. Gilbert Strang. Introduction to Linear Algebra (FifthEdition) [M]. Wellesley-Cambridge Press, 2016.

25. David C. Lay et al. Linear Algebra and Its Application (FifthEdition) [M]. Pearson,, 2016.

26. Sheldon Axler. Linear Algebra Done Right (Third Edition) [M].Springer, 2015.

27. Gerald Farin, and Dianne Hansford. Practical Linear Algebra:A Geometry Toobox (Third Edition) [M]. CRC Press, 2013.

28. Gilbert Strang. Linear Algebra and Learning from Data [M].Wellesley-Cambridge Press, 2019.

29. 徐仲. 矩阵论简明教程（第3版）[M]. 北京: 科学出版社, 2014.

30. 张贤达. 矩阵分析与应用（第2版）[M]. 北京: 清华大学出版社, 2013.

31. Gene H. Golub, and Charles F. Van Loan. Matrix Computation(Fourth Edition) [M]. The Johns Hopkins University Press, 2013.

32. Roger A. Horn, and Charles R. Johnson. Matrix Analysis(Second Edition) [M]. Cambridge University Press, 2013.

33. 盛骤, 谢式千, 潘承毅. 概率论与数理统计（第4版）[M]. 北京: 高等教育出版社, 2008.

34. 陈希孺. 概率论与数理统计[M]. 合肥: 中国科学技术大学出版社, 2017.

35. Jay L. Devore. Probability and Statistics for Engineering andthe Sciences (Ninth Edition) [M]. Cengage Learning, 2016.

36. Morris H. DeGroot, and Mark J. Schervish . Probabilityand Statistics (Forth Edition) [M]. Pearson, 2012.

37. 高惠璇. 应用多元统计分析[M]. 北京大学出版社, 2004.

38. 王静龙. 多元统计分析[M]. 科学出版社, 2008.

39. T. W. Anderson. An Introduction to Multivariate StatisticalAnalysis (Third Edition) [M]. John Wiley & Sons, 2003.

40. Richard A. Johnson, and Dean W. Wichern . Applied Multivariate Statistical Analysis (SixthEdition) [M]. Pearson, 2007.

41. 程士宏. 测度论与概率论基础[M]. 北京: 北京大学出版社, 2004.

42. 严加安. 测度论讲义（第2版）[M]. 北京: 科学出版社, 2004.

43. Krishna B. Athreya, and Soumendra N. Lahiri. Measure Theoryand Probability Theory (Third Edition) [M]. Springer, 2006.

44. Paul R. Halmos. Measure Theory [M]. Springer Science+Business Media, 1974.

45. 胡迪鹤. 高等概率论及其应用[M]. 北京: 高等教育出版社, 2008.

46. 郑忠国. 高等统计学[M]. 北京: 北京大学出版社, 2012.

47. Craig A. Mertler, and Rachel Vannatta Reinhart. Advanced andMultivariate Statistical Methods: Practical Application and Interpretation(Sixth Edition) [M]. Routledge, 2017.

48. Eugene Demidenko. Advanced Statistics with Applications in R[M]. John Wiley & Sons, 2020.

49. 何书元. 随机过程[M]. 北京: 北京大学出版社, 2008.

50. 张波, 张景肖. 应用随机过程[M]. 北京: 清华大学出版社, 2004.

51. Sheldon M. Ross. Introduction to Probability Models (TwelfthEdition) [M]. Academic Press, 2019.

52. Robert G. Gallager. Stochastic Processes: Theory forApplications [M]. John Wiley & Sons, 2013.

53. David Forsyth. Probability and Statistics for ComputerScience (Twelfth Edition) [M]. Springer, 2018.

54. Luc Devroye et al. A Probabilistic Theory of PatternRecognition [M]. Springer, 1997.

55. 《运筹学》教材编写组. 运筹学（第4版）[M]. 北京: 清华大学出版社, 2013.

56. 胡运权, 郭耀煌. 运筹学教程（第5版）[M]. 北京: 清华大学出版社, 2018.

57. Frederick S. Hillier, and Gerald J. Lieberman. Introductionto Operation Research (Tenth Edition) [M]. McGraw-Hill Education, 2015.

58. Hamdy A. Taha. Operation Research：An Introduction(Tenth Edition) [M]. Pearson, 2017.

59. 陈宝林. 最优化理论与算法（第2版）[M]. 北京: 清华大学出版社, 2018.

60. 高立. 数值最优化方法[M]. 北京: 北京大学出版社, 2014.

61. Edwin K. P. Chong, and Stanislaw H. Zak. An Introduction toOptimization (Fourth Edition) [M]. John Wiley & Sons, 2013.

62. Jorge Nocedal, and Stephen J. Wright. Numerical Optimization(Second Edition) [M]. Springer, 2006.

63. Stephen Boyd, and Lieven Vandenberghe. Convex Optimization[M]. Cambridge University Press, 2004.

64. Yuni Nesterov. Lectures on Convex Optimization (SecondEdition) [M]. Springer, 2018.

65. 李航. 统计学习方法（第2版）[M]. 北京: 清华大学出版社, 2019.

66. 周志华. 机器学习[M]. 北京: 清华大学出版社, 2016.

67. Yuni Nesterov. The Elements of Statistical Learning: DataMining, Inference, and Prediction (Second Edition) [M]. Springer, 2009.

68. Tom M. Mitchell. Machine Learning [M]. McGraw-Hill Education,1997.

69. Christopher Bishop. Pattern Recognition and Machine Learning[M]. Springer, 2006.

70. Mehryar Mohri et al. Foundation of Machine Learning (SecondEdition) [M]. The MIT Press, 2018.

71. Kevin P. Murphy. Probabilistic Machine Learning: AnIntroduction [M]. The MIT Press, 2022.

72. Shai Shalev-Shwartz, and Shai Ben-David. UnderstandingMachine Learning: From Theory to Algorithms [M]. Cambridge University Press,2014.

73. Ian Goodfellow etal. Deep Learning [M]. The MIT Press, 2016.

74. 杨强, 张宇, 戴文渊, 潘嘉林 . 迁移学习[M]. 北京: 机械工业出版社, 2020.

75. 杨强, 刘洋，程勇 等. 联邦学习[M]. 北京: 中国工信出版集团, 电子工业出版社, 2020.

76. 周志华. 集成学习：基础与算法（第2版）[M]. 李楠, 译. 北京: 清华大学出版社, 2019.

77. Richard S. Sutton, and Andrew G. Barto. ReinforcementLearning: An Introduction [M]. The MIT Press, 2018.

78. Amparo Albalate, and Wolfgang Minker. Semi-Supervised andUnsupervised Machine Learning [M]. ISTE, and John Wiley & Sons, 2011.

79. Christoph Molnar. Interpretable Machine Learning: A Guide forMaking Black Box Models Expainable [M]. lulu.com, 2020.

80. Judea Pearl. Causality: Models, Reasoning, and Inference(Second Edition) [M]. Cambridge University Press, 2009.

注：本文版权归作者个人所有，如需转载请联系作者，未经授权不得转载。