机器学习方法三要素理解：模型、策略、算法 从给定的、有限的、用于学习的训练数据(training data)出发，假设数据是独立同分布产生的；应用于某个评价准则(evaluation criterion)，从假设空间中选取一个最优模型，使它对已知的训练数据及未知的测试数据(test data)在给定评价准则下有最优的预测；机器学习方法之间的不同，主要就是来自于模型、策略、算法的不同，确定了模型、策略、算法，那么机器学习的方法也就确定了。这样，机器学习方法包括：模型的假设空间，模型的选择准则以及模型的学习算法。称其为机器学习方法的三要素，简称为。
Exercise 1.7(a) 假设空间为全$o$以及全$•$ 显然全$•$在$5$组训练数据上有$3$组正确，全$o$只有$2$组正确，所以这里取全$•$2个点相同的函数是f4，f6，f7。1个点相同的函数是f2，f3，f5。3个点相同的函数是f8。
Outside the Data Set 这个简单的布尔情况的优势在于,我们可以枚举整个输入空间(因为只有 2³ = 8 个不同的输入向量),并且我们可以枚举所有可能的目标函数(因为 f 是一个 3 个布尔输入的布尔函数,而 3 个布尔输入只有 2^(2^3) = 256 个不同的布尔函数)。让我们来看学习函数 f 的问题。当我们获得训练数据D,比如图1.7的前两行,我们就知道了D中所有点上函数f的值。但这并不意味着我们已经学会了f,因为这并不能保证我们了解f在D之外的任何信息。既然我们认为函数f是未知的,那么我们可以证明f在D之外仍然是未知的。
Is Learning Feasible? 例如,如果真正的函数f在图案对称时输出+1,那么测试点的值就会是+1。但如果f在图案的左上角为白色时输出+1,那么测试点的值就会是-1。"可行性"一词在这个上下文中表示,虽然目标函数(target function)是未知的,但使用有限的数据集是否足以确定整个目标函数。也就是说,从有限的数据中学习一个未知的目标函数是否实际上是可行的。所以这里问的是,在只有有限数据集的情况下,学习未知的目标函数是否属于可行的范畴。目标函数f是学习的对象，关于目标函数最重要的陈述就是它是未知的，我们真的是指它是未知的。
Other Views of Learning 这里的 "nonetheless" 表示"尽管如此",强调即使结果较弱,但其适用范围依然很广泛。"broadly"则是指这种适用性是广泛的、普遍的。我们做出的假设相对宽松一些,采用的是更加广义的模型,而不像统计学那样严格。因此,我们得到的结果虽然相对较弱,但却更加普遍适用。"Uncover" 的中文意思是 "揭示"、"发现" 或 "揭开"。这里的 "underlying" 表示隐藏的或基础的，指的是支配观察结果的深层规律或机制。统计学依循了从数据中学习的基本前提，利用一组观测数据来揭示潜在的规律性过程。
Probability to the Rescue "Probability to the Rescue"这个短语生动形象地表达了概率分析在这个过程中扮演的关键角色 - 它像是一种"拯救"的力量,帮助我们突破局限,获得更多的洞见和理解。这种用比喻的方式来描述概率分析的作用,使得标题更加生动有趣。如何利用概率分析的方法,从有限的数据中推断出更多有价值的信息,从而帮助我们克服数据不足的困境,解决学习问题。
训练阶段和测试阶段最本质区别是什么 训练阶段关注于模型的学习和优化，而测试阶段专注于评估模型在未见数据上的表现。这两个阶段在目的、数据处理和反馈机制上有本质的区别，确保模型不仅在训练数据上表现良好，也能在实际应用中有效。
使用Typora添加行内数学公式怎么添加？ 点击“文件” --> “偏好设置” --> “Markdown” --> “Markdown扩展语法” —> 勾选 “内联公式（例：$ \LaTeX $）”首先需要确认，Typora已经勾选 “插入内联公式” 选项。会被渲染为 E=mc2E=mc^2E=mc2。确认以上步骤之后，就可以使用了。：用于表示行内数学公式。
选择五次多项式来拟合由一次函数生成的数据时，尽管可以找到无数条=0的曲线，但这实际上是过拟合的表现 比如说增加到2次，3次，注意这里2次，3次的模型其实是包含更低的1次模型的，也就是说2次模型可以拟合出直线，也可以拟合出抛物线，3次模型可以拟合出直线，抛物线，3次曲线，都可以，这样就算选择了2次3次的模型，最后只需要寻找Ein最小的情况，仍然可以寻找到这根直线，毕竟2次，3次曲线我们没有办法让Ein=0，也就是说这种情况下，虽然模型选择了更复杂的，但是好像并没有带来过拟合，那是不是过拟合就不会产生了呢？模型未能学习到数据背后的真实规律，而是对训练数据进行了过度拟合，导致在新数据上的泛化能力下降。
了解一个东西，有两种思路 那这个思路虽然不能让你搞明白它的内部结构，但是它能让人清晰知道它的作用和意义，林轩田老师课堂难懂，很大一部分原因，就是一上来就把这个盲盒给你打开了，看课程的时候，就经常会给你一种感觉，我是谁，我在哪，为什么要这样做，这种困惑，而王木头学科学up的思路是，先拿这个盲盒，和大家一起端详端详，摇一摇，听听声，先让自己对打开它充满期待。白盒思路就是我们把它打开，掰开了，揉碎了，搞明白它的内部结构，这个方法好是好，但是它要求你是有经验的专家，只有这样，你才能明白，要不然你就会经常遇到“为什么要这样”的这种疑问。
如果完全不考虑X和T是什么关系的话？ 最大的意义在于，我们不需要根据实际的情况现实是什么，这个X和T到底是什么样的关系，不用考虑了，我们就可以直接对（X，T）这个联合概率进行一个解耦，解耦成一个1维的情况和一个2维的情况，其中这个2维的情况，不是两个维度都有权重信息，而是只有一个维度有权重，另一个维度只是一个普通的变量，某种程度上来看，条件概率也算是一种降维了，是一种不完全的降维，需要补充额外的条件，才能实现真正的降维，也就是说降维的方式有两种，一种是边缘概率，另一种是条件概率。具体这个符号背后的意义是什么？
随机变量组成的这个方程对目标问题的描述并不完备 这个次数完全可以使用一个实数变量A来表示，具体A等于多少，可以通过时间间隔T和A的这个关系，也就是一个函数f(T)=A这样一个函数去决定，于是就可以知道当变量T取某一个具体数值的时候，对应的结果就是一个具体的数值，对应的是实数轴上的一个点。如果问题换了，不是康德了，而是康德的狗，狗每天也会经过家门口的桥，但是就没有那么有规律了，有的时候一天经过好几次，有的时候可能一次也没有，如果把狗经过桥上的次数使用随机变量来表示，仍然可以建立一个函数关系。
什么叫完备描述？ 完备描述”指的是方程或模型能够全面、准确地捕捉和反映所研究现象的所有重要特征和动态。这意味着方程不仅要包含所有必要的变量和参数，还要考虑到它们之间的相互关系和影响。：模型涵盖了所有相关的物理量和影响因素。例如，在流体动力学中，若只考虑速度而忽略压力和温度，则模型不够完备。：方程应准确描述变量之间的关系。例如，麦克斯韦方程组能准确描述电磁场的行为，确保电场和磁场的相互作用被正确建模。：方程之间应保持逻辑和理论的一致性。比如，爱因斯坦场方程与广义相对论的其他核心理论相一致。
关注
