《统计学习方法》浏览学习记录2

非负实值函数

损失函数是fx和y的非负实值函数。
“实值函数"是指函数值是"实数”,不可以取虚数或±∞的。
GPT回答如下：
“非负实值函数”是指定义在某个集合上、取值为实数且不小于零的函数。换句话说，对于给定的输入，该函数的输出值是一个实数且不会是负数。
数学上，一个函数 ( f: A \rightarrow \mathbb{R} ) 被称为非负实值函数，如果对于所有 ( x \in A )，有 ( f(x) \geq 0 )。这种函数通常在描述一些非负概念或表示非负量时使用，比如概率密度函数、成本函数、收益函数等。
非负实值函数在数学建模、经济学、统计学等领域中经常出现，并具有重要的意义。通过限制函数输出的取值范围，非负实值函数可以更好地描述实际问题和保证结果的合理性。

指示函数

对于一个集合或区域，其指示函数可以定义为一个函数 f(x)，其中 x 是该集合或区域中的一个点。当 x 属于该集合或区域时，f(x) 的值为 1，否则 f(x) 的值为 0
指示函数（indicator function）

模型的参数向量

在机器学习和统计建模中，模型的参数向量通常用来表示模型中各个特征的权重或系数。这些参数向量是通过训练数据学习得到的，用于描述模型中特征与目标之间的关系。不同类型的模型会有不同的参数向量表示方式。
举例来说：

• 线性回归模型中的参数向量表示为一个包含各个特征权重的向量，通常记做 (\beta)。对于简单的一元线性回归模型，参数向量可以是单个斜率值。
• 逻辑回归模型的参数向量也用来表示特征权重，用于给特征赋予不同的影响力。
• 神经网络模型中的参数向量通常包括各层之间的权重和偏置值。
• 支持向量机SVM的参数向量包括支持向量和超平面参数。
• 决策树中每个节点上的决策规则也可以看作是模型的参数向量。
  这些参数向量可以通过训练数据迭代更新来优化模型的性能和预测准确性。在实际应用中，我们可以通过训练好的模型提取参数向量，用于模型解释、可视化或进一步的分析。

常用（向量）范数

向量范数是用来衡量向量大小的一种度量方式。它可以将一个向量映射到一个非负的实数值。常见的向量范数有以下几种：
L1范数（曼哈顿范数）：L1范数是指向量中各个元素绝对值之和，表示为 ||x||1。它衡量了向量中各个元素对向量大小的贡献程度。
L2范数（欧几里得范数）：L2范数是指向量中各个元素平方和的平方根，表示为 ||x||2。它衡量了向量的长度或者模。
无穷范数（切比雪夫范数）：无穷范数是指向量中各个元素绝对值的最大值，表示为 ||x||∞。它衡量了向量中绝对值最大的元素对向量大小的贡献程度。
p范数：p范数是指向量中各个元素绝对值的p次方和的p次方根，表示为 ||x||p。其中p是一个大于1的实数。它是Lp空间中的范数。

奥卡姆剃刀原理

奥卡姆剃刀原理是一种科学原理，提出了一种思考问题的方法，以简单性原则为指导。它最初由中世纪英格兰的威廉·奥卡姆（William of Ockham）提出。
奥卡姆剃刀原理主要表达为：“在解释事物时，应该尽量简单，不要引入不必要的元素。”简单而言，就是要选择最简单、最直接的解释，而不是增加复杂性。这个原理的基本思想在科学研究、哲学和认知科学等领域都有广泛的应用。
在科学假设和理论的选择中，遵循奥卡姆剃刀原理意味着倾向选择最简单的解释、假设或理论，以解释已知的现象，并在预测未知的情况下提供最简单的解释。这是因为简单的解释通常更容易理解、验证和应用，而较复杂的解释则往往需要更多的假设和实体，不如简单解释符合“经济性”的思维方式。
尽管奥卡姆剃刀原理是一个有用的启发性原则，但在面对复杂的问题时，也需要考虑到各种因素，如实验数据、领域知识和理论的有效性。因此，尽管倾向于简单性，也不能排除一些情况下需要更复杂的解释。

第一章习题

1. 说明伯努利模型的极大似然估计以及贝叶斯估计中的统计学习方法三要素。伯努利模型是定义在取值为0与1的随机变量上的概率分布。假设观测到伯努利模型n次独立的数据生成结果，其中k次的结果为1，这时可以用极大似然估计或贝叶斯估计来估计结果为1的概率。

2. 经过经验风险最小化推导极大似然估计。证明模型是条件概率分布，当损失函数是对数损失函数时，经验风险最小化等价于极大似然估计。
   解答链接
   转载出处：
   版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
   本文链接：https://blog.csdn.net/familyshizhouna/article/details/70160782
   ————————————————

                        版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
   

原文链接：https://blog.csdn.net/familyshizhouna/article/details/70160782