一些基本概念

/* 说明：以下内容全部摘自Wikipedia */

 

退火 （Annealing ）

在冶金学 或材料工程 中，退火是一种改变材料微结构，进而改变如硬度 、强度 的机械性质的热处理 。

过程为将金属加温到某个高于再结晶温度的一点并维持此温度一段时间，再将其缓慢冷却。退火的功用在于回复因冷加工 而降低的性质，增加柔软性、延性 和韧性 ，并释放内部残留应力、以及产生特定的显微结构。退火过程中，多以原子或晶格空位的移动释放内部残留应力，透过这些原子重组的过程来消除金属或陶瓷中的差排 ，然而这项改变动也让金属中的差排更易移动，增加了它们的延性。

在铜 、钢铁 、银 、黄铜 的案例中，退火需要历经很高的高温，通常都要让加热到金属炽热为止，并维持一段时间再冷却。不像其它含铁的合金需要缓慢冷却，铜、银^[1] 和黄铜他们可以在空气缓慢冷却，也可以快速在水中淬火 。退火过后的金属之后可以再拿去做进一步加工，如冲压 、塑造、成形等。

归纳偏置(Inductive bias) //这个概念我觉得很抽象...

 

维基百科，自由的百科全书

跳转到： 导航 , 搜索

当学习器去预测其未遇到过的输入的结果时，会做一些假设（Mitchell, 1980）。而学习算法 中的归纳偏置 则是这些假设的集合。

机器学习 试 图去建造一个可以学习的算法，用来预测某个目标的结果。要达到此目的，要给于学习算法一些训练样本，样本说明输入与输出之间的预期关系。然后假设学习器在 预测中逼近正确的结果，其中包括在训练中未出现的样本。既然未知状况可以是任意的结果，若没有其它额外的假设，这任务就无法解决。这种关于目标函数的必要 假设就称为归纳偏置 （Mitchell, 1980; desJardins and Gordon, 1995）。

一个典型的归纳偏置例子是奥卡姆剃刀 ，它假设最简单而又一致的假设是最佳的。这里的一致是指学习器的假设会对所有样本产生正确的结果。

归纳偏置比较正式的定义是基于数学上的逻辑 。这里，归纳偏置是一个与训练样本一起的逻辑式子，其逻辑上会蕴涵学习器所产生的假设。然而在实际应用中，这种严谨形式常常无法适用。在有些情况下，学习器的归纳偏置可能只是一个很粗糙的描述（如在人工神经网络 中），甚至更加简单。

 

归纳偏置的种类

以下是机器学习中常见的归纳偏置列表：

• 最大条件独立性 （conditional independence）：如果假说能转成贝叶斯模型 架构，则试着使用最大化条件独立性。这是用于朴素贝叶斯分类器 （Naive Bayes classifier）的偏置。
• 最小交叉验证 误差 ：当试图在假说中做选择时，挑选那个具有最低交叉验证误差的假说，虽然交叉验证看起来可能无关偏置，但天下没有免费的午餐 理论显示交叉验证已是偏置的。
• 最大边界 ：当要在两个类别间画一道分界线时，试图去最大化边界的宽度。这是用于支持向量机 的偏置。这个假设是不同的类别是由宽界线来区分。
• 最小描述长度 （Minimum description length）：当构成一个假设时，试图去最小化其假设的描述长度。假设越简单，越可能为真的。见奥卡姆剃刀 。
• 最少特征数 （Minimum features）：除非有充分的证据显示一个特征是有效用的，否则它应当被删除。这是特征选择 （feature selection）算法背后所使用的假设。
• 最近邻居 ：假设在特征空间 （feature space）中一小区域内大部分的样本是同属一类。给一个未知类别的样本，猜测它与它最紧接的大部分邻居是同属一类。这是用于最近邻居法 的偏置。这个假设是相近的样本应倾向同属于一类别。

偏置变换

虽然大部分的学习算法使用固定的偏置，但有些算法在获得更多数据时可以变换它们的偏置。这不会取消偏置，因为偏置变换的过程本身就是一种偏置。

 

公理

维基百科，自由的百科全书

（重定向自公設 ）

在传统逻辑 中，公理 是无法被证明或决定对错，但被设为不证自明的一个命题。因此，其真实被视为是理所当然的，且被当做演绎及推论其他（理论相关）事实的起点。当不断要求证明 时，因果关系毕竟不能无限地追溯，而需停止于无需证明的公理。通常公理都很简单，且符合直觉，如“若a = b，则a+c = b+c”。

在数学 中，公理 这一词被用于两种相关但相异的意思之下——逻辑公理 和非逻辑公理 。在两者之下，公理是用来推导其他命题的起点。和定理 不同，公理（除非过多）是不能由演绎原则来推导，也不能经由数学证明 来决定对错，只因为它们是起点；公理无法由任何其他地方推导而来（不然它们就会被归为定理 ）。

逻辑公理 通常是被视为普通真实的陈述（如 (A ∧ B) → A），而非逻辑公理 （如a + b = b + a ）则实际上是在一特定数学理论（如算术 ） 中的规范性质。在后者的意思之下，公理又可被称为“ 公设 ”。一般而言，非逻辑公理并不是一个不证自明的事实，而应该说是一个被用来推导以建构一个数学定律 的形式逻辑表示式。要公理化一套知识，就是要去证明这套知识的主张都可以由一套少许明确的陈述（公理）推导出来。一般都可以有两种以上的方法来公理化一个 给定的数学领域。

形式系统

维基百科，自由的百科全书

在逻辑 与数学 中，一个形式系统 是由两个部分组成的，一个形式语言 加上一个推理规则 或转换规则的集合。一个形式系统也许为了其目的，是纯粹抽象的方程式，但也可能是为了描述真实现象或实际物件的领域而设计的。

元数学

维基百科，自由的百科全书

跳转到： 导航 , 搜索

一般来说，元数学是一种将数学作为人类意识 和文化 客体 的科学思维或知识。更进一步来说，元数学是一种用来研究数学和数学哲学的数学。“数学的数学”是于19世纪初由通常的数学分离出来的，它最初研究的对象是在所谓的数学危机 。将二者混为一谈会导致一些矛盾，典型例子有理查德悖论 。

比如说，元数学的主题之一就是：分析某些数学要素是否在任意的数学系统中都是可证实或者证伪的。

许多关于数学基础与数学哲学的论说都涉及元数学的概念，它们往往不能被当作我们通常所说的“问题”来处理。元数学的基本假设是：数学的内容可以由一个形式系统获得，比如一个序理论或一个公理化集合论。

元数学与数理逻辑休戚相关，因而这两者的发展也大同小异。元数学的发端大概要追溯到弗雷格 的工作：《概念文字 》。大卫·希尔伯特 首先引进了带有正则性的“元数学”（metamathematics with regularity）这一说法（见希尔伯特计划 ）。这也就是现在所说的证明论 。另一个重要的现代分支是模型论 。这一领域的其他重要人物有：伯特兰·罗素 ，斯科尔姆（Thoralf Skolem），普斯特（Emil Post），邱奇 ，克莱尼 ，蒯因 ，贝纳瑟拉夫（Paul Benacerraf），普特南 ，柴汀（Gregory Chaitin），以及最著名的塔斯基 和哥德尔 。特别地，哥德尔证明了：给定任意有限多条皮亚诺算术 的公理，都存在一些正确的命题，无法用所给公理来证明，即所谓的哥德尔不完备定理 。某种意义上来说，这一结果是迄今为止元数学与数学哲学的最高成就。

 

 

不確定性原理

摘自:http://zh.wikipedia.org/zh-hant/%E6%B5%B7%E6%A3%AE%E5%A0%A1%E6%B8%AC%E4%B8%8D%E6%BA%96%E5%8E%9F%E7%90%86

海森堡不確定性原理 （英語 ：Heisenberg Uncertainty Principle。有時也被譯成海森堡測不準原理 。）是指在一個量子力學 系統中，一個粒子 的位置 和它的動量 不可被同時確定。位置的不確定性 和動量的不確定性 是不可避免的：

；

其中 是約化普朗克常數 。

類似的不確定性也存在於能量 和時間 ，角動量 和角度 等許多物理量之間：

。

換句話說， 的不確定性與 的不確定性的乘積至少是 與 對易算符 的期望值 除以 所得到的除商的絶對值。

不確定性也是一種波 的特性。在經典物理 中波也有不確定性。比如波的頻率 和波到達的時間之間就有不確定性。要測量頻率，就要等幾個波峰 的到達，但這樣一來波到達的時間就沒法被精確地測量了。

1927 年，德國物理學家海森堡 首先提出了量子力學中的不確定性。

 

觀察者效應

不確定性原理時常會被解釋為：粒子位置的測量必然地擾亂了粒子的動量；反過來說也對，粒子動量的測量必然地擾亂了粒子的位置。換句話說，不確定性原理是一種觀察者效應的顯示。

這解釋時常會導致一種錯誤的想法，在概念上，似乎這擾亂是可以避免的；粒子的量子態可以同時擁有明確的位置和明確的動量，問題是我們所設計的最尖端 實驗儀器仍舊無法製備出這些量子態。但是，在量子力學裏，明確位置與明確動量的量子態並不存在。我們不能怪罪於實驗儀器。所以，由於這方面的原因，我們最 好稱它為不確定性原理，而不是測不準原理。

奥卡姆剃刀

奥卡姆剃刀 （Occam's Razor, Ockham's Razor ），又称“奥坎的剃刀”，是由14世纪 逻辑学 家、圣方济各会 修士 奥卡姆的威廉 （William of Occam，约1285年 至1349年 ）提出。奥卡姆（Ockham）位于英格兰 的萨里郡 。他在《箴言书注》2卷15题说“切勿浪费较多东西，去做‘用较少的东西，同样可以做好的事情’。”

应用

今天，奥卡姆剃刀常用于两种假说的取舍上：如果对于同一现象有两种不同的假说，我们应该采取比较简单的那一种。

[编辑 ] 科学

对于科学家，奥卡姆剃刀原理还有一种更为常见的表述形式：当你有两个处于竞争地位的理论能得出同样的结论，那么简单的那个更好。这一表述也有一种更 为常见的强形式：如果你有两个原理，它们都能解释观测到的事实，那么你应该使用简单的那个，直到发现更多的证据。

 

许多科学家接受或者（独立的）提出了奥卡姆剃刀原理，例如莱布尼玆的“不可观测事物的同一性原理”和牛顿提出的一个原则：如果某一原因既真又足以解 释自然事物的特性，则我们不应当接受比这更多的原因。奥卡姆剃刀以结果为导向，始终追寻高效简洁的方法，600多年来，这一原理在科学上得到了广泛的应 用，从牛顿的万有引力到爱因斯坦的相对论，奥卡姆剃刀已经成为重要的科学思维理念。

日常生活

作为一种思维理念，当然并不仅仅局限于某一些领域，事实上，奥卡姆剃刀在社会各方面已得到越来越多的应用。 奥卡姆剃刀同时也是一种生活理念。这个原理要求我们在处理事情时，要把握事情的本质，解决最根本的问题。尤其要顺应自然，不要把事情人为地复杂化，这样才 能把事情处理好。 爱因斯坦说：“如果你不能改变旧有的思维方式，你也就不能改变自己当前的生活状况。”当你用奥卡姆剃刀改变你的思维时，你的生活将会发生改变。 在运用奥卡姆剃刀时应牢记爱因斯坦的一句著名的格言：万事万物应该都应尽可能简洁，但不能过于简单。

奥克姆剃刀原理，核心思想是说：在同一表象下，比较简单的那个理论更可能是正确的那一个。比如说：一个苹果掉下来，同时又两种解释：1.有些怪兽把 它弄下来了；2.一场暴风雨吹落了。第二种因为比较简单，或者换种说法，第一种比较复杂，因为还需要认证怪兽的存在性，所以更有可能是对的。但是，这里又 涉及到如何定义“简单”的概念，一般意义上来说：越少实体介入的，就是越简单的。

例子：一个男孩在口袋里找到了一张钱币，解释缘由的理论有以下几种： 1. 他的朋友放到了他的口袋里； 2. 他的朋友为了感谢他放到了他的口袋里； 3. 昨天他的朋友为了感谢他放到了他的口袋里； 在这以上三种中，明显第一种是最简单的，因为第二，第三逐渐加入了更多的实体，如目的，时间等。因为介入了更多的实体，那理论正确的可能性就小了。虽然此 理论也不直接断定说最简单的理论就一定是正确的。例如此例子中，事实真正的原因可能就是：小男孩昨天晚上自己放进去的钱，但是忘记了。

 

奥卡姆理论虽然在自然科学（如物理学等）领域有很广泛的应用性，但是在法律学，心理学，宇宙学方面普遍被认为不很适用。如法律学，讲究的是越多越好的证据，推断，假设等；至于心理学宇宙学等，都是偏向复杂解释的学科。