MIT 6.S897 医疗机器学习 2019 中文笔记（二）

P15：15.Causal Inference, Part 2 - 大佬的迷弟的粉丝 - BV1oa411c7eD

所以今天的讲座将继续，在周二的讲座上，它向你介绍了因果关系，所以因果推理设置，就是我们，呃，我们在这门课中学习的，是一个非常简单的，从因果图的角度，有三组感兴趣的变量，你所知道的关于个人或病人的一切。

我们在这里叫X，今天的讲座，我们将假设它要么是零，要么是一，所以二元干预，你要么接受，要么不接受，结果是Y，是什么让理解干预对结果的影响这个问题变得具有挑战性，我们必须从观测数据中做出推断。

在我们没有能力的地方，至少在医学上不是，我们通常没有能力进行干预，积极介入，以及我们在本课程中将要讨论的目标，是关于如何从医学实践中收集数据，采取行动或干预的情况，然后用它来推断因果效应。

显然也有随机对照试验，其中一个故意随机化，嗯，但是今天讲座的重点是使用观测数据，已经收集的数据试图做出这些结论，所以我们在周二介绍了潜在结果的语言，潜在结果是试图回答这些问题的数学框架。

然后根据潜在结果的定义，我们可以定义条件平均处理效果，也就是说，对于单个x来说，y 1和y之间的差是零，我嗯，所以你会注意到我有耐心，所以嗯，将潜在的结果视为随机变量，以防可能有一些随机性，它起作用了。

有时不会，所以这就是期望，在我继续前进之前，说明任何问题，因此，关于有条件平均治疗效果的定义，然后你可以问人口的总体情况，你可以计算出，通过取所有个体的条件平均治疗效果的平均值，所以这只是这种期望。

关于现在x的p，现在关键的是这个x的分布p，你应该把你的数据中存在的每个人的分布，所以其中一些人可能在过去接受过治疗，他们中的一些人可能是免费接受零治疗的，但是当我们问这个关于平均治疗效果的问题时。

我们要求这两个人口，会有什么影响，如果他们接受了治疗会有什么不同，减去他们接受的治疗为零，我想借此机会开始从更大的角度考虑，关于因果推理是如何，呃，玩，呃，它在各种社会问题中都很重要，所以我想。

现在花几分钟和你一起思考一些因果问题可能是什么，我们迫切需要回答关于Covid-19大流行的问题，当你试图思考这些问题时，我想让你记住这个因果图，对呀，所以有普通人群，有一些动作要执行。

因果关系的整个概念，评估就某些有关结果采取的有效行动，所以在试图回答我的问题和我的问题的各种答案时，一些所谓的推理，与当前大流行病有关的问题，我想让你试着用这些X来框定你的答案，T’s和Y’s，嗯。

显然也很难回答，使用我们将在本课程中讨论的技术类型，部分原因是我所关注的技术在很大程度上是数据驱动的技术，也就是说，我的一般框架，我在周二介绍了协变量调整，想出一个模型，并使用该模型做出预测。

以及作为基础的假设，那个模型是从哪里来的，如果你从数据中拟合参数，必须有共同的支持，为了能够，嗯，对下游的结论有任何信任，这些基本假设和一般前提仍然成立，但在这里，很明显，当涉及到社交距离之类的事情时。

它们是复杂的网络效应，所以，而到目前为止，我们一直在假设所谓的SATVA，这是一个嗯，假设我嗯，我可能在周二的课上都没有谈到，嗯，但直觉上，苏瓦假设是怎么说的，你的每个训练例子都是相互独立的，当你想到。

你知道的，给病人和药物与否，但当你想到社交距离类型的措施时，这肯定是没有意义的，在哪里，如果有些人社交距离，但其他人不会，它显然对社会有非常不同的影响，所以人们需要不同类型的模型来思考这个问题。

必须放松这种假设，所以这些都是对我的很好的回答，呃，回答我的问题，从某种意义上说，现在，这是我们上次谈到的流行病学类型的问题，但是最初的几个问题，如何治疗患有Covid-19的患者。

是我们现在才能真正开始回答的问题，不幸的是，因为我们开始在美国和国际上获得大量数据，例如，我自己的个人研究小组，我们开始真正扩大对这类问题的研究，嗯，我想给出一个非常简单的例子，因果推理透镜如何有用。

这里是通过试图了解病例死亡率，例如，在意大利，据报道，4。3%患有这种疾病的人，嗯去世了，而在中国，据报道，患有这种疾病的人中有2。3%去世了，你可能会问，仅仅根据这两个数字，中国有什么不同，比如说。

可能是那样，中国管理Covid的方式比意大利好，你可能会想，这种疾病的菌株是否与，中国和意大利，所以也许有一些突变，自从自从离开武汉，嗯，但如果你再深入一点，你会看到，如果你按年龄组绘制病例死亡率。

你得到了我在这里展示的这个情节，你可以看到，如果你把橙色的意大利和蓝色的中国进行比较，现在按年龄范围分层，你会看到，对于每一个年龄范围，意大利的死亡百分比低于中国，这似乎与我们看到的总数相矛盾。

我们看到的地方，意大利的病死率比中国高，所以发生这种情况的原因是，事实上，人口非常不同，顺便说一句，这个悖论被称为辛普森悖论，所以如果你再深入一点，你看，如果你看得很好，在中国和意大利，拥有。

据报道患有Covid-19的，你看到在意大利，它对这些老年人的权重要高得多，如果你把它和你得到的病例总数结合起来，你会发现这些差异，所以它现在完全解释了你现在看到的图中的这两个数字。

如果我们试着更正式地思考这个问题，我们会试着用下面的因果图来形式化它，所以这里我们有相同的x概念，t和y，其中X是被诊断患有Covid-19的个人的年龄，T现在是国家，所以我们要考虑这里的干预。

所以考虑完全改变环境，为什么结果是在个人层面上，所以，人们可能想问的正式问题，是关于改变国家对结果的因果影响，对于这个特殊的因果问题，我在这里画的这个因果图是错误的，事实上。

正确的因果图可能有一条从t到x的边，特别是，个人在国家中的分布显然是国家的一个函数，而不是相反，但尽管有一个方向性的差异，我们在这门课上教你们的所有技术，仍然适用于试图问一个关于，干预对一个国家的影响。

嗯，这真的是因为，嗯，在某种意义上，这两个分布在观测水平或等效水平上，嗯，如果你想更深入地研究这个例子，我想强调的是这只是为了教育目的，我对这些数字一无所知，课程结束后我会去看这个Collab笔记本。

所以嗯，所以所有这些都只是一点点设置来帮助框架，因果关系出现的地方，我们一直在想的一些事情，真的很担心自己，压力很大，最近亲自，嗯，我现在想换挡开始回到课程材料上，特别是。

我想从今天讲座中更多的理论部分开始，通过返回协变量调整，我们在星期二结束了，在协变量调整中，一个，嗯，我们将使用机器学习的方法来学习一些模型，我称之为F，所以有些你可以想象一个黑匣子机器学习算法。

它作为输入，x和t，所以x是接受治疗的个体的协变量，T是今天讲座的治疗决定，你可以假设是二进制零一，现在把这些放在一起预测结果，我们周二展示的，那就是在忽略能力或忽略能力下。

记住的是没有隐藏的混乱的假设，那么条件平均处理效果可以定义为，可以计算为y 1的期望，现在t等于1的条件，这就是我在这里添加的部分，减去y的期望值，条件是t等于零，真正重要的是条件反射。

因为这是层使你能够估计的，从观察到治疗的数据中估计为什么一个，而你从来没有在数据中观察到Y，当零号治疗是执行的时候，所以我们有这个公式，在拟合了那个模型后，如果一个人可以用它来估计凯特。

只需使用学习函数，处理变量的数字1，为了得到你对这个期望的估计，然后为处理变量插入数字零，当你想得到你对这个期望分布的估计时，把它们之间的区别，然后给你对条件平均治疗效果的估计，所以这就是方法。

我们没有谈论太多的是模特的选择，您的函数类应该是什么，这将是一个非常重要的，而且真的，接下来几张幻灯片的笑点，将是哲学的一个主要区别，机器学习与统计学之间，在预测和因果推理之间。

所以现在让我们考虑下面的简单模型，在那里我要假设现实世界中的基本真相，潜在的结果，x的y t，其中t又是处理等于，一些简单的线性模型，涉及协变量和处理T，所以在这个非常简单的设置中。

我假设我们只有一个特征或协变，对个人来说，也就是他们的年龄，我假设这个模型，没有任何关于x和t之间相互作用的术语，所以它在x和t中是完全线性的，所以这是一个关于真正潜在结果的假设。

接下来的几张幻灯片我们要做什么，想想如果你现在模拟T的y会发生什么，所以用函数f建模，其中f是，假设一个线性函数对一个非线性函数，如果f采取这种形式或其他形式，顺便说一句，我假设这里的噪音。

εt可以是任意的，但它的平均值为零，所以让我们从估计真正的凯特是什么开始，或对此有条件的平均治疗效果，对于这个潜在的结果模型，根据定义，情况是y 1减去y 0的期望值，我们要把这个公式。

我们要把它插上嗯，对于第一项，用t等于1，这就是为什么你在这里用伽马得到这个术语，因为t等于1，我们也要把这个，我们现在要把它插上，这个学期在这里，其中t等于零，当t等于零时，然后伽马项就消失了。

所以你得到的是βx加上ε0，到目前为止，我所做的就是插入y 1和y 0，根据假设的形式，但请注意，现在有一些条款需要取消，特别是这里的beta x项，在这里用beta x项抵消，均值为零，ε为零。

均值也为零，唯一剩下的就是伽马项和常数的期望，很明显那个常数，所以我们从中得出的结论是，平均治疗效果，即K对所有个体的平均值，x也是γ，很明显好吧，所以我们在这里做了一些很有趣的事情。

我们从真正的潜在结果模型是线性的假设开始，我们的结论是，平均治疗效果是，精确地确定该线性模型中处理变量的系数，所以这意味着，如果你感兴趣的是因果推理，假设我们足够幸运知道真正的模型是线性的。

所以我们试图拟合具有完全相同形式的函数f，我们从学习算法中得到了一些贝塔帽和一些伽马帽，我们所需要做的就是看看伽马，为了得出关于平均治疗效果的一些结论，不需要做这个复杂的事情，插入来估计k，一次又一次。

这是一个如此微不足道的结论的原因是，因为我们对线性的假设，假设，例如，你错误地估计了你的伽马帽，那就意味着你也会犯错，你对你的条件的估计，你的条件，和平均治疗效果，这里有个问题，我很幸运地看到上面写着。

伽马在药物方面代表什么，嗯，谢谢你的问题，从字面上讲，伽玛告诉你条件平均治疗效果，意思是嗯，如果你给治疗和不给治疗，这如何影响结果，思考感兴趣的结果，是病人的血压，他们正在混淆潜力，病人年龄的混杂因素。

T是两种不同的血压测量值之一，如果伽玛是正的，那就意味着治疗一更有效，治疗一相对于治疗零增加病人的血压，如果伽马是负的，这意味着治疗1相对于治疗0降低了病人的血压，如果在机器学习中，哦对不起。

又有一次聊天，谢谢很好，所以在机器学习中，我通常告诉我的学生不要试图解释你的系数，或者至少不要过多解读，不要把太多的重量放在他们身上，这是因为当你学习非常高维的模型时，您的功能之间可能有很多冗余。

当你和统计学家交谈时，他们经常非常关注他们的系数，他们试图解释这些系数，经常用因果透镜，当我刚开始在这个领域工作的时候，我不明白他们为什么这么关注这些系数，他们为什么要提出这些因果假设。

基于哪些系数为正，都是负面的，这就是答案，它真的归结为一个，反过来，对预测问题的解释，在相关性特征方面，作为一种治疗，如果治疗是线性的，关于可能的结果，然后看处理的系数。

告诉你一些关于干预或治疗的平均治疗效果，而且，这也告诉我们为什么观察置信区间通常非常重要，所以人们可能想知道，好的，我们有一些小数据集，我们得到了伽马射线帽的估计值，但是如果你有一个不同的数据集呢。

那么如果你有一个100个数据点的新样本会发生什么，你估计的伽马帽会有什么变化，所以你可能会对，比如说，在置信区间内，就像95%的置信度角色说伽马帽介于，让我们说，让我们说在你知道之间，呃一个。

假设概率是95，这将是伽马帽置信区间的一个例子，这样的置信区间，然后给你信心，系数周围的置信区间，然后给你平均治疗效果的置信区间，通过这个分析，第二个观察是如果真实模型不是线性的会发生什么。

但我们没有意识到作为一个模型师，我们只是假设，你知道线性模型可能足够好，甚至线性模型也可能得到很好的预测性能，让我们来看看这个极端的例子，让我们现在假设真，真实的数据生成过程，而不仅仅是x加t。

我们现在要加一个新学期，um delta乘以x的平方，现在，这有点像，这是你能想象到的原始线性模型的最天真的扩展，因为我甚至没有添加任何交互术语，比如，你知道十倍x t。

所以没有涉及治疗和协变量治疗的相互作用术语，在治疗中潜在的结果仍然是线性的，我们现在只是添加了一个涉及其中一个特征的非线性项，如果你通过我们之前做的相同分析计算平均治疗效果。

你会再次发现治疗效果是伽马的，让我们假设，现在，我们不知道有一个△x平方项，我们假设潜在的结果是由这个线性模型给你的，涉及X和T，我要用你的帽子来表示，这将是功能家族，我们要穿上。

所以我们现在把贝塔帽和伽马帽，如果你从这个真实的生成过程中提取了无限的数据，这又是未知的，我们可以证明的是，你估计的伽马黑客，使用任何合理的估计器，就像最小二乘估计量实际上等于伽马。

本学期的真实ATE值加上Delta乘以，请注意，这个术语并不依赖于贝塔或伽马，这意味着取决于Delta，你的伽马帽可以做得任意大或任意小，例如，如果Delta很大，当伽马可能是负值时，伽马帽可能是正的。

所以你关于平均治疗效果的结论可能是完全错误的，这应该会吓到你，这就是使用协变量调整如此危险的事情，也就是说，如果你对真正的潜在结果做出了错误的假设，你可以得到非常，非常错误的结论。

通常，它想生活在一个，在那里你不必对形式做出很多假设，以便您可以尽可能地拟合数据，所以这里你可以看到有一个非线性项，嗯，很明显，如果你使用了一些非线性建模算法，像神经网络或者随机森林。

那么它就有可能修复非线性函数，然后也许就不会陷入同样的陷阱，有各种各样的机器学习算法已经被应用，到因果推断，嗯，从随机森林到贝叶斯加法回归树，高斯过程和深度神经网络等算法，我将简要强调最后两个。

所以高斯过程经常被用来模拟连续有价值的潜在结果，有几种方法可以做到这一点，比如说，一类模型可能将y 1和y 0视为两个独立的高斯过程，适合这两个，对数据的um，右边显示的不同方法，这里将是治疗，呃。

什么会治疗为什么，呃，为什么作为嗯，把x和t当作，将T视为附加协变量，所以现在你有呃，X和T作为你的特征，并为该关节模型拟合高斯过程。

当谈到神经网络时，神经网络被用于因果推理可以追溯到大约二三十年前，嗯，但是呃，但几年前开始流行起来，嗯，我在小组里写的一篇论文，作为，最早的论文之一，从最近一代使用神经网络进行因果推理。

我们发现非常有效的一件事，是用一个联合模型来预测因果效应，所以说，嗯，我们将学习一个模型，它将作为输入，作为输入的f，这样做的好处是，它将允许我们在T等于1的情况下共享参数，t等于零样本。

而不是在你的第一层神经网络中输入x和t，我们只在第一部分喂一个X，在，在网络的初始层，我们将学习一个共享的表示，它将用于预测t等于零，t等于1，然后预测T为零，预测t何时等于零，我们用，嗯。

一个不同于预测T等于一的头，所以嗯，f零是一个将此连接在一起的函数，这些共享层与几个新层用于预测，当t等于零时，对一个人来说也是如此，我们发现这种架构比简单的架构工作得更好。

在对几个不同的基准数据集进行因果推断时，现在我想说的最后一件事是，当协变量调整时，在我开始一套新的技术之前，是一个叫做匹配的方法，这在直觉上是非常令人愉快的，这是一个非常。

似乎是进行因果推断的一种非常自然的方法，乍一看，可能看起来与协变量调整技术无关，我现在要做的是，我将首先向你们介绍配对技巧，然后我会向你展示它实际上与，协变量调整，嗯。

有一个关于f的泛函族不是这样的特殊假设，高斯过程不是深度神经网络，但这会是别的事情，所以在我进入之前，什么是匹配作为因果推断的技术，嗯，配对的关键是利用每个人的双胞胎。

试图获得一些关于他们潜在结果的直觉，我几年前制作了这些幻灯片，你可能会想象，嗯，你知道，这是真正的呃，你可以想象谁可能是另一位总统，如果他没有上过法学院，但假设上过商学院。

所以你现在可以想象试图在你的数据集中找到，另一个长得像巴拉克·奥巴马的人，但是谁没有去法学院而是去了商学院，然后你会问下面的问题，比如说，嗯，这个人会成为总统吗，他上过法学院吗，与他上过商学院相比。

如果你找到一个像巴拉克奥巴马一样的人，他上过商学院，想看看，那个人当了总统吗，最终会给你反事实，显然这是一个人为的例子，因为你永远不会得到样本量来看到。

这就是一般的想法，嗯，现在我将在这里的一张照片中给你看，现在我们有两个协变量或特征，病人的年龄及其共病指数，这是衡量有多少，呃，病人可能有什么类型的情况或共病，他们有糖尿病吗，他们有高血压等吗。

值得注意的是，我是什么，我没有给你看，结果是这样的，你们都是我展示的，你是原始数据点，他们接受了什么治疗，接受对照治疗的个体是蓝色的，或者t为零，红色是接受治疗的人，所以你可以想象试图找到最近的邻居。

比如说，离这里这个数据点最近的邻居，这里的这个蓝点，所以你想要它，如果你想知道，好吧好吧，我们观察到的一些，为什么，我们观察到这个个体的Y零，如果你想知道，这个人会发生什么。

如果他们接受的是零处理而不是一口井，你可以看看这个蓝点发生了什么，然后说，好的，这就是这个红点会发生的事情，因为他们离得很近，关于以前匹配会做什么有什么问题吗，我正式定义它，我会呃是的，好的。

好的一个问题，如果最近的邻居离得很远怎么办，好的，这是个好问题，所以你可以想象这里有一个红色的数据点，附近没有蓝色数据点，匹配的方法不会很好地工作，所以这个数据点，最近的邻居是这里的这个蓝点。

直觉上离这个红点很远，所以嗯，如果我们反事实地估计这个红点，用那个蓝点，我们可能会得到一个很糟糕的估计。事实上，这将是匹配基于方法的挑战之一，它在高维度环境中会非常好地工作。

在那里你可以想象或抱歉在一个大样本中，它在大样本环境中工作得很好，在那里你可以希望，你可能会观察到每个人的反事实，如果你的数据非常有限，它就不会很好地工作，当然，所有这些都将取决于共同支持的假设。

所以一个问题是如何转化为高维，简短的回答不太好，我们会回到那个，一会儿，单个数据点能否出现在多个匹配中，嗯是的，我会马上定义，呃，如何以及为什么不会是严格的匹配。

我们是否试图为每一个处理过的观察找到一个反事实，或每个控制观察一个，我马上回答，最后，医学数据集找到这样的匹配对是否常见，我要把这个问题重新解释为，嗯，这种技术在医学上常用吗，答案是肯定的。

它在临床研究中一直被使用，尽管事实上，几年来一直在争论人们不应该使用这种技术，原因你很快就会看到，嗯，所以它被广泛使用，这是非常直观的，这就是我教它的原因，它将适合一个非常普遍的框架，你一会儿就会看到。

这将为我将要提出的问题提供自然的解决方案，所以继续前进，然后我会回到剩下的问题上来，这里，我来定义其中一个，用匹配进行分形推理的一种方法，它要开始了，当然啦，假设我们在个体之间有一个距离度量d。

我们将对每个人说，让i中的j是另一个明显不同于i的j，谁离我最近，但最接近，但有不同的待遇，那么在哪里，好吧，再来一次，我假设是二进制的，所以在这个定义下，tj要么是零，要么是一，然后我们要定义估计值。

我们要定义我们对条件平均值的估计，对个人的治疗效果是他们实际观察到的结果是什么，我要给一个真正接受治疗的人，所以这就是为什么一个，而原因，这就是为什么我，与t相对应的推算反事实等于零。

我们得到计算反事实的方法，就是试图找到最近的接受零治疗的邻居，而不是治疗一，现在看着他们的Y，如果ti等于零，然后我们用这里观察到的y，而不是在那边，因为它对应于y零，我们需要把你的一个大写和一个。

潜在的结果，我们将使用从个体I的最近邻观察到的结果，他们接受了一号而不是零治疗，所有的权利，所以从数学上来说，这就是我所说的基于匹配的估计器，这也应该回答这个问题，提出的问题之一，它有什么作用。

你真的需要一个匹配的，或者可以使用数据点，一个数据点是否可以与多个其他数据点匹配，最后一个问题的答案是肯定的，因为你可以有一个设置，例如他们的空气，这里有两个红点，我不能画蓝色。

但我会用一个正方形来画我想画的蓝色，然后其他一切都很远，对于这两个红点，这个蓝点是呃是最近的邻居，所以这两个反事实的估计，因为这两个点将使用相同的蓝点，这就是那个问题的答案，现在，我只是要重写这个。

以更方便的形式，所以我将用这里所示的公式，你可以把它重写为y i减去y j i，但你得把牌子翻过来，取决于ti等于1还是零，这就是这个术语要做的，嗯，如果ti等于1，那么这个计算为1，如果t等于零。

这计算为-1，它翻转标志，所以现在我们有了凯特的定义，我们可以得到债务，我们现在可以很容易地估计平均治疗效果，只需平均这些cates，在数据集中的所有个人上，嗯，所以这就是现在的定义，呃。

如何使一个最近的邻居匹配任何问题，所以一个问题是我们有没有用公制D来称重，我们会引用多少，信任匹配，嗯，这是个好问题，所以啊，汉娜问的是什么，嗯，能不能，你知道如果你有，比如说，许多最近的邻居。

或者类似地，如果你有一些最近的邻居，非常近，会发生什么，有些真的很远，你知道的，可以想象试图通过离数据点的距离来等待最近的邻居，你甚至可以想象这样做，你甚至可以想象想出一个估计器。

这可能会打折扣某些数据点，如果他们附近根本没有最近的邻居，嗯，按相应的权重系数，是呀，那是个好主意，是呀，你可以通过这样的想法得出治疗效果的一致估计，嗯，大概有几百篇关于它的论文。

关于这件事我要说的就这些，所以这个有很多变体，它们最终都有相同的理论理由，在下一张幻灯片中我要屈服了，所以嗯，匹配的好处之一是你可以得到一些可解释性，所以如果我问你，你为什么告诉我。

这种治疗对约翰会有效的，嗯，有人会很好地回应，我用了这个技巧，我发现离约翰最近的邻居是，这是安娜，事情就是这样，安娜，接受了约翰的另一种治疗，这就是安娜的遭遇，这就是为什么我猜想约翰。

y 1和y 0之间的区别如下，所以这可以被批评，例如诊所，一个有领域专家的临床医生可以看看安娜，看着约翰说，哦，等一下，这两个人真的很不一样，你知道吗，比如说治疗，例如，与性别特定的事情有关。

然后把两个人与不同的人进行比较，性别显然不会相互比较，这样领域专家就可以，将能够拒绝这一结论，说不，呃，我不相信任何统计数据回到画板上，所以这种类型在可解释性方面是非常有吸引力的，第二个方面很吸引人。

它是一种非参数方法，非参数，就像神经网络或随机森林是非参数的一样，所以嗯，这并不依赖于任何强有力的假设，关于潜在结果的参数形式，另一方面，这种方法非常依赖于潜在的度量。

如果你的距离函数是一个差的距离函数，那么它就会给出很差的结果，而且，它可能会被不影响结果的特征所误导，这不一定是我们想要的财产，现在，这是最后一张幻灯片，它使连接匹配，相当于协变量调整，完全一样。

这是一个，这是一个隐蔽调整的实例，具有F的特定功能族，所以说，而不是假设你的函数f黑匣子是一个线性函数，或者神经网络，或者随机森林，或者贝叶斯回归树，我们将假设该函数采用最近邻的形式，分类器。

特别是我们会说你的帽子，预测潜在结果的功能，你的帽子是通过找到…的最近邻居给你的，数据点的um，x um，根据接受治疗的个人的数据集，Y帽子零的情况是一样的，这样我们就可以证明匹配的一些性质，所以说。

比如说，如果你还记得从，我想我在周二的讲座中提到过，这种协变量调整方法，在重叠假设下，在没有的假设下，隐藏和混乱，你可以，你的功能家庭的潜在结果是足够丰富的，你实际上可以拟合底层模型。

然后你就会得到对条件的正确估计，平均治疗效果，最近邻算法通常不是一致的算法，这意味着如果你有少量的样本，你会得到有偏见的估计，你的函数f通常可能是一个有偏见的估计，现在，我们可以从中得出结论。

如果我们使用一个最近的邻居匹配，用于推断平均治疗效果，总的来说，它可能会给我们一个有偏见的平均治疗效果估计，然而，在无限数据的极限下，嗯嗯，保证一个最近邻算法能够拟合，嗯，潜在功能族，也就是说偏差为零。

在大量数据的限制下，因此，我们可以立即从文献中得出因果推断，很抱歉从文献和机器学习中获得理论结果，用于因果推断的匹配，这就是我想说的关于匹配的一切，以及它与呃到查询调整的连接，真正的妙语是。

呃想想想想搭配，就像另一种职业调整一样，它使用最近邻函数，家庭，嗯，因此应与其他方法进行比较，嗯对嗯，到协调，比如，比如说，使用设计成可解释的机器学习算法，所以这节课的最后一部分将介绍一个。

推断条件平均值的第二种方法，用于推断平均治疗效果，即所谓的倾向评分法，这将是一个真正的转变，它将是一个不同于当前调整的估计器，所以嗯，所以正如我提到的，它将用于估计平均治疗效果和习题集四。

你将看到如何使用同样的技术，我现在告诉你也是为了估计条件平均治疗效果，但仅仅从今天的讲座来看，这一点并不明显，所以倾向的关键直觉，对于倾向评分方法是回想，如果你在随机对照试验中进行随机对照试验。

会发生什么，再次，嗯，你得到一些，你可以选择给每个人什么治疗，所以你可以想象抛硬币，如果是头在给他们治疗，如果它的尾巴给了他们零分的待遇，随机对照试验的数据，然后这里有一个非常简单的估计器。

用于平均治疗效果，你只要把接受治疗的人的y值相加，除以n，这是接受治疗的人数1，所以这是所有接受治疗的人的平均结果，你只要从中减去，所有接受治疗的人的平均结果为零，这可以很容易地证明是一个无偏估计器。

平均治疗效果的，你的数据来自随机对照试验吗，所以倾向评分方法的关键思想，把一个观察性研究变成一个看起来像随机对照试验的东西，通过数据点的重新加权。

这是照片，我想让你再想想，这里我不给你看结果，我只是给你看特征，x，这就是数据点，给他们的治疗，嗯，x，本例中的t和t表示为，点的颜色，所以红色是T等于1，蓝色是t等于零，我提前为任何色盲的人道歉。

所以说，关键挑战，在进行观察性研究时，在谁接受零治疗方面可能会有偏见，与接受治疗的人相比，如果这是一个随机对照瓷砖，然后你会看到红色和蓝色混合在一起，彼此平等，但是正如你在这个数据集中看到的。

有更多的人收到，接受治疗的年轻人，然后接受了不同的治疗，如果你看数据中以t等于零为条件的x上的分布，它与条件不同，以接受治疗的人为条件的X上的分布，那么倾向评分法要做什么，会认识到这两种分布之间的区别。

它将重新加权数据点，以便在总体上，看起来在任何一个地区，例如，如果你想象看看这个地区，你知道的红色和蓝色数据点的数量大致相同，如果你想炸毁这里的红色数据点，我把它做得很大，你可以想象它有很多。

对应权重的多个红色数据点，如果我们看这里，再次看到如此大致相同数量的红色和蓝色，同样数量的红色和蓝色质量以及，所以如果我们能找到一些方法来增加或减少与每个数据点相关的权重，这样现在看起来这两个发行版。

接受治疗1的和接受治疗0的，看起来他们来自，看起来现在他们有相同的分布，加权分配，那我们就要做生意了，所以我们要寻找那些具有这种性质的权重。

所以要做到这一点，我们需要引入一个新的概念，即倾向评分，倾向得分是由t等于1的概率给你的，给定x，在这里，我们将再次使用机器学习，而在协变量调整中，我们用机器学习来预测为什么以x逗号t为条件。

这就是协变量调整在这里所做的，我们会忽略你的，总的来说，我们只需要x的输入，我们将预测T，所以你可以想象使用逻辑回归，给你协变量来预测任何给定的数据点来自这里的治疗，您使用的是完整的数据集。

当然是为了做出那个预测，所以你看两个X的地方，t等于1和t等于零的两个数据点，这是你的标签，那么我们要做的是给出习得的倾向评分，所以我们把你的数据集，你先学会这个倾向评分，然后我们要重新加权数据点。

根据倾向得分的反比，你可能会问这个看起来很眼熟对吧，重新加权数据点的整个概念，试图找出哪句引语的整个概念，取消报价数据集，一个数据点来自接受治疗的个人的数据集。

或者接受治疗的人的数据集治疗零听起来很熟悉，这是因为这正是你们在第十课看到的，当我们谈到数据集移位时，事实上，整个方法就像你们在习题集4中所讲的那样，是数据集移位下学习的一个特例，现在是倾向评分算法。

我们把我们的数据集，其中有x，t和y的样本，为什么，为什么，当然会告诉你与治疗T相对应的潜在结果，我们将使用任何机器学习方法来估计这一点，这个呃，可以给你一个给定x的治疗概率的模型。

现在我们需要一个概率，我们不是要做分类，我们需要一个实际的概率，所以如果你还记得以前的课，当我们谈到校准时，关于准确预测概率的能力，这在这里非常重要，例如，使用深度神经网络，为了，为了预测。

为了估计倾向得分，众所周知，深度神经网络无法校准，校准良好，所以人们必须使用许多新方法中的一种，最近开发的用于校准深度学习输出的，为了使用这种技术，所以在完成第一步之后，现在你有了一个模型。

它可以让你估计每个数据点的倾向得分，我们现在可以采取这些措施，并估计你的平均治疗效果，用下面的公式，它是和的1/n，在数据点上，其中与处理相对应的数据点，我的原因之一，那部分和之前一模一样。

但你现在看到的是，我们将它除以倾向得分，因此提名，这是这里的新作品，那正好是分数的反比，我们前面提到的权重，同样的事情也发生在这里，对于ti等于零，现在让我们试着对这个公式有一些直觉，嗯。

我喜欢通过看一个特殊的案例来获得直觉，所以我们可能熟悉的最简单的特例，是随机对照试验，因为你在抛硬币，每个数据点要么得到零处理，要么触发一处理，那么倾向得分精确地等于点5，所以让我们现在就拿这个。

这里没有机器学习，让我们把它插上，看看我们是否能回来，我之前给你们看的公式，在随机对照试验中估计平均治疗效果，所以我们把它插在那里，这个现在变成了点5把它插在这里，这也变成了第五点，然后我们要做的是。

我们只要拿五分，我们要把它拿出来，这里变成二这里变成二，你得到下面的公式，如果你和几张幻灯片上的公式进行比较，几乎一模一样，除了这里的几张幻灯片，我有一个比N一个，在这里，我得了1/N。

现在这两个是同一件事的两个不同的估计量，你能看到同样的事情的原因是，嗯，在随机对照试验中，接受治疗的人数平均为1人，超过2人，同样，治疗次数为零或平均超过两次，如果你到了N以上，两种取消。

用这个抵消我们的n是得到正确估计量的，所以这是一个稍微不同的估计器，但几乎和我之前给你看的一模一样，通过这个论点，是随机对照试验中平均治疗效果的一致估计者，所以任何，在我试着为你驱动这个公式之前。

有什么问题吗，好的，所以一个学生问，所以倾向得分是报价，未引用的偏见，即人们被分配到Y等于，呃，t等于一，或者t等于零，完全正确，所以如果你想象一下，嗯，那个人的概率是，让我们说非常接近一个。

这意味着数据集中很少有其他人接受治疗，他们有点，它们是红色数据点，在一片，呃，蓝色数据点的，除以那个，我们将努力消除这种偏见，这是完全正确的，谢谢你的问题，还有其他问题吗？好的。

我真的很感激通过聊天窗口提出的问题，所以谢谢你，所有的权利，所以让我们，现在让我们试着导出这个公式，回顾平均治疗效果的定义，对于那些非常关注的人来说，你可能会注意到我去掉了对你的期望。

对于我要给你们的这个推导，我想，我假设潜在的结果都是确定性的，因为它让数学变得更容易，但不丧失一般性，所以平均治疗效果是预期的，关于潜在结果的所有个人，减去预期，尊重所有潜在结果为零的个人。

所以这里的这个术语是我们对它的估计，这里的这个术语是我们对这个期望的估计，如此天真，如果你只是把观察到的数据，它可以让你计算你，如果你，比如说，把y的值平均一下，接受治疗的个人，一个会给你这个期望的。

我在下面显示的，我想让你比较一下，平均治疗效果中实际需要的，而在这里，这是对接受治疗的个人的期望，一个在这里，这是对所有个人的期望，但是期望里面的东西是完全相同的，这是我们要研究的关键点。

那就是我们想要一个关于不同分布的期望，比我们实际拥有的，这应该是敲响警钟，因为这听起来很，非常熟悉数据集转移的故事，我们在几节课前谈到过，我将向你展示如何导出估计量，就在第一个学期。

第二个项显然是相同的，所以让我们从以下内容开始，我们知道给定t的x的p乘以t的p等于x的p，乘以t的p给定x，我刚才做的是用两种不同的公式，为了嗯的规则，用于联合分发，然后除以给定x的t的p。

或者得到我刚才给你们看的公式，我不会试图抹去它，我把它留在上面，所以接下来我们要做的是，我们会说好，如果我们计算一个期望，相对于x的p给定t等于1，如果我们现在把我们观察到的值，我们可以。

我们可以对所有接受治疗的人进行观察，如果我们用这个比例重新衡量这个观察，我们记得这个比例，它出现在前一个项目符号的in中，那么我一会儿要给你看的是，这等于我们实际想要的数量，嗯好吧，为什么那口井。

如果你，嗯，如果你扩大这个期望，这个期望是关于p的积分，条件是，t等于一，乘以括号里的东西，因为我们知道，因为我们从这里知道t上x的p等于1，乘以t的p等于1除以t的p等于1，x上的条件等于x的p。

整个过程等于x的p的整数倍，乘以你一个，这正是我们想要的期望的定义，所以这是一个非常，非常简单的推导，向你展示重新加权得到了你需要的，现在，我们可以经验地估计这个期望如下。

我们现在要把所有接受治疗的数据点相加的估计，我们取平均值，所以我们除以数据点的数量，或者z三元组1表示t的p等于1，我们只是要使用有多少人接受治疗的经验估计，数据集中的一个，除以数据集中的总人数。

那是n除以n，对于t的分母p等于x上的一个条件，我们现在只需插入倾向得分，我们之前估计的，我们就大功告成了，所以这是我们对第一个学期平均治疗效果的估计，你现在可以这样做，因为TI等于零。

我已经向你展示了原因的充分证据，这是一个无偏估计器。

为了嗯，平均治疗效果，所以我将在接下来的两分钟内结束，首先我想评论一下我们刚才看到的，所以我们看到了一种不同的方法来估计平均治疗效果，只需要估计倾向得分，特别是我们从来没有用模型来预测为什么。

在这种估计平均治疗效果的方法中，这是好事也是坏事，这是一件好事，因为如果你有呃，估计模型时的错误，就像我在今天讲座一开始给你们展示的那样，这可能会对你对平均治疗效果的估计产生很大影响。

所以它不会出现在这里，另一方面，这也有它自己的缺点，例如，倾向性得分会非常，确实受到缺乏重叠的影响，因为当你缺乏重叠时，这意味着有一些数据点，倾向得分非常接近于零或非常接近于一。

这真的会导致你的估计值有很大的方差，和一个非常常见的技巧，用来试图解决这个问题，被称为剪裁，你只需剪辑倾向得分，它们总是以0和1为界，但这真的只是一个启发式的，它可以，当然啦，借出。

导致对平均治疗效果的估计有偏差，所以说，有一个完整的因果推理算法家族，试图利用想法，从协变量调整和反倾向加权，比如说，有一种方法叫做双鲁棒估计器，我们会试着为，呃，对于抄写员注释中的估计量。

这些双重鲁棒估计量是一个不同的估计量家族，实际上把这两种技术结合在一起，他们有一个很好的财产，也就是说，如果他们中的任何一个失败了，你仍然得到平均治疗效果的有效估计。

我将跳过这个，现在就跳到摘要部分。

我们提出了两种不同的工作电话方法，是从观测数据中推断出来的，基于协变量调整和倾向评分的方法，这两个我都需要压力，只会给你有效的结果，根据我们在上一节课中概述的假设，例如，你的因果图是正确的。

关键是没有未观察到的混淆，第二，你的两个治疗课程有重叠，第三，如果您使用的是，嗯，如果使用非参数回归方法，重叠是极其重要的，因为没有重叠，您的模型在空间区域中未定义，因此，您无法验证。

如果你的推断是正确的，所以人们必须在模型中使用信任，在模型中，这不是我们真正喜欢的，嗯，和在倾向评分方法重叠，嗯是非常重要的，因为如果你没有，你会得到相反的倾向分数，它们是无限的，并导致极高的方差估计。

嗯所以嗯。

在幻灯片的末尾，这将是已经发布在网上的帖子，我包括一些参考资料，我强烈鼓励人们跟进，嗯，第一次提到最近在机器学习社区举行的两个研讨会，这样你就可以感觉到什么，最新最伟大的，呃。

在研究和因果推理方面是一本书，关于因果推理的两本不同的书，你可以从麻省理工学院免费下载，最后是一些我认为很有趣的论文，特别令人感兴趣的，潜在的课程项目，所以我们现在是时候了，嗯。

讲座结束后我会在这里呆几分钟，就像我平时一样。

P16：16.Reinforcement Learning, Part 1 - 大佬的迷弟的粉丝 - BV1oa411c7eD

大家好，我们现在开始，所以这周的课真的很有收获，上周停止的地方，你还记得我们上周讨论了推理，上周我告诉过你，我们只是要专注于一次步骤设置，正如我们所知，许多医学都与跨时间的多个顺序决定有关。

这将是整个星期讨论的焦点，当我真的在想，在这次讲座中我应该教什么，我意识到最了解这个话题的人是，事实上，我实验室的一名博士后研究员，嗯，关于这个话题的最多，你知道将军，我会接受的，我要那个，我要那个。

这很公平，这很公平，所以我邀请他切，今天来到我们这里，作为一个受邀的讲座，这是弗雷德里克·约翰逊，从九月份开始，他将在瑞典的查尔莫斯担任教授，非常感谢，戴维，那真是太慷慨了，嗯是的，正如大卫上次提到的。

我们研究了很多因果效应，这也是我们将开始讨论的地方，所以我就从这个提醒开始，在这里我们基本上介绍了四个量，上节课或者前两节课，据我所知，我们有两个潜在的结果。

它代表了我们在各种选择下看到的一些治疗选择的结果，所以两种不同的选择，1和0，我们有两个协变量或者对不起，我们有一个协变量，一组协变量x和一个治疗t，我们感兴趣的是这种治疗对结果的影响，给定协变量x。

我们当时关注的效果是条件平均治疗效果，这正是这些潜在结果之间的区别，基于特征的条件，所以整个上周都在试图用各种方法来识别这个数量，这个问题并没有出现太多，或者有一个问题没有出现那么多。

那就是我们如何使用这个数量，我们可能会对它感兴趣，只是就它的绝对规模而言，效果有多大，但我们也可能有兴趣设计一个政策来治疗我们的病人，根据这个数量，所以今天我们将重点讨论政策，我的意思是。

特别是考虑到我们对病人的了解，并将选择或操作作为输出，通常我们会认为政策取决于病史，也许他们以前接受过哪些治疗，病人目前处于什么状态，但我们也可以纯粹基于我们上次产生的这个数字，条件平均处理效果。

一个很自然的政策是说，x的pi等于表示，如果这个食物是阳性的，所以如果效果是积极的，我们治疗病人，如果效果是负面的，我们不，当然，积极的一面是相对于结果的有用性高，但是，嗯是的。

这是一个很自然的政策来考虑，然而，嗯，我们也可以考虑更复杂的政策，不仅仅是基于这个，这个数字，结果的质量，我们可以考虑考虑立法、药物成本或副作用的政策，我们今天不打算这么做，但当我们讨论这些事情时。

你可以记住这一点，大卫提到，我们现在应该从单一治疗的一步设置，一次行动，我们只需要考虑病人的状态一次，我们将从那里转移到顺序设置，我的第一个例子是败血症管理，所以败血症是感染的并发症，嗯。

这可能会产生非常灾难性的后果，它会导致器官衰竭并最终死亡，它实际上是重症监护室死亡的主要原因之一，因此，我们能够管理和治疗这种情况当然很重要，嗯，当你开始治疗败血症时，主要目标。

你首先应该考虑修复的是感染本身，如果我们不治疗感染，事情会继续糟糕，但即使你找到了治疗感染的正确抗生素，这是感染性休克或感染性炎症的来源，嗯，我们需要管理很多不同的情况，因为感染本身会导致发烧。

呼吸困难，低心脏或低血压，高心率，所有这些都是症状，但不是事业本身，但我们还是要设法管理他们，这样病人就活下来了，舒服了，所以当我说败血症管理，我说的是随着时间的推移管理这样的数量，病人在，在医院里。

上次又来了，只是为了真正把这个钉进去，我们讨论了潜在的结果和单一治疗方法的选择，所以我们可以在化粪池的环境中考虑这个，作为一个病人进来，或者已经在医院的病人，可能会出现繁殖困难。

这意味着它们的血氧会很低，因为它们不能自己繁殖，我们可能想让他们接受机械通气，这样我们就可以确保它们获得足够的氧气，我们可以把这看作是一个单一的选择，我们要不要给病人用机械通气。

但我们需要考虑的是在我们做出选择后会发生什么，什么会，这个选择更进一步会有什么副作用，因为我们想确保病人舒适健康，在他们逗留期间，所以今天我们将转向顺序决策，特别是我刚才提到的是按顺序做出的决定。

可能有早期选择的性质，排除以后的某些选择，我们将看到一个例子，很快，特别是我们会有兴趣提出一个反复做决定的政策，嗯，优化给定结果的，我们关心的事情可以优化，或减少，将死亡风险降至最低，这可能是一个奖励。

说，病人的生命体征在正确的范围内，您可能需要优化它，但本质上现在想想，就像拥有这个，在任何时候给予药物或干预的选择，并有这样做的最佳政策，好的，我就跳过那个，好的，所以我已经提到过了。

在脓毒症患者的管理中，我们可能需要做出的一个潜在选择，就是把它们放在机械通气上，因为他们不能自己呼吸，这样做的副作用是他们可能，可能会因为插管而感到不适，这个过程并不是无痛的，不是没有不舒服。

所以你可能要做的事情，给他们机械通气是为了给病人镇静，嗯，所以这是一种由前一个动作通知的动作，因为如果我们不给病人进行机械通气，也许我们不会考虑用它们来镇静，当我们给病人打镇静剂时。

我们冒着降低他们血压的风险，所以我们可能也需要管理，嗯，所以如果他们的血压太低，也许我们需要给血管升压剂，人为地提高血压或液体，或者其他任何处理这个问题的东西，嗯，所以说，把这看作是一个选择的例子。

它们的后果是级联的，当我们在时间里向前滚动，我们将面临病人住院期的结束，希望我们成功地管理了病人，所以他们是他们的反应，或者他们的结果是好的，我在这里说明的是什么。

对于我们医院或医疗保健系统中的任何一个病人，我们将通过这些选项只观察一个轨迹，所以我会多次展示这种类型的插图，但我希望你能，你可以意识到，这里的决策空间的范围，本质上，在任何时候。

我们都可以选择不同的动作，通常我们在重症监护室做出的决定的数量，例如，比我们在随机试验中测试的要大得多，把所有这些不同的轨迹想象成不同的手臂，在随机对照试验中，你想比较，进行这样的试验是不可行的。

所以我们谈论强化的一个重要原因，今天学习，谈论学习政策，而不是因果影响，在设置中，我们上周所做的是因为可能的行动轨迹空间太大了，话虽如此，我们现在试图找到本质上，在这里选择橙色路径的策略。

这导致了一个好的结果，为这样的事讲道理，我们还需要推理什么是好的结果，对我们代理的好奖励是什么，当它穿越时间并做出选择时，我们的一些政策，嗯，我们作为机器学习者生产的，可能不适合医疗保健环境。

就像我们必须。

以某种方式把自己限制在现实的事情上，我今天不会太关注这个，这个问题将在明天的讨论中提出来，希望，以及评估用于医疗保健系统的东西的概念，明天也会讨论，嗯，因此，我将首先简短地提及一些成功的故事。

这些不是来自医疗保健环境，大家可以猜到，从图片中，有多少人看过这些照片，好的，伟大，伟大，几乎每个人，是啊，是啊，所以这些来自各种电子游戏，几乎都是，好好小游戏，不管怎么说，这些都是很好的例子。

当强化学习起作用时，基本上，这就是为什么我在这张幻灯片中使用这个，因为从本质上讲，很难说计算机或程序最终，嗯打败丽莎娃娃，我想就在这张照片里，也是后来的围棋冠军，基本上在左上角的Alphago图片中。

很难说他们做得不好。

因为他们显然在这里打败了人类，嗯，但有一件事我想让你记住，在整个演讲中，这些场景的不同之处在于，我们稍后再讨论这个问题，和医疗保健环境有什么不同，本质上，所以我只是在这里添加了另一个例子。

这就是为什么我认识到，所以最近有一个更接近我的心，也就是阿尔法星，玩星际争霸，我喜欢星际争霸，所以你知道我无论如何都应该在滑梯上。

让我们继续前进，从广义上讲，这些可以概括在下面的图片中，这些系统发生了什么，当涉及到围棋这样的事情时，有更多的细微差别，但为了本课的目的，我们将用幻灯片总结它们，所以本质上。

强化学习的三个重要量之一是环境的状态，游戏的状态，病人的状态，我们想要优化的东西的状态，在这种情况下基本上是这样，我选择了井字游戏，这里我们有一个状态，它表示圆和十字的当前位置，游戏的那种状态。

作为一名球员，我的工作是选择一个可能的或，或者是的，可能采取的行动，一个自由的方块把我的十字架放进去，所以我是这里的蓝色球员，我可以考虑这五个选择来把我的下一个十字架放在哪里。

每一个都将带领我进入游戏的新状态，如果我把我的十字架放在这里，这意味着我的意思是现在在这个盒子里，下一轮我有一套新的动作，取决于红色玩家做什么，所以我们有这个州，我们有行动，我们有下一个州，本质上。

我们有一个轨迹或状态的转变，我们需要的最后一个数量是奖励的概念，这对强化学习非常重要，因为这就是推动学习本身的原因，我们努力优化某件事的回报或结果，所以如果我们把动作看得最远，就在这里，基本上。

我让自己在这里受到红色球员的攻击，因为我没有把十字架放在那里，这意味着如果红色球员是体面的，他会把他的圆圈放在这里，我将遭受损失，基本上，所以我的奖励是负的，如果我们把积极当成好。

这是我可以从未来中学到的东西，本质上，我想避免的是以这种状态结束，它显示在这里的底部，这是，的，的，加固的基本思路，学习电子游戏和其他任何东西，所以如果我们拿着这块板，类比或这个例子。

并转移到医疗保健环境，我们可以把病人的状态想象成游戏板，或者游戏的状态，在这次谈话中，我们将永远称之为ST，我们开出的治疗处方或干预措施将是一个，这些就像游戏中的动作，很明显，病人的结果可能是。

死亡率可以控制，会询问生命体征，就像游戏中输了或赢了的奖励，然后我把它放在这里，可能会出什么问题，嗯，就像我之前提到的，医疗保健不是游戏，就像电子游戏是游戏一样，但它们有很多共同的数学结构。

所以这就是为什么我在这里做类比，这些量在这里s a和r um会形成一个叫做决策过程的东西，这就是我们接下来要讨论的，这是今天和星期四的大纲。我今天不谈这个，但这些是我们正在考虑的话题。

所以决策过程本质上是描述我们访问的数据的世界，还是我们曾经的世界啊，管理我们的代理，而且经常是，如果你见过强化学习教，你以某种形式见过这张照片，通常是一些东西，有一只老鼠和一些奶酪，还有其他事情在发生。

但你知道我在说什么，但有相同的基本成分，所以有一个代理人的概念，让我们先想想医生，随着时间的推移反复采取行动，所以这里的T表示时间的索引，当我们绕着这个轮子旋转时，我们看到它基本上在增加，这里。

我们在时间上前进，所以一个特工采取了行动，并在任何时候获得该行动的奖励，那就是RT，就像我之前说的，环境是提供奖励的原因，例如，如果我是医生，我是经纪人，我对我的病人采取行动或干预，病人将是环境。

基本上，回应并不回应我的干预，这里的状态是病人的状态，正如我之前提到的，比如说，但它也可能是一种比病人更广泛的状态，就像，的，它们所连接的机器的设置，或者医院里某些药物的可用性，或者类似的东西。

所以我们可以比病人更广泛地思考，我也是，我说在这里部分观察到了，我可能并不真正了解与我相关的病人的一切，我们稍后会回到这个问题，所以有两种不同的形式化，它们非常接近，也就是当你知道S的一切。

当你在谈话的大部分时间里都不舒服的时候，专注于我知道的与环境无关的一切，好吧，让这一切变得更具体一点，3。我会回到我给你看的那幅画，但现在把它放在你读对的论文的上下文中，是强制性的吗，机械通风，好的。

伟大，所以在这种情况下，他们有一个有趣的奖励结构，本质上他们试图优化的东西，是与病人生命体征有关的奖励，还有他们是否保持机械通气，这篇论文的想法是，你不想让病人不必要地接受机械通气。

因为它有我们之前说过的副作用，所以在任何时间点，基本上我们可以考虑给病人开开关关，也处理给他们开的镇静剂，所以在这个例子中，他们在这份申请中考虑的州包括病人的人口统计信息，这并不会随着时间的推移而改变。

他们的生理测量，通风机设置，意识水平，他们使用的镇静剂的剂量，这可能是一个动作，我想，和其他一些事情，这些是我们必须跟踪的价值观，以与时俱进，具体包括的行动，是给病人插管还是拔管，以及给药和给药。

镇静剂，所以这又是一个所谓的决策过程的例子，本质上，嗯那个，这个过程是这些量的分布，我一直在谈论随着时间的推移，所以我们有各州，他们所经历的行动和回报，或者它们都随着时间的推移而进化。

我之前提到的决策过程是如何发生的，我们今天将讨论政策，通常在所谓的行为策略和目标策略之间是有区别的，或者有不同的词，本质上，我们观察到的东西通常被称为行为策略，我是说，如果我们去医院看看现在发生了什么。

这将是行为策略，我将表示mu，所以这就是我们要学习的，基本上，所以到目前为止，决策过程非常普遍，我没有说过这种分配是什么样的，但当人们研究系统过程时，他们所做的绝对主导的限制。

就是看一个马尔可夫决策过程，它们有一个特定的条件独立结构，我将在下一张幻灯片中演示，但我会用数学来定义它，在这里，它本质上说，我们关心的所有量的状态，我想应该是国家奖励，操作仅取决于操作中的最新状态。

所以如果我们想，或者如果我们观察到医院里医生的一个动作，比如说，做一个马尔可夫假设，会说这位医生没有看到任何早期发生的事情，或任何其他信息，而不是状态中的信息。

我们当时观察到的变量，这是我们所做的假设，是的，这像是一种假设吗，你可以做一个医疗保健，因为你没有衡量，你不能进入房地产，但只是关于健康状况的衡量，这是个很好的问题，所以从推断因果量的角度来看。

好的事情是，我们只需要最初用来做决定的东西，所以医生也只能根据这些信息采取行动，除非我们不把医生知道的一切都记录下来，也是如此，所以这是我们肯定要担心的事情，另一个，丢失信息的另一种方式，正如我提到的。

与此相关的是，如果我们希望，呃，调音，时光倒流到纽约的对立面是什么，所以我们不看病人的整个病史，当我在这里说圣。

不一定是，瞬间，就像病人的快照，我们也可以在那里和再次包括历史，我们稍后再讨论这个问题，是呀，嗯好吧，所以马尔可夫假设本质上是这样的，嗯，或者这就是我将如何说明，无论如何。

我们这里有一系列随时间演变的状态，我允许自己在这里画一些点，因为我不想永远画画，但本质上你可以想到这种模式，重复上一个状态进入下一个状态的位置，动作进入下一个阶段，动作和状态进入奖励。

这就是我们在这次演讲中将要生活的世界，在马尔可夫假设下不允许的东西是这样的边缘，它说早期的一个动作会影响后来的一个动作，具体地说，如果不通过一个状态铸造，它就不能这样做，比如说。

它很可能会对这个轨迹产生影响，但不是直接。

在这种情况下，这是更多的假设，嗯，所以你可以看到有，如果我把所有不同的测量都画出来，我们看到的，在逗留期间，基本上我在这张照片中可能会有很多错误，我没有，所以马尔可夫假设似乎是一个非常，非常强壮的。

但是确保马尔可夫假设更有可能，就是在你的状态中包含更多的东西，包括历史摘要，等等，我之前提到过，对决策过程的更强限制，就是假设随着时间的推移，状态本身，独立的，嗯，这个有不同的名字。

有时以上下文强盗的名义，但土匪本身在这里就不那么相关了，所以我们不要过多地谈论这个名字，但本质上我们能说的是在这里，然后在以后的时间点的状态，不受上一个时间点状态的直接影响，也不是上一个时间点的动作。

所以如果你有，呃，如果你还记得你上周做了什么，这看起来基本上是我们有的非常简单的图表的重复，尽可能多的潜在结果，如果我们假设这在数学上是等价的，这里代表病人的状态。

所有的病人本质上都是从某个过程中提取的，所以零一，等从上到st都是相同分布的iID图，那么我们就有了一个针对不同病人的模型，没有一个时间步骤或一个动作，而不是以某种方式依赖，所以我们可以看到。

通过倒着看我的幻灯片，这基本上是我们上周的内容，我们只需要添加更多的箭头来获得本周的内容，这表明上周是一个特例就像大卫之前说的，它还暗示了强化学习问题比潜在结果问题更复杂，我们稍后会看到更多的例子。

就像我们上周做的因果效应估计，我们对几个变量的影响感兴趣，所以上次我们研究了单一治疗选择的效果，在这种情况下，我们将研究我们在前进的道路上采取的这些不同行动的影响，那将是目标。

它可以通过对即时奖励的即时影响，也可以是通过一个动作对状态轨迹本身的影响，所以好吧，我告诉过你我们现在生活的世界，我们有这些S和NAS和我们的，我还没有告诉你这么多，关于我们试图解决的目标。

或者我们试图解决的问题，大多数RL或强化学习的目标是，保单或找到有良好回报的保单，一大笔奖励，这个有很多名字，但本质上是一项效果良好的政策，我们将在这节课中使用的井的概念，返回，所以一次返回。

遵循策略的步骤t，我以前的圆周率，是我们看到的未来回报的总和，如果我们按照那个政策行事，所以基本上我现在停下来，我问，好的，如果我继续做我一生所做的事情，会怎么样，也许这是一个好政策，我不知道。

一直走到时间的尽头，我会做得多好，我得到的那些奖励的总数是多少，基本上，那是回报，价值是对这类事情的期望，所以如果我不是唯一一个，但我们所有人，对人口的期望是政策的价值。

所以如果我们把病人作为一个比我的生活更好的类比，也许对病人的期望是什么，如果我们以同样的方式对待我们人口中的每个病人，根据同一政策，那就是，这些病人的预期回报是多少，所以作为一个例子，我又画了几条轨迹。

因为我喜欢画画，我们可以想到三个不同的病人他们从不同的状态开始，结果它们会有不同的动作轨迹，所以我们用同样的政策对待他们，就叫它圆周率吧，而是因为他们在不同的状态，他们会在不同的时间有不同的动作。

所以这里我们采取零动作，我们从这里下去，我们采取零行动，我们下去，这就是这里的意思，这件事的细节并不那么重要，但我想让你注意的是，在每一个动作之后，我们得到了奖励，最后我们可以总结一下，那是我们的回报。

所以每个病人对自己的轨迹都有一组一个值，保单的价值就是这些轨迹的平均值。

这就是我们试图优化的，我们现在有了善的概念，我们想找到一个圆周率，使v pi向上，有好的，这就是目标，所有的权利，所以我想是时候，这里有一个例子，嗯，我想让你配合一下，你要，你要解决这个问题，这并不难。

所以我想你能应付，我想我想你会没事的，但这是另一个世界的例子，这是房间里的机器人，我从大卫那里偷了这张幻灯片，谁从彼得·博迪奇那里偷的，是啊是啊，所以无论如何都归功于他，这个世界的规则是这样说的。

如果你告诉机器人谁在穿过这组瓷砖，如果你告诉机器人上去，有机会，他不上去，但去别的地方，所以我们有随机跃迁，基本上，如果我说向上，他以八分之一的概率上升，以均匀的概率上升到其他地方，这么说向上八点。

然后第二点是唯一可能的方向，如果你从这里开始，这样点二，有机会，你走错了方向，这就是我想说明的，他们不可能朝相反的方向走，这么说，如果我在这里说，它不能走那条路，嗯，这个游戏的奖励是。

加一个在上面的绿色盒子里，减一个在这里的盒子里，这些也是终态，所以我还没告诉你那是什么，但它本质上是游戏结束的一种状态，所以一旦你到了，加一或减一，游戏结束了，机器人每走一步就会得到一个点，四负奖励。

也就是说如果你坚持很长时间，你的回报会很糟糕，您的保单价值将是坏的，所以你想提高效率，所以基本上你可以，你可以想出你想去绿色的东西，那是其中的一部分，但你也想快点做。

所以我想让你现在做的是基本上找出什么是最好的政策，在这方面，这些不同的方框中的箭头应该以何种方式指向，嗯，用指向某个方向的箭头填写问号，我们知道转换是随机的，所以你可能需要考虑到这一点。

但本质上弄清楚我如何有一个政策给我最大的预期回报，几分钟后我会问你。

如果你们中的一个有足够的勇气把它放在黑板上什么的，随着时间的推移，他们开始打折，没有折扣，我们和邻居说话，是呀，这是鼓励的，所以我有个问题，动作空间是什么基本上动作空间总是向上向下向左或向右。

取决于有没有墙，嗯，所以你不能，你不能走在这里，比如说。

你不能向左走，准确地说，是啊，是啊，说得好，所以最后的每一个盒子，当你做完，应该包含指向某个方向的箭头，所有的权利，我想我们会，我们将看看是否有人解决了这个问题，现在，他们认为自己解决得很好。

你想分享你的解决方案吗，是啊，是啊，所以我觉得先上去很好，好的，往上走，坚持住，我会试着复制这个，哦，很抱歉，好的，你在这里说，是啊，是啊，好的，呃，基本的想法是，你想减少你靠近红盒子的机会，是呀。

所以尽你所能远离它，好的，是啊，是啊，所以要上去，一旦你最终到达那里，我得往右走，好的，然后，好的，那么这些呢，顺便说一句，这也是政策的一部分，关于这个，好的，那些取决于各种权利，但是这个负零点，哦。

所以这通常意味着其他的事情，我们以后再谈这个，但这是对，只是迈出任何一步，所以是的，如果你移动到一个不是终端的空间，你招致了负面的回报，所以你不停地蹦蹦跳跳很长一段时间，负数，如果我们有这个。

有一些机会，我从来没有出去过，出现这种差距的可能性很小，但这是一个非常糟糕的政策，因为你不停地来回移动，是啊，是啊，所有的权利，我们在某个地方有一只胳膊，我在这里该怎么办，嗯哼，你可以投票，好的。

谁想对了，真的，还剩谁，好的，有趣，我其实不记得了，让我们看看，所以这是好的，是啊，是啊，所以这是我们已经确定的部分，如果我们有确定性的转换，这将是伟大的，好的，因为我们不必考虑其他的。

这是彼得放在幻灯片上的，所以我不同意，实际上那里的投票。

然后它，它实际上很大程度上取决于负点，零四，嗯，所以如果你增加一点，你可能想走那条路，或者如果你减少它，我不记得了，精确减少，如果你增加它，你可能会得到别的东西，终止可能真的很好，所以这些细节有点重要。

但我想你大概知道了，尤其是我喜欢这样，你评论说你想远离红色的，因为如果你看看这些不同的路径，你上去那里，它们有相同数量的状态，但机会更少，你最终会被关进红盒子里，如果你走上层路线，伟大。

所以我们有一个政策的例子，我们有一个决策过程的例子，到目前为止，事情进展顺利，但是我们怎么做，我是说，就班级而言，这是一个黑盒实验，我不知道你是怎么知道的，所以强化学习就是这样。

强化学习就是试着想出一个政策，以一种严格的方式，希望理想情况下，嗯，所以这将是这里的下一个话题。

直到这一点，有什么问题是你一直想问的吗，但还没有，好奇，行为偏见对第一个马尔可夫假设有多大影响，比如说，如果你是一个工作了三十年的临床医生，你只是真的习惯了给某种治疗，是的，你过去给的一个动作。

这种习惯可能会影响将来的行动，是啊，如果这是一个担心，人们如何考虑解决这个问题，嗯有趣，我想这取决于它是如何表现的，如果它也影响了你以前，比如你最近的动作，也许你在某种意义上已经观察到了这一点，嗯会的。

这是一个非常广泛的问题，那会有什么影响呢，你心里有具体的东西，我想我只是在想，如果它违反了这一假设，有点像过去的一个动作，行动有趣，所以我想我的，我的回应是，以前行动并不真正取决于行动的选择。

因为政策保持不变，你可以有一个，你可能对一个动作有偏见，不依赖于你以前付出的行动，如果你明白我的意思，说，说我采取行动的概率是1，那么我过去给它也没关系，我的政策还是一样，所以不一定，可能会有其他后果。

我们，我们以后可能有理由回到那个问题上来，只是实际上我会认为医生会想要始终如一，所以你不会，比如说，想给某人上呼吸机，然后如果你把它们脱掉，然后马上又穿上，所以这将是一个例子，是啊，是啊。

过去的行动影响的地方，你完全在做什么，是啊，是啊，我认为这是一个很好的例子，你所希望的是，在这种情况下，状态变量包括一些治疗的概念，历史，这就是你，你的工作是什么，然后是的。

所以这就是为什么国家作为一个术语可能会有些误导，至少对我来说，我不知道，我不是美国人，所以说英语，但是但是但是是的，我认为这太瞬间了，所以我们现在要进入强化学习，我让你在最后一张幻灯片上做了什么。

我不知道你用什么方法。

但很可能是中间的那个，强化学习有三种非常常见的范式，他们本质上是根据他们专注于建模的内容来划分的，呃，不出所料，基于模型的RL专注于，嗯，它至少有某种模型在里面，和模型，在这种情况下。

你所说的模型是什么意思，是过渡的模型，那么在给定的动作下，我最终会处于什么状态，我现在的状态，所以基于模型的RL试图本质上为环境或环境创建一个模型，有很多，嗯，有几个基于模型的RL的例子。

其中之一是g计算，它来自统计文献，如果你喜欢MDPS本质上是，那是MDP，这是一个马尔可夫决策过程，它本质上是试图估计我们之前谈到的整个分布，嗯，这有各种各样的起起落落。

我们今天没有时间讨论所有这些范例，我们今天实际上只关注基于价值的模型，嗯，但是是的，你可以离线问我，如果您对基于模型或L感兴趣，这里最右边的是基于策略的rl，你基本上只专注于建模，被执行的政策。

或者你观察到的数据中使用的行为，你想要达成的政策，所以你在优化一个策略，你在估计一个过去使用的策略，中间的一个关注这两个都不关注，只关注估计回报，那就是G或奖励函数作为你的行为和状态的函数。

对我来说很有趣，你可以选择任何变量A、S和R并对其进行建模，你可以在强化学习中得到一些合理的东西，这个特别有趣，因为它甚至没有看，是啊，是啊，它不会试图理解你是如何到达某个，嗯。

基于国家行动的回报只是直接优化政策，它有一些明显的好不明显，但不这样做有一些缺点，所以好吧，无论如何，我们将专注于基于价值的RL，基于价值的RL的最主要的实例是Q学习，我肯定你听说过，它是画出来的。

这是我以前展示的成功故事的驱动力，球门星际争霸什么的，g估计是这方面的另一个例子，这又来自统计文献，但我们今天将重点讨论Q学习，Q学习是动态规划的一个例子，从某种意义上说，这就是通常的解释。

我只是想看看有多少人以前听过动态编程这个短语，好的，伟大的嗯，所以我想我不会在一般情况下详细讨论动态编程，但一般的想法是递归的，在这种情况下，你知道什么是好的终态，然后你想知道怎么去那里。

以及如何到达之前的州和之前的州等等，这就是我们将要讨论的递归，并以结束状态结束，那是这里最好的，很明显，这是这里的加号，也是最好的方法，或者去那里的唯一方法是先在这里停下来，因为你不能离开这里。

因为它是一个终端状态，所以你唯一的赌注就是那个，然后我们可以问什么是到达3-1的最佳方式，我们如何在最佳状态之前到达状态，嗯，我们可以说一个方法是从，从这里走，从这里走一条路。

正如我们之前从观众那里得到的，这是一个稍微糟糕的方式去那里，然后从这里开始因为这里我们有可能以-1结束，然后我们进一步递归，基本上我们得到了这样的东西，也就是说，我将在这里试图说明的是，就是绿色的盒子。

我希望你能，我很抱歉任何颜色，盲人观众，因为这是我的一个糟糕的选择，无论如何，这个底部大部分是红色的，这个大部分是绿色的，你可以按照这里的绿色，本质上是为了达到最佳的结束状态，嗯，我在这里用颜色。

这是一个知道一个状态有多好的想法，取决于那个状态之后的状态有多好，所以我知道加一是一个很好的结束状态，这导致我向后递归，所以问题是，我们怎么得到，我们怎么知道那边的那个州是好的。

当我们把它形象化在我们面前，很容易看到，这很简单，因为我们知道加一在这里是终态，就到此为止了，所以这是唯一的，在这种情况下，我们唯一需要考虑的状态，但更普遍的是，我们如何学习。

Q学习的目的是什么状态的价值，好之后，如果我们知道什么是好的状态，我们总是可以，我简单地解释了一下递归，你会发现一个有很高价值的状态，你想出怎么去那里，所以我们现在必须定义，嗯，我所说的价值是什么意思。

这个词我已经用了好几次了，嗯，我说在这里回忆，但我不知道我以前是否真的把它放在幻灯片上，所以我们只能说这是我们将使用的价值定义，所以值是，是啊，是啊，我想我在行动前把它放在幻灯片上了，这是预期的回报。

记住这个g，这是未来的奖励总和，那么这个状态的值就是对这种回报的期望，所以我之前说过，保单的价值是回报期的预期，和一个状态的值，保单是该回报的值，从某种状态开始，我们可以进一步分层。

如果我们喜欢并说一个状态动作对的值是预期的回报，从某一状态开始并采取行动，之后，遵循策略PI，这就是状态动作对的所谓Q值，It’没问题，这就是Q学习得名的地方，所以Q学习试图估计Q函数。

从状态s开始的预期返回，并从数据中采取操作a um，它这样做了，Q学习也与确定性政策有关，所以策略和Q函数以这种特定的方式结合在一起，如果我们有一个Q函数，它试图估计策略PI的值。

圆周率本身是arg max，根据那个Q，听起来有点递归，但希望一切都好，如果我们看这里可能会更明显，所以我之前说过，开始一个采取行动的价值，然后遵循策略PI，这是由决策过程本身定义的，最好的圆周率。

最好的政策是Q最高的政策，这就是我们所说的Q星，好的，这很好，这不是我们所说的Q星，让我们叫小Q E开始Q星，对此最好的估计显然是事情本身，所以如果你能找到一个好的功能，它为状态操作对赋值。

你能得到的最好的这样的函数是一个有，等于小Q星，这并不太令人困惑，我会在下一张幻灯片上显示，这可能是合理的，所以Q学习是基于动态规划的一个一般思想，也就是所谓的贝尔曼方程，好了，行李员最优性说。

这是行李员最优性的关联吗，上面说Q星，最佳状态动作值函数，拥有财产，它等于在状态下采取行动的立即奖励，加上这个，这是下一个状态的最大q值，所以我们要盯着这个看一会儿，因为它是需要消化的东西。

我想这里有一点需要消化，记住Q Star为任何状态操作对赋值，所以我们这里有Q星，我们这里有Q星，这里的这个东西应该代表时间向前的值，在我做了这个选择行动后，如果我知道采取行动有多好，a代替s。

它应该包括我得到的即时奖励，这是RT，这个选择有多好，所以想想机械通气，就像我之前说的，如果我们让病人接受机械通气，在那之后我们还得做很多其他的事情，如果这些事情都没有带来好的结果，这部分会比较低。

即使立即的回报是好的，所以对于最佳Q星，这个数量保持，我们知道我们可以证明，所以问题是，我们怎么找到这东西，我们如何找到Q星，因为Q星不仅仅是给你最优策略的东西，它也满足了这个等式。

这并不是对每个Q函数都是正确的，但对于最优的一个来说是真的，是啊，是啊，如果你以前没见过这个，可能有点难以消化，符号清楚吗，基本上在这里，你有下一次到达的状态，素数是，这里的参数，或者对此的争论。

你在尽最大努力，Q星值在您到达它之后的状态下，是的，你在黑板上的一个例子，是呀，其实，我可能会在一秒钟内做一个Q学习的完整例子，是呀，我会的，我会讲那个例子，然后呢，是啊，是啊，我在考虑要不要那样做。

可能需要一些时间，但它可能很有用，那么我们在哪里，我在行李员不等式之前给你看的，我们知道这是最优的，如果有一种质量在最佳状态下是正确的，优化中的一个一般思想是所谓的不动点迭代，你能做的到达那里，嗯。

这就是我们要做的，以获得一个好的队列，Q学习的一个好处是，你的状态和动作空间是小而离散的，您可以将Q函数表示为表，所以你所要跟踪的就是，在某一状态下的某一动作，或所有州的所有行动。

所以这就是我们在这里所做的，这是一张桌子，我基本上已经向你描述过了，这里的政策，但我们接下来要做的是描述每个动作的价值，所以你可以想到，取权利的价值，一个下上左，本质上，这些将是我们需要考虑的价值观。

所以Q学习对离散状态的作用是从某个地方开始，从Q是随机的这个概念开始，可能是零，然后重复下面的不动点迭代，在那里你更新了你以前对Q应该是什么的想法，嗯，以其现值。

加上一些基本上是在那种状态下采取行动的直接奖励的混合物，和未来的回报，根据你目前对Q函数的估计来判断，所以我们现在就这么做，在实践中，是啊，是啊，在整个过程中，我们得到了，就像过渡概率。

或者喜欢游戏的行为，所以这里不用，实际上是基于值的RL，我没有明说，但他们并不依赖于知道过渡概率，你可能会问的是，我们从哪里得到s、as和rs，我们会讨论的，我们如何估计这些，我们会讨论的，以后好问题。

虽然，好的，我要向你扔一个非常凌乱的滑梯，给你很多数字，嗯，所以我现在所做的，这是我在黑板上写的更详尽的版本，对于每个小三角形，这里表示状态操作对的q值，所以这个三角形又是为了动作，对呀。

如果你在这种状态下，好的，所以我在第一张幻灯片上写的，这是立即的奖励，嗯每个动作，所以我们知道任何一步都会让我们付出代价，我们损失了零点四，所以这就是为什么这里有很多这样的人。

这里的这些白框不是可能的动作，在上面，你得了96分，因为这是去这里的直接回报，负零点四，这两个是负一，因为同样的原因，而是因为你在零下一到达，好的，这是第一步，第二步完成了，我们将线索初始化为零。

然后我们把问题的两个参数–和–选为一个，然后我们做了Q学习的第一次迭代，其中我们将Q设置为Q的旧版本，也就是零加阿尔法乘以这个，所以q是零，这意味着这也是零，所以我们唯一需要看的是这里的这个东西。

这也是零，因为所有州的队列都是零，所以我们最终得到的唯一结果是，这就是这张桌子上的东西，下一次我正在做的步骤，Q现在学习，以一种我一次更新所有状态的方式，一次所有的车站动作对，我怎么能做得那么好。

这取决于我到那里的问题，基本上，我观察到什么数据，或者我如何知道S A对的回报，我们会回到这个问题上，所以在下一步，我得再更新一遍，所以它是以前的Q值。

对很多事情来说都是负零点四，然后加上立即的奖励，这就是RT，我必须继续前进，所以桌子上最主要的东西，这一次，几乎所有这些盒子的最佳Q值都是负零，零点四，所以基本上我会加上即时奖励，加上几乎到处都是。

有趣的是，不过这里最好的Q值是0。96，它将继续存在，所以说，这意味着相邻状态的最佳q值将在这里看到这个最大值，把9点6拿出来，好的然后加上即时奖励，所以这个东西到了这里给了我9点6分。

立即奖励扣零点四，现在我们可以弄清楚接下来会发生什么，当你走的时候，这些值就会散开，离，离加一更远。

我认为我们不应该经历这一切，但你会感觉到信息是如何从加号移动的，我相信你自己也是这么解决的，嗯在你的脑海里，但这清楚地表明，你为什么能这么做，即使你不知道，其中终端状态为，或者哪里最好，嗯。

其中状态操作对的值为，如果你想朝着某个方向前进，你就会往那个方向走，是呀，对不起，谢谢你提醒我那应该在幻灯片里，是呀，是啊，是啊，我要去，剩下的我就不说了，我希望你原谅我，我们可以以后再谈。

但有一件事很感谢你提醒我，皮特在那里，我在这里利用的一件事，我假设只是确定性的转换，我在这里非常依赖的另一件事是，我可以表示这个q函数。

作为一张桌子，就像我画了所有这些盒子，我把数字填了进去，那很容易，但如果我有成千上万的状态和成千上万的行动呢，那是一张大桌子，它不仅是我记忆中的一张大桌子，对我也很不好，统计学上。

如果我想观察任何关于状态动作对的事情，我必须在那种状态下做那个动作，如果你考虑在医院治疗病人，你不会在每个州都尝试一切，通常你也不会有无限多的病人，那么你怎么，你怎么知道。

在某种状态下采取某种行动的直接回报是什么，这就是函数近似的作用，本质上，如果您不能将数据表示为表，要么是出于统计原因，要么是出于记忆良好的原因，让我们说，你可能想用参数函数近似Q函数。

或者带有非参数函数，这正是我们能做的，所以我们现在可以类比我们上周所做的，我会回来的，但本质上，做这个不动点迭代，我们以前做过。

我们会试着寻找一个函数qθ，它等于r加gamma，最大最大Q，这是在我们有行李员不等式之前的记忆。

我们说q星s a等于r，最大值为素数，我们到达的状态是什么，在A状态下采取行动后，所以我在这里做的唯一一件事就是把这个等式变成，关于违反这一等式的损失函数，所以通过最小化这个数量。

我会找到一些类似于我们之前谈到的行李员等式的东西，这就是拟合Q学习的理念，其中，用函数近似代替表格表示，本质上，为了让这个更具体一点，我们可以考虑这样一个情况，我们只有一个步骤，只有一个动作要做。

这意味着这个方程没有未来的部分，这部分消失了，因为在我们的轨迹中只有一个阶段，所以我们只有即时的奖励，我们现在只有Q函数，这完全是一个类似方程的回归，就像你在估计潜在结果时看到的那样。

这里的rt表示抱歉，做行动的结果，状态为s和q的a，这是我们对这个RT的估计，如果我们再一次，我以前说过，如果我们在我们的过程中有一个单一的时间点，问题归结为估计潜在的结果，就像我们看到的那样。

上次我们有曲线，对应于不同动作下的不同结果，我们可以做回归调整，试图找到一个F，使这个数量很小，这样我们就可以模拟每一个不同的潜在结果，这正是拟合迭代所发生的事情，如果你有一个单一的时间步骤二，所以说。

让它更具体，我们可以说，这里有一些目标值G帽，它代表了眼前的奖励和未来的奖励，那就是我们回归的目标，我们将一些函数拟合到该值，我们之前的问题是，嗯，我怎么做，我如何利用，或者我怎么知道转移矩阵，嗯。

我怎么得到关于这件事的任何信息，好的，我在幻灯片上说，好的，我们有目标了，这是r加上未来的q值，我们有一些预测，我们对这里的过渡有一个期望，但我如何评价这件事，我必须从某个地方得到的过渡，另一种说法是。

这就是我们回归的输入和输出，因为当我们估计潜在的结果时，我们对此有一个非常清楚的想法，我们知道Y是，结果本身就是一个目标，输入是，你知道我的职业，是x，但这里我们有一个移动的目标。

因为这个Y或者这个Q帽，它也必须来自某个地方，这也是我们估计的，所以通常情况下，我们，我们在更新这个目标Q和Qθ之间交替，所以基本上我们复制Qθ成为我们的新Q帽，我们以某种方式迭代这个。

但我还没有告诉你如何评估这个期望，所以通常在RL，有几种不同的方法可以做到这一点，要么取决于你来自哪里，本质上这些是不同的，或者这些是不同的可行的，所以如果我们回头看这个。

这里的这个东西依赖于转换的元组，国家，动作，下一个状态，我得到的奖励，所以我必须以某种方式观察那些，我可以通过各种方式获得它们，当谈到学习玩电子游戏时，这是一个非常常见的问题，例如。

你做了一些叫做策略探索的事情，这意味着您观察当前正在优化的策略中的数据，你只要按照你目前的政策玩游戏就行了，在医疗保健方面的类比是，你对如何治疗病人有一些想法，你就这么做看看会发生什么可能会有问题。

尤其是如果你有保单，就像如果你随机初始化它，或者如果你得到了一些，在某个非常次优的地方，对呀，我们更多的是不同的事情，也许在有限的环境中接受医疗保健，是随机试验的想法，在哪里。

而不是尝试一些你目前正在学习的政策，你决定在一个可以掷硬币的人口上，基本上，在不同的动作之间，你在这里有区别，顺序设置和一步设置之间的区别，现在我们必须随机化一系列动作。

这与你以前看到的临床试验有点不同，我认为最后一个是练习时研究最多的一个，我想说这是不符合政策的，我们谈论的那个在哪里，相反，本周是政策评估或学习，在这种情况下你你，你观察医疗保健记录，比如说。

你观察注册表，你观察到一些来自医疗保健系统的数据，鸽子已经被处理过的地方，你试图根据这些信息提取一个好的策略，这意味着您可以看到状态和下一个状态中的动作之间的转换，你看到的回报是基于过去发生的事情。

你必须想出一个模式来帮助你想出一个好的动作，好政策，所以我们现在就关注那个，我将结束这次演讲的最后一部分，嗯，我们怎么能，本质上，当我们了解非策略数据时，我们必须小心的是，到目前为止有什么问题吗，呃。

当你离开，呃，对不起，必须满足的要求，呃，就像我们，是的，我将在下一组幻灯片中讨论这个问题，我会在下一组幻灯片上讲到这一点，是啊，是啊，谢谢。关于Q学习部分的其他问题，我的同事拉胡尔，他说。

也可能他只是转述了别人的话，但本质上，你必须看到RL十次才能得到它，或者类似的东西，我也有同样的经历，所以希望你有问题要问我，但什么人类，是啊，是啊，准确地说，但是嗯。

但我认为你应该从最后两部分中吸取什么，如果没有详细的Q学习怎么做，因为我失去了很多东西，1。你应该随身携带，动态编程的思想，我怎样才能早点知道什么是好的，在我的过程中，从什么好晚。

以及走向良好状态的想法，而不仅仅是立即到达那里，嗯，有很多方法可以考虑这一点，好吧，我们将继续进行非策略学习，这里的设置是我们接收病人状态的轨迹，来自某些来源的行动和奖励，我们不知道这个来源一定是什么。

我会，我们可能知道来源是什么，但我们不知道这些动作是如何执行的，我们不知道是什么政策导致了这些轨迹，这和上周你估计因果效应时的设置是一样的，在很大程度上，我们说动作又画了一遍。

根据一些我们不知道的行为政策，但是我们想弄清楚一个新的策略圆周率的值是多少，所以当我很早就给你看的时候，我希望我又有了那张幻灯片，但本质上是一堆病人的轨迹，和一些返回的病人轨迹。

有些返回被称为值的平均值，如果我们根据一定的政策有轨迹，这就是那份保单的价值，这些东西的平均值，但是当我们根据一个策略有轨迹时，我想知道另一个的价值，那是同样的问题，作为协变量调整问题，你上周基本上。

或者混淆问题，本质上像，我们画的轨迹有偏见，根据创造它们的临床医生的政策，我们想弄清楚不同政策的价值，所以和上次的混淆问题是一样的，而且因为它和上次的混杂问题是一样的，嗯。

我们知道这至少和做那件事一样难，我们有混杂，我已经提到了差异问题，你也提到了重叠或积极，事实上，我们需要做出同样的假设，但更强有力的假设是，这些都是充分条件，所以在非常确定的情况下，你不需要它们。

但在一般情况下，我应该说这些都是相当普遍的假设，仍然是严格的，我应该这么说，上次我们研究了一种叫做强忽略能力的东西，我意识到这里的文本很小，你能看到后面，可以吗，好的，伟大，这么强的无视能力。

说潜在的结果y 0和y 1有条件地独立于治疗，t给定变量x或变量x的集合，也就是说，这并不重要，如果我们知道给了什么治疗，我们可以根据x计算出，在任何一个治疗臂下会发生什么，我们用T等于治疗这个病人吗。

零，不是一个，我们有一个重叠的想法或假设，它说任何治疗都可以在任何状态下观察到，嗯，这就是为什么，就是这个意思，那就是，只是为了确保我们至少可以在x处估计一个条件平均治疗效果。

如果我们想估计人群中的平均治疗效果，我们需要知道，我们需要对人口中的每一个x都有这个，所以在顺序的情况下，我们需要更强有力的假设，这里有一些符号我没有介绍，对此我表示歉意，但在这些SS上面有一个酒吧。

因为我不知道，如果你能看到，在本文献中通常表明，你在看这里索引的序列，所以直到我观察到的所有状态，和所有的动作，直到T减1，也许这个应该，是啊，是啊，完全正确是的，我把T减一，因此，为了确定最佳策略。

或可识别的策略值。

我们需要这个强大的条件，因此，保单的返回与当前操作无关，考虑到过去发生的一切，很明显，这比马尔可夫假设要弱，因为我们说过未来发生的任何事情都是有条件独立的，给定当前状态。

所以这个比较弱因为我们现在只需要观察历史上的一些东西，我们需要观察历史上所有的混乱，从某种意义上说，我们不需要用s来概括它们，我们将在下一张幻灯片上继续讨论这个问题，积极是真正困难的，虽然。

因为我们要说的是，在轨迹的任何一点上，任何行动都应该是可能的，以便我们计算，以便我们估计任何可能的保单的价值，我们知道这不会是真的，在实践中，我们不会在每一个可能的点上考虑每一个可能的行动。

在卫生保健环境中，只是不可能，所以这告诉我们，我们应该，我们不能估计每一份可能的保单的价值，我们只能估计与UM一致的保单的价值，在我们的支持下，如果我们从来没有在时间三看到行动四。

我们不可能了解一项政策，这样做，采取行动的时间三，这就是我想说的，所以说，从某种意义上说，这是，嗯，是啊，是啊，只是因为顺序设置是如何工作的，它就更强了，它更多的是关于应用程序域而不是任何东西，我会说。

在下一组幻灯片中，我们将关注顺序随机化或顺序忽略。

能力有时被称为，明天我们将谈谈，或者是积极的结果，假设和像重要性等待这样的事情，等，我说过明天我星期四在吗？嗯，所以最后回顾一下潜在的结果故事，这是一张幻灯片，我不确定你是否给他看这个。

但我们在很多谈话中都用过，这再次说明了一步决定的想法，我们这里有安娜，一个病人进来了，她有高血压，血糖和其他一些特性，我们在争论是给她A药还是B药，为了做到这一点。

我们想知道在这些不同的选择下她的血糖会是多少，几个月后，所以我要，我只是用这个把你介绍给病人安娜，我们要多谈谈安娜，所以给安娜治疗一次，我们可以用这个因果图来表示，你现在已经看到很多次了。

我们接受了一些治疗，我们有一些状态S和一些结果R，我们想弄清楚这A对结果R忽略能力的影响，在这种情况下，只是说每个作用下的潜在结果A有条件地独立于给定的S，所以我们知道忽略能力是一个足够的能力和重叠。

是确定这种影响的充分条件，但现在发生的事情，如果我们再加一个时间点，好的，所以在这种情况下，如果我这里没有多余的箭头，我只是有完全独立的时间点，忽略能力显然仍然有效，没有从A到R的链接，没有从s到等。

所以无视能力还是可以的，好的，如果我，如果我不知何故你知道，选择，还是安娜未来的健康状况取决于我现在采取的行动，那我就得拿，情况有点不同，所以这现在不是完全独立的，呃，我所做的行动。

但这里的行动影响着未来的国家，所以我们看到了这个，这又是，这是一个马尔可夫决策过程，就像你以前看到的那样，这很有可能，这在实践中很有可能，嗯还有，如果安娜，例如糖尿病，正如我们所看到的。

在我提到的例子中，她很可能会一直这样，所以这个以前的状态会影响未来的状态，这些事情似乎很有道理。对呀，但现在我试图争论顺序忽略能力假设，我们怎么打破它，我们怎样才能打破，忽略能力，当涉及到顺序设置时。

如果你在这里有行动，所以以后的结果取决于以前的选择，情况肯定是这样，因为我们可能会有延迟效应，所以如果我们测量，比如说实验室值，它可能在正确的范围内，也可能不在正确的范围内。

这很可能取决于我们很久以前给的药物，奖励也可能取决于一个州，这是更早的，取决于我们在状态变量中包含的内容，好的，我们已经有了一个例子，我想从观众的角度来看，所以实际上忽略，能力应该有一个大红十字在上面。

因为它不在那里，幸运的是，它在下一张幻灯片上，嗯，因为在医疗环境中，我们可以想象有更多的错误，对所以，哦耶，我们之前得到的例子本质上是，如果我们以前尝试过一个动作，我们可能不想再试一次，或者喜欢。

如果我们知道以前有什么东西有效，我们可能想再做一次，所以如果我们在这里有一个好的奖励，我们可能想做两次同样的事情，这个箭头说如果我们知道，一个病人早些时候有症状，我们以后可能想以此为基础采取行动。

如果你知道病人在某个时候有过敏反应，例如，我们可能不想在以后使用这种药物，但你总是可以把所有的东西都放在准确的状态下，所以这取决于你在状态下放入什么，所以这是这样是这样的，这是一个例子。

我应该在哪里引入这些箭头来表明，如果我这里没有这些信息，然后我引入这个依赖关系，好吧，所以如果我如果我没有关于，以前在这里是什么过敏反应还是什么症状，那我就得做点别的事，所以这正是重点。

如果我能以某种好的方式总结历史，如果我能压缩变量的这四个值，对不起变成一些，一些变量h代表历史，那么我有你知道，关于那段历史的能力，嗯，问题是那个问题，我是说，这就是这就是你的解决方案。

它引入了一个新的问题，因为历史通常是一件很大的事情，我是说我们知道历史是随着时间而发展的，但通常我们观察病人的时间点不相同，那么对于一个程序，我们如何表示它，我们如何将其表示为学习算法。

那是我们必须处理的事情，你可以用零填充历史记录，等，但是如果你保持每一个时间步长，重复每一个时间步长中的每一个变量，你得到一个非常大的物体，对，可能会引入统计问题，因为现在你有更多的方差。

如果你有新的变量，等等，所以人们做的一件事是，呃，回头看一段时间，所以不要只看一次后退一步，你现在看一个长度K的窗口，你的状态基本上是通过，呃，通过一个因素，K嗯，另一种选择是尝试学习一个摘要函数。

学习一些与预测结果相关的功能，考虑到所有的历史，但它的表示形式比T乘以变量要小，但这是需要发生的事情，通常如果你和任何，实践中的大多数医疗保健数据，你必须对此做出选择，我只想强调这是你无法避免的。

我想说的最后一点，未观察到的混淆也是一个问题吗，那是无法避免的，只是因为总结历史，我们可以引入新的混杂，如果我们不能很好地总结历史，那就有问题了，但我们也可以有未观察到的混杂物。

就像我们在一步设置中一样，所以一个案例是，一个例子是，如果我们有一个不确定的创始人，就像我们以前做的那样，它既影响当前的行动，也影响当时的行动，第一时间的奖励，但当然现在我们在顺序设置中。

混杂结构可能要复杂得多，我们可能会有一个混淆器，它影响了早期的行动和后期的奖励，所以我们可能更难描述什么是，我只想指出这一点，并强调这只比一步设置更难，所以我们现在要结束了，我只想结束，嗯，关于，呃。

我们以前看过的游戏，他们的一个重要原因，这些算法在玩游戏中如此成功是因为我们有充分的可观察性，在这些设置中，我们什么都知道，从游戏板本身，当谈到去的时候，至少，我们可以用它来辩论，当谈到电子游戏时。

但是嗯，但在围棋中，我们对棋盘有完全的可观察性，我们需要知道的最佳决策的一切都在任何时间点，所以不仅嗯，我们不仅可以通过历史来观察它，但在围棋的情况下，你甚至不需要看历史，周，我们当然有马尔科夫。

马尔可夫动力学，关于董事会本身，你永远不需要记得早些时候的一个动作是什么，除非你想读懂你的对手，我想是的，但那是一种博弈论的观点，我们不会进入这里，但更重要的是，我们可以几乎无限地探索这些系统的动力学。

只是通过模拟和自玩，这是真的，不管你是否有完全的可观察性，或者不像星际争霸，你可能没有完全的可观察性，但你可以尝试你的东西，把它和我不知道的，七百名类风湿性关节炎或类似疾病的患者，这些是你的样品。

你不会得到新的，所以这对我们来说是一个惊人的障碍，如果我们想以一种好的方式做到这一点，目前的算法对他们使用的数据非常非常低效，这就是为什么这种无限的探索或模拟对这些游戏如此重要。

这也是为什么奥运会是成功的故事，最后一点是，对于我放在这里的这些设置，我们通常有，我们没有噪音，基本上，我们得到了对行动、状态和结果的完美观察，诸如此类的事情，在任何现实世界的应用程序中都是如此。

所有的权利，我明天要收工了，没有，周四大卫会更明确地谈论，如果我们想在医疗保健中正确地做到这一点，会发生什么，我们要好好讨论一下吗，我也肯定。

所以不要介意滑梯，今天是星期四。

P17：17.Reinforcement Learning, Part 2 - 大佬的迷弟的粉丝 - BV1oa411c7eD

今天的三部分讲座，仍在继续强化学习的主题，第一部分，我要讲话了，我将继续上周关于因果推理的讨论，以及周二关于强化学习的讨论，我将进入，嗯，出现在那里的另一个微妙之处。

在那里我们可以开发一些很好的数学方法来帮助，然后我要把节目交给芭芭拉，到时候我会正式介绍他，她将谈论她在开发方面的一些工作，评价动态处理方案，然后她会领导一场关于败血症论文的讨论，所以这就是三个部分。

今天的讲座，所以我想让你回来，把你的背放在周二演讲的心态上，我们在那里谈到了强化学习，我记得强化学习的目标是优化一些奖励，我们的目标是找到一些政策，我可以作为圆周率明星去。

这是所有可能策略的ARG最大值，圆周率v的圆周率，只是想提醒你，圆周率的V是保单的值，圆周率正式，它是，定义为期望，跨时间的奖励总和，好的，所以我称之为期望的原因，就像圆周率一样，因为有随机性。

无论是在环境中，还是在圆周率中，都将是一个随机策略，这是时间步长的总和，因为这是一个，这不仅仅是一个单一的时间步长问题，但我们将考虑跨时间的干预，每个时间点的奖励，奖励函数可以在每个时间点。

或者你可以想象这对所有的时间步长都是零，除了最后一步，所以我想考虑的第一个问题是，作为一种学习范式，这意味着什么，如果我们看看这里发生了什么，隐藏在我的故事里，也是对x病人的期望，比如说，或者初始状态。

所以直觉上这是在说，让我们试着找到一个有很高期望回报的政策，所有病人的平均凡尔纳，我只想让你想想这是否真的是正确的目标，有人能想到一个可能不受欢迎的场景吗，如果奖励是病人的生死，你不希望它有很高的方差。

比如救了几个病人零，但后来预料到了，因为来对了，所以这次奖励是至关重要的，像病人一样，病人，垂死，真的想尽量避免这种情况发生，当然还有其他我们可能感兴趣的标准，我们讨论了如何。

可能还有其他方面要确保病人不仅仅是活着的，也很健康，这可能会发挥你的奖励功能，所以可能会有奖励，如果你，只是，比如说，为病人的死亡加上一个正的或负的无穷大，那是不可能的。

因为如果你这么做了不幸的是在这个世界上，我们并不总是能让病人活着，所以你会遇到一个不可行的优化问题，所以负无穷大不是一个选择，在这种方法中，我们必须给出一些数字，但你会开始在病人之间进行交易。

你知道在某些情况下你可能，你可能会有很高的回报，可能有两种不同的解决方案，你可以想象，一种对患者的奖励在某种程度上是平衡的解决方案，在另一种情况下，你对一些病人的奖励价值很小。

和一些价值和奖励非常大的病人，两者都会给你相同的平均值，显然但不是两者兼而有之，但两者不一定同样有用对吧，我们可能想说，我们更愿意避免最坏的情况，所以人们可以想象制定这个优化问题的其他方法。

就像也许你想，也许你想控制最坏情况的奖励，而不是一般的案件奖励，或者你想说一些关于不同四分位数的东西，我只想指出这一点，因为真的，那是我们在这里做的许多工作的起点，所以现在我想让我们好好想想。

好的回到这个目标，我们已经完成了政策迭代，或者我们已经做了我们的Q学习，也就是说，我们出台了一项政策，现在可能想知道，那份保单有什么价值，对呀，那么我们对这个数量的估计是多少呢？去得到那个。

人们可以试着从Q学习的结果中读出来，通过计算Vπ，我们所说的VPI帽子，估计正好等于现在，动作上的最大值，Q函数的a在初始状态下求值，和你的最佳行动选择A权利，所以这就是我要说的。

算法的最后一步可能是问好，这项政策的预期回报是什么，如果你还记得，Q学习算法本质上是一种动态规划算法，从，你知道的，从现在到现在的时间价值很大，它实际上是在计算你感兴趣的期望值。

所以你可以从最后的Q值中读出它，但我想指出，这里有一个隐含的政策，所以说，我马上要比较一下，在因果推断场景下发生的事情，所以只要一个时间步骤，和潜在结果框架，我们已经注意到这个政策的价值。

这就是为什么它是圆周率的函数，因为它的价值是，也是你随后采取的每一个行动的函数，所以嗯，现在让我们将其与潜在结果框架中发生的情况进行比较，所以我们的起点在那里，所以现在我要。

我要把我们的注意力转移一会儿，从强化学习到因果推理，在强化学习中，我们谈到了政策，我们如何发现政策在政策的预期回报方面做得很好，但是当我们谈论因果关系的时候。

我们只用了平均治疗效果或条件平均治疗效果这样的词，在哪里，比如说，估计条件平均治疗效果，我们说的是，我们首先要学习如果我们使用，如果我们用协变量调整方法，我们学习一些功能。

它是给定结果y的期望值的近似值，我会在那里说的，所以这个符号，所以协变量调整的目标是估计这个量，我们可以利用这一点来构建一个政策，比如说，你可以，你可以考虑一下政策，x的pi，它只是想看看。

或者你对凯特x的估计是正零，否则只是想提醒你我们对凯特的估计，对于个人来说，只需要看x逗号1减去f，好的，所以说，如果我们有政策，所以现在现在，我们将开始在因果推理的背景下思考政策。

就像我们在强化学习中所做的那样，我想让我们好好想想，保单的类似价值是什么，那项政策有多好，也可能是另一项政策，但现在，我想我只想专注于这项政策，我出现在这里，一种试图评估该政策有多好的方法。

与我们在强化学习中所做的完全相似，本质上，我们要说的是，我们，通过总结你的经验数据来评估政策的质量，所以这将是，如果政策上说给个人一个治疗，在这种情况下，我们说值是x逗号1的f，或者如果你给了第二个。

如果保单给零治疗，该个人的保单值是x的1减pi，x的次数x逗号零，所以我把这个叫做，一种，对你应该思考什么的实证估计，作为对保单PI的奖励，和，它与V的估计完全相似，从强化学习环境中得到的圆周率。

但现在我们明确地谈论政策，所以让我们试着深入一点，想想这实际上在说什么，想象一下这个故事，你只有一个协变量，我们把x看作是，假设病人的年龄，和，推动这里只有一种颜色，但我会尽我所能想象潜在的结果。

作为病人年龄的函数，x是这样的，现在想象一下另一个潜在的结果，看起来像那样好吧，所以我称之为Y一个潜在的结果，假设现在我们定义的策略是这样的，所以我们要给治疗一个，如果条件平均处理效果为正且为零。

否则我想让每个人都在一张纸上画出保单的价值，对不起，我想让每个人都写在一张纸上，保单对每个人的价值是什么，所以这将是一个函数，现在我希望它是，我在找为什么X的圆周率好的，所以我在找你画那个情节。

并随时与你的邻居交谈，事实上，我鼓励你和你的邻居谈谈，只是想把这个更好地和我这里的东西联系起来，我假设这是，这是x 0的f，是啊，是啊，所有的权利，任何，有什么猜测吗。

这个情节看起来像一个在过去一周里没有说话的人，一个半，如果可能的话，就像在所有点的函数的最大值，所以可能是线性截面的y-0，然后你一个，所以会是这样的，直到交点，然后就像这样，这正是我要做的。

让我们试着思考一个，为什么保单的价值，看这两条线之间差异的情况是负的，对呀，所以对于到这个交叉点的每一个x，我们在那里定义的策略将执行操作，二二二等一下，我画的对吗，也许实际上恰恰相反，对呀。

你应该做动作，一个，好的，所以这里，好的，所以这里，凯特是，负的，所以根据我的定义，执行的动作是动作零，所以保单的价值实际上是这个，对呀，等一下，哦等等，哦很好，你知道我们想要什么，因为这是图表。

我在我的笔记里，好的，我得到了，我开始担心了，好的，所以一直都是这个动作，直到你到这里，然后这边，现在凯特突然变得积极起来，所以，所以这个政策的价值是，好的，所以人们可以用不同的方式来写这个。

在…的情况下，在只有两个保单的情况下，现在我要用一种非常清楚的方式来写这个，在只有两个动作的情况下，人们可以把它等效地写成，数据点上的平均值，x的f逗号1好的，这种简化，把这个公式变成这个公式，就是。

假设我们被评估的圆周率，正是这个圆周率，所以这个蕴涵只针对圆周率，另一项保单，不是看着凯特，或者例如，这可能会使凯特处于伽马射线，就不完全是，这将是另一回事，好的，所以，但我在这里更进一步，好吧。

那我该怎么办，我给你看的是对的，这里不是平均值，但是个人的价值观，对呀，我已经给你看了最大的，但这实际上是在看预期的回报，它现在在所有x上平均，所以要真正把我们画的这个情节和，该政策的平均回报。

我们应该看的是这两个函数的平均值，我们会说，你知道吗，类似的东西，好的，这个值就是预期的回报，现在，这一切都表明，这项政策的预期回报不是一个数量，我们在以前的讲座中已经考虑过了。

至少不是以前关于因果推理的讲座，对呀，这与平均治疗效果不一样，比如说，我刚刚给了你一个思考的方法，您可能想要导出的策略是什么，当你在做因果推断的时候，第二个，估计保单价值的一种方法是什么。

它通过协变量调整来估计潜在的结果，但我们可能会想，就像我们谈到的因果关系，我说有两种方法或两种以上，但我们专注于两个使用协变量调整和做倾向，反倾向评分加权，你可能会想。

有没有另一种解决这个问题的方法是他们的方法，它不必经过估计潜在的结果，这就是我在这节课剩下的三分之一时间里要做的，专注地谈论，所以为了帮助你把这个页回来，记住我们在上周四的讲座中得到的。

平均治疗效果的估计器，是数据点和的n倍，倾向得分，我只写为e，i，所以说，e，i，给定数据点x，t等于1，i，数据点i上的和，使得ti等于零y i除以一减e，i，顺便说一句，课堂上有很多混乱。

为什么我有，为什么我这里有一个1，一个在这里，现在，我只是一起把它拿出来，而不是一个超过正数据点的数量，负数据点或零数据点数的1，我扩展了我在课堂上给出的推导，课后我在网上发布了新的幻灯片。

所以如果你对此感到好奇，去看那些幻灯片，看看推导，所以现在以一种非常相似的方式，我要给你一个新的估计量，和我这里的数量一样，政策的预期回报，注意这里的这个估计器，任何政策都有意义，不一定是。

看的政策是凯特，是否大于零，这适用于任何保单，我给出的简化只是在这个特殊的环境中，我现在给你另一个保单平均价值的估计值，它根本不通过估计潜在的结果，类似地，我们将利用倾向得分，我把它叫做。

我就叫它R帽子，现在，我要上标，逆倾向加权IW，它是圆周率的函数，它是由下面的公式给你的，指示函数数据点上的n乘和，因为如果实际给予第I个的治疗，病人等于保单会为我做的，第病人，顺便说一句，这里。

我假设圆周率是一个确定函数，所以说，所以保单上说这个病人，你应该把这个治疗做对，所以我们只看数据点，观察到的治疗与，保单会对那个病人做什么，这个指示器函数为零，否则，我们将除以，嗯，按概率。

所以顺便说一句，我写这篇文章的方式已经很笼统了，所以这个公式也适用于非二元处理，这是思考政策的好处之一，也就是，而当想到，嗯，当谈到平均治疗效果时，平均治疗效果有点道理，在比较意义上，互相比较。

但当我们谈论一项政策有多好时，它是，这根本不是一个比较陈述，这项政策对每个人都有好处，你可以好好问，结果的平均值是多少，你得到的，为那些人采取的行动。

所以这就是为什么我在这里用一种稍微笼统的方式写作的原因，我很明显，所以这是一个新的估计器，我不打算在课堂上给你们推导，但是推导和我们上周做的很相似，当我们试图推动平均治疗效果时。

临界点是我们除以倾向分数，就像我们在那边做的那样，如果所有的假设都有意义，你有无限的数据，应该给你和这个完全一样的估计，在这里，你根本没有估计潜在的结果，所以你永远不必试图在这里归咎于反事实。

它所依赖的一切，你有每个数据点的倾向得分，在您的训练集或数据集中，所以说，比如说，这为大量新的，令人兴奋的方向，假设你有一个非常大的观测数据集，从中学到了一项政策，比如说，你可能做了协变量调整。

然后说好，根据协变量调整，这是我的新政策，所以你可能通过这种方法得到了它，现在你想知道那口井有多好，假设你进行了一个随机对照试验，然后你的优化控制试验，你有一百个人，可能有两百人，所以没有那么多。

所以几乎没有足够的人真正估计过你的政策，对你可能需要成千上万的人来估计你的保单，现在你只会有几百个人，你可以为这些人做随机对照试验，因为你在抛硬币决定他们会得到什么样的治疗，假设我们在二进制环境中。

只有两种治疗方法，那么这个值总是二分之一，二分之一，我在这里给你的是一个公正的估计，那个政策有多好，人们现在可以估计，利用随机对照试验，也可能会让你思考这个问题，而不是估计政策，而不是获得保单。

通过优化凯特的镜头，弄清楚如何估计凯特，也许我们可以一起跳过这些，比如说，我想我们现在有了随机对照试验数据，想象一下，而不是一百个人，你有一个非常大的随机对照试验，有一万个人在里面。

这现在打开了思考直接最大化或最小化的大门，取决于你希望它是大的还是小的，关于这个量，它完全绕过了估计条件平均治疗效果的目标，你会注意到这看起来很像一个分类问题，对呀，这里的数量看起来完全像零一损失。

唯一的区别是，你用这个来加权每个数据点，逆倾向，所以说，人们可以减少在这里找到最优策略的问题，加权分类问题，在一组离散治疗的情况下，这个大洞穴，这种想法有两个很大的警告，第一个主要的警告是。

你得知道这些倾向分数，所以如果你有来自随机对照试验的数据，你就会知道那些倾向分数，所以或者如果你有，比如说，对A数据生成过程的一些控制，对呀，比如说，如果你是一家广告公司，你要展示你可以选择。

这增加了向您的客户展示，然后你看看谁点击了你可能知道的东西，那个政策是什么，表明事情是正确的，那样的话，你可能很清楚医疗保健的倾向得分，除了在渲染对照试验中，我们通常不知道这个值。

所以我们要么进行一个足够大的随机对照试验，我们不会通过直接最小化来过度适应，或者我们必须在观测数据环境中工作，但我们必须直接估计倾向得分，所以你会有一个两步程序首先你估计这些倾向分数，例如。

通过做逻辑回归，然后你试图最大化或最小化这个数量，为了找到最优的策略，这有很多挑战，因为最下面显示的数量可能很小也可能很大，观测数据集，由于这些问题，你的治疗之间有非常小的重叠，这是非常小的。

这意味着这个估计量的方差是非常大的，非常大，所以当一个人想使用这样的方法时，类似于当一个人想使用平均治疗效果估计器时，当你估计这些倾向时，通常你可能不需要做一些事情，比如剪裁倾向得分，为了防止变体太大。

然后，然而，导致有偏估计器，通常，我想在这里给你几个推荐人，所以一个是一个，J o a c h i m s i ml，两千零一万五，十五，2。他们在那篇论文中讨论了这个问题。

他们专注于已知倾向得分的设置，就像你在随机对照试验中一样，他们认识到你可能会决定你想要，您更喜欢像有偏估计器这样的东西，因为这些倾向分数可能很小，因此，他们使用了机器学习理论界的一些推广结果。

为了控制估计量的方差，作为这些倾向分数的函数，然后他们直接学习，最小化策略，这就是他们所说的反事实后悔最小化，为了让人们尽可能地概括，从您可能拥有的少量数据中，我想给出的第二个参考。

只是为了告诉你这些文献，如果你对内森·卡利斯和他的学生感兴趣，我相信，来自努里的安吉拉动物园，那是一篇论文，现在那张纸，他们也是从这样的角度开始的，他们说，哦，现在你有，我们在这个框架内工作。

人们可以想想会发生什么，如果你实际上有未观察到的混杂，所以你可能不知道真正的倾向得分，因为有你没有观察到的未观察到的混乱，你可以考虑试着绑定，你的估计量会错到什么程度，作为你不知道这个量多少的函数。

它们表明，当你试图，如果你考虑有一些备份策略，比如如果你的目标是找到一个新的政策，相对于旧策略，它的性能尽可能好，然后它给了你一个非常优雅的框架来思考，对此的稳健优化，即使考虑到。

可能存在未观察到的混淆的事实，在这个框架中也是如此，所以我现在快做完了，我现在只想结束这个想法，我们能对通过强化学习学到的政策做同样的事情吗，所以现在让我们现在已经建立了这种语言，让我们回到RL设置。

在那里，你可以得到一个类似的保单价值估计，对你观察到的序列求和，对该序列的时间步长求和，从第一次开始的概率比，跟上时间小T，你实际上会采取观察到的动作t素数，考虑到你处于观察状态，概率，这就是，这是。

得分概率倾向的类比，在看到动作的数据生成过程下，给定你处于最佳状态，所以如果像我们在那里讨论的那样，你有一个确定性的政策，那么这个圆周率就是一个δ函数，所以这只是看看这会是什么，这个估计量只会查看序列。

所采取的行动的精确顺序与行动的精确顺序相同，保单会采取，这里的区别在于现在没有单一的得分倾向，一个有这些倾向分数的乘积，与观察该动作的倾向相对应，给定沿序列的每个点上的相应状态，所以这很好。

因为这给了你一种方法来做所谓的政策评估，是估计量，这是一个完全类似于我们从Q学习中得到的估计器，所以如果所有的假设都是正确的，你有很多数据，那么这两个应该会给你完全相同的答案，但在这里。

就像在因果推理设置中，我们没有假设我们可以很好地进行协变量调整，或者说得不一样，我们不假设我们能很好地拟合Q函数，现在就像那里一样，基于我们有能力，真正准确地知道倾向得分是多少。

所以它现在给了你一个替代的方法来做评估，你可以考虑看看你的估计的稳健性，从这两个不同的估计量，如果你在这里，如果你在那里，这是最幼稚的估计量，有很多方法可以让这变得更好，例如通过做一个双鲁棒估计量。

如果你想了解更多，我推荐阅读这篇论文，由，和ml，二千零一十六，我想让芭芭拉过来准备一下，我们将过渡到讲座的下一部分，是呀，我们对t进行求和，然后把乘积除以所有的t有一个简单的方法来思考这个问题。

假设你只有最后一步的奖励，如果你只有最后一步的奖励，那你就不会有这笔钱超过T，因为前面步骤的奖励是零，你会让产品从零上升到大写，最后一步，你为什么要这么做，在每一个时间步骤。

是因为人们希望能够适当地权衡可能性，本质上，在那一点上看到奖励的可能性，随着时间的推移，人们可以重写这一点，在其他方面，我想保留其他问题，因为，这节课会比我这节课有趣得多，我想介绍芭芭拉，芭芭拉。

我第一次见到她是在去年她邀请我在她班上做报告的时候，公共卫生学院，她最近在2018年完成了博士学位，她的博士研究了许多与过去几周的主题相关的问题，从那时起，除了继续她的研究。

她在哈佛大学创建数据科学课程方面一直处于领先地位，所以请把它拿走，非常感谢你的介绍，戴维，我很高兴来到这里，分享我在评估动态治疗策略方面的一些工作，你在过去的几节课上一直在谈论，所以我今天的目标。

我只想轻描淡写地定义动态治疗策略，因为你已经很熟悉了，但我想谈谈什么时候我们需要一种特殊的方法，叫做G方法，然后我们将讨论两种不同的应用程序，专注于评估动态治疗策略的不同分析。

所以第一个将是参数g公式的应用，这是癌症研究的一个强有力的G方法，所以这里的目标是给你我的因果推断，关于我们如何思考顺序决策任务的观点，然后用剩下的时间。

我们将讨论最近发表的一篇关于人工智能临床医生的文章，通过强化学习的视角进行对话。

所以我认为这将是一个非常有趣的讨论，我们可以分享这些观点，也谈谈相对的优势和局限性，如果你有任何问题，请阻止我，所以你已经知道了，当谈到治疗策略时，主要有三种类型，在一个时间点上发生了点干预。

随着时间的推移，持续的干预正在发生，当谈到临床护理时，这往往是我们最感兴趣的，有静态的策略，这些策略随着时间的推移是不变的，然后是动态策略，我们将重点讨论，这些不同的是，随着时间的推移。

干预取决于不断变化的特征，所以说，比如说，在基线时开始治疗，并继续随访，直到出现禁忌症，在这一点上，你可以停止治疗，并与你的医生决定，你是否要改用另一种治疗方法，你仍然会坚持这个策略。

即使你在这里退出了比较，不要开始治疗，也不要跟进。

除非有迹象表明，你可能开始治疗，但仍然坚持策略，所以我们专注于这些，因为它们是临床上最相关的，所以临床医生每天在实践中都会遇到这些，所以当他们向病人提出预防干预的建议时，他们会考虑到。

病人不断发展的共病，或者当他们决定下一个放映间隔时，他们会考虑上次筛选测试的结果，当决定同样进行治疗时，决定是否让病人继续治疗，病人是否有任何可能反映毒性的症状或实验室值的变化，所以有一点要注意的是。

而你可能看到的许多策略，在临床指南和临床实践中是动态策略，这些可能不是最佳策略，所以也许我们所推荐和做的对病人来说并不是最佳的，然而，最优策略将是动态的。

在某种程度上，它们将适应个体独特和不断进化的特征，所以这就是我们关心他们的原因，那么有什么问题呢，所以一个问题涉及到一种叫做治疗混乱反馈的东西，你们可能在这节课上说过，治疗混杂反馈存在下的动态治疗策略。

所以这是当时变混杂物受到以前处理的影响时，所以如果我们把它放在一个具体的例子中，用这个因果图，假设我们对估计某种干预措施的效果感兴趣，血管升压剂，也可能是静脉注射，我们称之为生存。

我们知道血管升压剂影响血压血压会影响随后的决定，用血管升压剂治疗，我们也知道低血压，所以再一次，根据我们的临床知识，血压l one影响存活率，然后在这个DAG中，我们还有代表疾病严重程度的节点U。

所以这些可能是疾病严重程度的潜在不可测量的标记，会影响你的血压也会影响你的生存概率，所以如果我们有兴趣估计持续治疗策略的效果，那么我们想知道在所有时间点治疗的总效果，我们可以看到这里的l是一个混杂器。

对于一个对Y的影响，所以我们必须做些什么来调整，如果我们应用传统的统计方法，我们基本上是在对撞机上施加条件，并诱导选择偏差，所以从零到l，1到u到y的开放路径，这样做的后果是什么。

如果我们查看我们的数据集，我们可能会看到A和Y之间的联系，但这种联系并不是因为A对Y一定有影响，可能不是因果关系，可能是由于我们创造的这种选择偏见，所以这就是问题所在。

所以在这种情况下我们需要一种特殊的方法来处理这些设置，所以一类专门设计来处理，这是G方法，所以这些有时被称为因果方法，它们是杰米开发的，罗宾斯及其同事和合作者自1986年以来。

它们包括结构嵌套模型的参数g公式g估计，边际结构模型的逆概率加权。

所以在我的研究中，我所做的是，我将G方法与大型纵向数据库相结合，试图评估动态治疗策略。

所以我对把这些方法带到癌症研究中特别感兴趣，因为它们在那里应用得不多，所以我的很多研究问题都集中在回答问题上，比如我们如何以及何时才能最好地干预，防止，检测和治疗癌症，所以我想和大家分享一个例子，嗯。

遵守准则的效果，基于体育活动的前列腺癌男性生存率干预，所以这项研究的动机，有一个大型临床组织，asco，美国临床肿瘤学会，他们实际上要求随机试验来产生几种癌症的估计，前列腺癌是一种进展非常缓慢的疾病。

所以做一个试验来评估这一点的可行性是非常有限的，审判必须长达十年，可能是这样，考虑到缺乏随机证据，我们做了退而求其次的事情来产生这个估计，它将高质量的观测数据与先进的epi方法结合起来，在这种情况下。

参数g公式，因此，我们利用卫生专业人员后续研究的数据，这是一项很有特色的前瞻性队列研究。

所以在这些情况下，有一个三，我们采取的步骤过程，从观测数据中提取最有意义和最可操作的见解，所以说，我们要做的第一件事就是指定目标试验的协议，如果可行的话，我们希望进行的，我们做的第二件事是。

我们确保我们测量了足够的协变量来近似调整，为了混淆，然后我们做的第三件事是，我们采用适当的方法来比较指定的治疗策略，在条件可交换性假设下，所以在这种情况下。

参加这项研究的合格男性被诊断患有非转移性前列腺癌，和基线，他们没有心血管和神经疾病，这可能会限制治疗策略的体能，男性在诊断时开始六种体育活动策略中的一种，并继续随访，直到病情发展，限制体力活动。

所以这就是策略动态的原因，随着时间的推移，干预取决于这些不断变化的条件，所以要注意的是，我们预先指定了我们正在评估的这些策略，以及男性被跟踪到诊断的条件，直到死亡，诊断后十年的随访，后续行动或行政结束。

以先发生者为准，我们感兴趣的结果是十年内所有的死亡，我们对估计每个协议的效果感兴趣，不仅仅是发起这些策略，但坚持他们而不是跟进。

我们再次应用参数g公式，我想你们在上一节课中已经听过g公式了，可能以稍微不同的方式，所以我不会在这上面花太多时间，所以g公式，本质上我是这么想的，是对时变曝光和混杂的标准化的概括。

所以基本上是风险的加权平均，在那里你可以想到重量，是时变混杂物的概率密度函数，我们用参数回归模型估计，我们用蒙特卡洛模拟近似加权平均值。

所以实际上我们该怎么做，所以我们要做的第一件事是拟合参数回归模型，对于我们将要研究的所有变量，所以每次随访时的治疗混乱和死亡，接下来我们要做的是蒙特卡洛模拟，在哪里，本质上，我们想做的是模拟结果分布。

在我们感兴趣的每种治疗策略下，然后我们引导置信区间，所以我想给你们看一个示意图。

这看起来像什么，因为它可能更容易看到，所以再一次，我们的想法是复制我们的数据集，在每个副本中，每个人都坚持我们在副本中关注的策略，那么我们如何构造数据集的每一个副本，我们必须从头开始建造它们。

从时间零开始，所以在时间零点的所有时变协变量的值，从它们的经验分布中取样，所以这些实际上是协变量的观察值，我们如何获得下一个时间点的值，我们使用我提到的参数回归模型，我们适合第一步，那么我们要做的就是。

我们强制干预变量的水平是干预策略指定的任何水平，然后我们估计每个时间段结果的风险，再次给出这些变量，现在使用参数回归模型进行结果，所以我们在所有的时间段里重复这个，估计该策略下的累积风险。

作为主体特定风险的平均值，所以这就是我正在做的，这是一种在引擎盖下，这个方法是怎么回事，所以也许我们应该试着用语言来表达，但是我们在课堂上看到的，如果我搞错了，请告诉我，所以你首先估计马尔可夫决策过程。

它允许您本质上模拟底层数据分布。

所以你知道下一系列观察的概率，给定前面的顺序和动作以及前面的动作，然后就这样，然后你可以你可以，然后你可以干预并模拟四个，所以那是，如果你还记得，弗雷德里克给了你三种不同的方法。

然后他把注意力集中在中间的那个，这是最左边的问题，我有这个权利，所以我们没有谈论这件事，无模型，是呀，但这是非常明智的，是啊，是啊，至少看起来很难，什么对不起，哦，在医学上建模似乎很难，是啊，是啊。

所以这是一个挑战，这是最难的部分，它依赖于很多假设，是啊，是啊，所以在我们做了所有这些之后，主要的结果就出来了，所以这是几种体育活动干预下所有原因死亡的估计风险，所以我不会太关注结果。

我想把重点放在这张幻灯片的两个主要要点上，要强调的一点是我们预先规定了每周体育活动的持续时间，或者你可以把这个想象成，干预的剂量，我们预先规定了，这是基于目前的指导方针，所以每个带的第三行。

我们确实观察了一些超出指南的剂量或水平，看看是否有额外的生存益处，但这些都是预先指定的，我们还预先指定了所有使这些策略动态的时变协变量，所以我提到，男性被免除遵循推荐的体育活动水平。

如果他们出现了这些列出的情况之一，脑卒中转移，等，我们预先指定了所有这些，有可能，也许你知道，对不同时变协变的不同依赖，可能导致了一个更最优的策略，还有很多未被探索的地方。

所以作为这个项目的一部分，我们做了很多敏感性分析，我想集中精力，虽然，关于我们对潜在的敏感性分析，慢性疾病造成的不可测量的混淆，可能严重到影响身体活动和生存，所以G公式实际上提供了一个自然的方法。

至少通过估计这些体育活动干预的风险来部分解决这个问题，在每个时间点，这不仅适用于那些健康到可以保持体力活动水平的男性，又是这样，在主要分析中，如果男性出现这些严重的情况之一，我们免除他们遵循推荐的水平。

所以在灵敏度分析中，然后我们扩大了严重情况的列表，还包括以蓝色文本显示的条件，所以这削弱了我们的估计，但没有改变我们的结论，有一点要指出的是，这种方法的有效性取决于这样一个假设，即在每次T。

我们有可用的数据来确定当时哪些男性是健康的，足够做体力活动，是啊，是啊，对不起，只是再检查一下，对不起，你把他们排除在外了，很好的问题，因为策略是预先指定的说如果你发展出这些条件中的一个。

你基本上可以做任何你能做的水平的体育活动，所以重要的是，我很高兴你提起这件事，那时我们没有审查男人，他们仍然被跟踪，因为他们仍然坚持定义的策略，谢谢关心，因此，鉴于我们不知道数据是否每次都包含。

难道没有必要的信息来了解这些人当时是否足够健康吗，因此，我们进行了一些替代分析，其中我们将体育活动和协变量数据落后了两年，我们还使用了消极结果控制来探索潜在的，未按临床疾病或疾病严重程度衡量的混杂。

那么这背后的理由是什么呢，所以在下面的达格，对于原始分析，我们有体育活动，我们有存活率，这可能与疾病的严重程度有关，所以当我们在数据中看到a和y之间的关联时，我们想确保这是因果关系，是因为蓝色箭头。

而不是因为这种混杂的偏见，红色箭头，那么我们如何可能提供证据来证明红色通道是否存在，我们选择问卷无反应作为替代结果，而不是生存，我们认为没有直接受到体育活动的影响。

但我们认为同样会被疾病的严重程度所困扰，所以当我们用阴性结果控制重复分析时，我们发现体育活动对问卷无反应几乎没有影响，正如我们所料，这提供了一些支持，在我们最初的分析中，身体活动，体育活动对死亡的影响。

所以这里要强调的一件事是，敏感性分析是由我们的主题知识驱动的，数据中没有任何东西推动了这一点。

所以回顾一下这一部分，所以G方法是有用的工具，因为它们让我们有效地估计预先指定的动态策略的效果，并估计对我们有临床意义的调整后绝对风险，和适当调整的生存曲线，即使在治疗混杂反馈存在的情况下，那个，当然。

这是在我们典型的可识别性假设下，因此，这使得它成为一个强有力的方法来估计当前推荐或提议的策略的效果，因此，我们可以在，准确地写出我们在这里所做的，然而，这些预先指定的策略可能不是最佳策略，所以再一次。

当我做这个分析的时候，我在想，有这么多不同的，我们没有看到的每周体育活动持续时间，有这么多不同的时间，变协变量，随着时间的推移，我们可能对这些策略有不同的依赖，也许这些会导致这些人更好的生存结果。

P18：18.Disease Progression Modeling - 大佬的迷弟的粉丝 - BV1oa411c7eD

我们已经完成了关于因果推理和强化学习的部分，下周在周二的讲座中，我们将讨论疾病的进展，建模与疾病亚分型，在我看来，这是一个非常令人兴奋的领域，这是一个非常丰富的文学作品，回到一些简单的方法。

从几十年前到一些真正先进的方法，我可以花几个星期的时间谈论这个话题，但相反，因为我们在这门课上有很多东西要讲，我今天要做的是给你们一个高水平的概述，试图思考这些问题的方法之一，今天讲座的方法会有些简单。

它们旨在说明简单的方法是如何发挥很大作用的，它们也是为了说明，一个孩子如何学到关于临床结果的真正重要的东西，从这些简单的方法中预测疾病的进展，然后在周二的讲座中，我会把它调高一点。

我将讨论解决这个问题的几种更详细的方法，那个，解决一些，更多实质性的问题，在今天的讲座结束时会真正阐明，所以我们希望回答三种类型的问题，在高水平上研究疾病进展模型时，我想让你想想这种类型的照片。

在今天和周二的讲座中，把这个放在你的后脑勺里，你在这里看到的是一个病人的疾病轨迹，在x轴上跨越时间，是y轴上的时间，是疾病负担的某种衡量标准，例如，你可以把y轴看作是，病人记录的症状量。

或者你知道他们正在服用的止痛药的数量，或者他们发生了什么，最初，疾病负担可能会有点低，甚至可能病人处于未诊断的疾病状态，那个时候，随着症状越来越严重，在某个时候，病人可能会被诊断出来。

这就是我通过这条灰色曲线来说明的，这是病人被诊断出患有他们的疾病的时间点，在确诊时，可能会发生各种各样的事情，病人可能会开始治疗，这种治疗可能，比如说，开始影响疾病负担，你可能会看到疾病负担的下降。

最初，如果有癌症，不幸的是，我们经常会看到癌症复发，这可能会在上坡时再次表现出来，疾病负担增长的地方，一旦你开始二线治疗，可能会成功地再次降低它，等等，这可能是一个循环，一遍又一遍地重复，其他疾病。

是无法治愈的，比如说，但这些都是日常管理的，我们将讨论一些你可能会看到的，即使在每天的基础上波动，或者你可能会看到一段时间什么也没发生，然后，比如说，在自身免疫性疾病中，你会看到这些耀斑。

疾病负担增长很多的地方，然后又下来了，真是莫名其妙，为什么会发生这种情况，所以我们想在这里真正理解的问题类型是，第一个是病人，病人的疾病轨迹在哪里，今天来了个病人，嗯。

他们今天可能会因为症状而被诊断出来，不知何故穿越了一些，一些门槛，然后走进医生的办公室，但它们可能在疾病轨迹的任何地方，在确诊时，一个关键问题是我们能让病人明白，比如说，比如他们可能活多久。

根据他们目前的情况，第二个问题是疾病什么时候会发展，所以如果你有肾病患者，你可能想知道这个肾病患者什么时候需要，另一个问题是治疗如何影响疾病的进展，我在这里暗示的是，当我展示这些的时候。

我们推测这些山谷确实受到了治疗的影响，人们经常想问反事实的问题，比如这个病人的疾病进展会发生什么，如果你做了一种治疗疗法和另一种治疗疗法，所以我在这里提到的例子，在这张幻灯片中是一种罕见的血癌。

名为多发性骨髓瘤，很少见，所以你经常找不到有那么多病人的数据集，例如，我在最下面列出的这个数据集，对于多重研究基金会指南针研究大约有一千名患者，这是一个公开的数据集，你们中的任何一个人今天都可以下载。

你可以研究像这样关于疾病进展的问题，因为你可以跨时间查看实验室测试，你看起来，你可以看看症状何时开始出现，你有关于病人正在接受什么治疗的信息，你会有死亡这样的结果，所以对于多发性骨髓瘤。

今天的标准是如何试图将病人分期，看起来有点像这样，在这里，我向你们展示两种不同的分期系统，左边是杜丽鲑鱼分期系统，稍微老一点的，右边是所谓的修订后的国际分期系统，一个病人走进肿瘤科医生的办公室。

新诊断为多发性骨髓瘤，在做了一系列血液测试后，看他们的血红蛋白率等数量，血液中的钙量，我也在做，让我们说，病人骨髓的活检，测量不同种类免疫球蛋白的数量，变异各种不同的遗传异常。

然后这些数据将被输入像这样的分段系统，所以在杜丽鲑鱼分期系统中，一个处于第一阶段的病人被发现有非常低的M成分产生率，这就是我在这里展示的，这确实对应于疾病活动的数量，用他们的免疫球蛋白来衡量。

所以这是一种血癌，这是一个很好的标志，表明病人在阶段发生了什么，所以这个中间阶段，既不叫第一阶段也不叫第三阶段，它的特点是，在这种情况下，嗯，嗯，我不打算谈那个，如果你在这里进入第三阶段。

你看M分量水平要高得多，如果你看病人骨骼的X光研究，你会看到有溶解性骨损伤，这是由疾病引起的，并真正代表了这种疾病的晚期状态，如果你测量病人的尿液，轻链生产量，你会看到它也有更大的价值。

这是中间的一个较旧的分期系统，现在我向你展示一个新的分期系统，它既简单得多，又涉及一些较新的组件，例如，在第一阶段，它只看四个量，首先，它观察病人的相册中和贝塔两个微球蛋白水平。

这些生物标志物可以很容易地从血液中测量出来，它说没有高风险的细胞遗传学，所以现在我们开始引入基因数量，在量化风险水平方面，第三阶段的特征是β到微球蛋白水平显著升高，与特定高危细胞遗传学相对应的易位。

这不会是接下来两堂课的重点，但是皮特将更详细地研究精准医学的基因方面，一周半后，就这样，这些阶段中的每一个都代表了关于，相信病人有多远被强烈地用于指导治疗，例如，病人处于第一阶段。

肿瘤学家可能会决定我们今天不治疗这个病人，所以一个不同类型的问题，而你可以把这看作是对病人特定水平的描述，对呀，一个病人走进来，我们想把那个特定的病人，我们将着眼于一些长期的结果，利用这一点。

看看阶段和长期结果之间的相关性，一个非常不同的问题是描述性类型的问题，我们能说这种疾病的典型轨迹是什么吗，例如，接下来的几分钟我们将讨论帕金森病，帕金森病是一种进行性疾病，神经系统紊乱。

这是一种非常常见的骨髓瘤，而不是多发性骨髓瘤，每一百个八十岁的人中就有一个患有帕金森氏症，60岁及以上，就像多发性骨髓瘤，也有公开的疾病登记处，我们将用来研究帕金森病。

现在各种研究人员在过去使用过这些数据集，他们创造了一些看起来有点像这样的东西。

试图描述现在的人口水平，对病人来说，疾病的进展意味着什么，再在x轴上，我现在有时间，再在y轴上，它表示某种程度的疾病残疾，但我们在这里展示的，现在是在疾病阶段的不同部分可能出现的症状，帕金森病的早期。

你可能有一些睡眠行为障碍，有些抑郁，可能是便秘，焦虑，随着疾病的发展，再往前，你会看到一些症状，如轻度认知障碍，随着疾病的进一步发展，你会看到痴呆症和越来越多的精神病症状。

像这样的信息对一个刚被诊断出患有这种疾病的病人来说是非常有价值的，他们可能想做出人生决定，比如他们应该买下这个家，他们是否应该继续目前的工作，他们能生孩子吗，所有这些问题可能真的会受到影响。

这些问题的答案可能会受到什么的影响，这个病人可以期待他们未来几年的生活，接下来的二十年，所以如果一个人能很好地描述疾病轨迹可能是什么样子，对于指导那些人生决定来说，这将是非常有价值的，但挑战是。

虽然这是治疗帕金森病和帕金森病的，相当好地理解，有大量罕见得多的疾病，任何一个临床医生都可能看到一个非常，他们诊所里的少数病人，我们如何将以非常嘈杂的方式看到的症状结合起来，对于少数病人。

如何把这些结合在一起形成这样一个连贯的画面实际上是非常非常有挑战性的，这就是我们将要讨论的一些技术，在星期二的讲座中，它谈到了我们如何推断疾病阶段，我们如何自动跨时间对齐病人。

我们如何使用非常嘈杂的数据来做到这一点将是特别有价值的，关于这个描述性问题，我想强调最后一点，这不是预测的问题，这是关于理解，好吧，作为，而之前的幻灯片是关于预后的。

这在很大程度上是一个类似于预测的问题，现在，一个不同的，就像一个不同类型的理解问题，这里又是疾病亚分型，您可能有兴趣为单个患者识别，他们有可能在疾病中迅速进展吗，他们可能在疾病中进展缓慢吗。

他们可能对治疗有反应吗，他们对治疗不太可能有反应吗，但我们希望能够描述这种异质性，在整个种群中总结成少量的亚型，你可能会认为这是对疾病的重新定义，所以今天我们可以说有特殊血液异常的病人。

我们会说是多发性骨髓瘤患者，但是随着我们对癌症的了解越来越多，我们越来越明白，事实上每个病人的癌症都是非常独特的，所以随着时间的推移，我们将细分疾病，在其他情况下。

将我们认为是不同疾病的东西组合成新的疾病类别，在这样做的时候，它将使我们更好地照顾病人首先，提出针对这些疾病亚型的指南，它将使我们能够根据这些指导方针做出更好的预测，所以我们可以说。

像这样的患者和a亚型患者可能会有以下疾病进展，像这样的b亚型患者可能会有不同的疾病进展，或B应答者或非应答者，所以这里有一个这样的描述的例子。

这仍然是帕金森病的例子，这是一篇来自神经外科精神病学杂志的论文，它使用类似聚类的算法，我们会在今天的课上看到更多的例子，把病人分成四个不同的组，所以让我告诉你这个数字，所以你看看怎么解释。

帕金森病人可以用几个不同的轴来测量，你可以看看他们的运动进展，所以在最里面的圆圈中显示了这一点，你可以看到第二组的病人似乎有中等水平的运动进展，集群一的患者运动进展非常快。

意味着他们的运动症状会随着时间的推移而迅速恶化，人们还可以观察患者对其中一种药物的反应，例如用于治疗病人的左旋多巴，一组患者的特点是对该药物反应非常差，第三组患者的特征是中间患者。

第二组对该药物有良好的反应，同样，人们可以观察基线运动症状，所以在病人被诊断出来的时候，或者第一次来到诊所管理疾病，你可以看看他们有什么类型的运动症状。

您再次看到这些不同集群的不同异构方面，所以这是一种手段，这是一个非常具体的方式，我的意思是试图亚型病人，所以说，我们将通过疾病进展模型开始我们的旅程，从第一个预后问题开始，从我的角度来看。

预后实际上是一个有监督的机器学习问题，所以说，我们可以从以下角度思考预后，病人在零点走进来，你想知道一些关于，随着时间的推移，那个病人的病情会是什么样子，所以说，比如说，你可以问，他们的疾病状况如何。

对这个病人来说可能是，让我们说，十分之六，这些数字来自哪里将在几分钟内变得清晰，十二个月后，他们的疾病状况可能是十分之七，十八个月可能是十分之九，我们要努力实现的目标，我们如何获取数据。

我称之为病人基线时可用的X向量，并预测，这些值在不同的时间点会是什么，好的，所以你可以考虑一下，实际上画出这条曲线，我之前给你看的对吧，所以我们想做的是把我们所掌握的关于病人的初步信息，哦，病人的病情。

或者他们的疾病负担随着时间的推移会看起来有点像这样，对于不同的病人，基于它们的初始协变量，你可能会说他们的疾病负担可能是那样的，所以我们希望能够在这个演示中预测这些曲线，实际上会有一些离散的时间点。

我们想从我们现有的基线信息来预测曲线，这会让我们知道，这个病人将如何度过疾病，所以在这个案例研究中，我们要在这里看看阿尔茨海默病，我给你看两个大脑，健康的大脑和患病的大脑。

真正强调大脑在这种情况下是如何受苦的，阿尔茨海默病下的阿尔茨海默病，我们要用分数来描述病人的病情，还有一个例子，这里显示了这样的分数，它被称为迷你精神状态检查，缩写msc，它将看起来如下。

对于许多不同的认知问题中的每一个，将要进行一项测试，嗯哪个，比如说，呃，在中间，注册是什么意思，考官可能会命名三个对象，如Apple Table，便士，便士，然后让病人重复这三个物体。

我们所有人都应该能够记住三件事的序列，这样当我们完成序列的时候，你应该能记住序列中的第一件事是正确的，我们对此应该没有问题，但是随着阿尔茨海默病患者的病情越来越严重，那项任务变得很有挑战性。

所以你可以给，嗯，正确一分，每个正确的，所以如果病人得到了这三个，如果他们重复这三个，然后他们得到三分，如果他们不记得任何一个零分，然后你可能，然后你可以继续，所以你可能会问其他类似的问题，一百减去七。

然后从结果中重复，所以某种数学问题，然后你可能会回到你最初问的三个对象，现在已经是一个，让我们说一分钟后，你说我前面提到的那三个物体是什么，这是试图得到一点，长期记忆等等。

然后将与每个响应相关的点数相加，在这里得到一个总分，满分30分。

如果你除以3，你得到故事了，我在这里给你，好的，这些就是我所说的分数，阿尔茨海默病，他们通常通过问卷的分数来描述，但当然，如果你做了像大脑成像这样的事情，病情可能，比如说，从大脑成像中自动推断。

如果你有智能手机设备，病人随身携带的，它在观察移动活动，你可以从智能手机上自动推断出他们当前的疾病状态，你也许可以从他们的打字模式中推断出来。

你也许可以从他们的电子邮件或Facebook习惯中推断出这一点，所以我只是想指出，有很多不同的方法来获得这个数量的，病人在某一点上是如何做的，一个时间点，每一个都是一个有趣的问题，就目前而言。

我们只是假设，众所周知，好的，所以你从病人那里收集了这些数据，现在是纵向自然，你有一些基线信息，你知道病人在不同的六个月间隔内的情况，然后我们希望能够预测这些事情，我们现在可以回到第三讲。

我们如何预测这些不同的事情，那又怎样，你可以尝试哪些方法，你为什么不和你的邻居谈谈，然后我会随机拜访一个人，好的，这就够了，我的问题不够明确，如果你说得再久一点，谁知道你在说什么，然后这边，你们两个。

有电脑的人，是啊，是啊，你将如何解决这个问题，不，不，这里，是啊，是啊，你，嗯，我只是拿，我想就像这个数据，然后，是啊，是啊，就像以前的任何数据一样，喜欢的记录，像这样冲过来，像这样，然后就像对待。

但只是为了明白，你会学五种不同的型号吗，像这样，所以我们的目标是让这些，你知道这里，我给你看三个，但可能是五个不同的数字，不同时间点，你会学一个模型来预测六个月后的情况吗，另一个预测12个月时会是什么。

你会学习一个单一的模型吗，房间这一部分的其他想法，是啊，是啊，你，同时，也用上了要买的食物，所以使用多任务学习方法，你试着同时学习这五个词然后用另一个词，所以如果你在六个月内切换，你可以学会，你也用它。

所以建议是，所以有两种不同的建议，第一个建议是做一个多任务学习的方法，你试图学习，而不是五个不同的独立模型，试着一起学，稍后我们将讨论为什么这样做是有意义的，不同的想法很好，这真的是你想解决的问题吗。

比如说，你有病人不是在零点，但实际上在六个月的时候，你可能想知道他们将来会发生什么，所以你不应该只使用基线信息，你在某种程度上取决于你有时间可用的数据，和一种不同的思考方式，也就是。

你可以想象学习马尔可夫模型，在那里你可以了解疾病阶段随时间的联合分布，然后你可以，比如说，即使您只有可用的基线信息，您可以尝试将未观察到的中间值边缘化，来推断后面的值可能是什么，现在马尔可夫模型方法。

尽管我们将在下周左右广泛讨论它，这实际上不是解决这个问题的一个很好的方法，原因是因为它增加了复杂性，所以当你在学习的时候，本质上如果你，如果你想预测18个月时发生了什么。

如果作为一个中间步骤来预测18个月后会发生什么，你必须预测十二个月后会发生什么，然后从12个月过渡到8个月的可能性，您可能会在试图预测时出错，十二个月是怎么回事，当您试图查看。

想想从十二个月到十八个月的过渡，误差的传播，尤其是当你没有太多数据的时候，会真正损害机器学习算法的性能，所以我今天要讲的方法是，事实上会是我用的，是解决这个问题的最简单的方法，这将是一种直接的预测方法。

所以我们将直接独立地预测每个不同的时间点，但是我们会把模型的参数绑在一起，正如使用多任务学习方法所建议的那样，我们要使用多的原因，任务学习方法是由于数据稀疏性，所以想象一下下面的情况。

想象一下我们这里只有二元指示器，所以说，嗯，比如说病人，还可以吧，或者他们不好，所以数据可能看起来像这样，那么您可能有的数据集看起来有点像，可能有点像这样，所以现在我要给你看数据，我一排是一个病人。

一排就是一个病人，不同的列是不同的时间点，所以我之前给你们看的第一个病人是零，第二个病人可能是零，一个一个下一个病人可能是零，一个一个，所以如果你看这里的第一个时间点。

你会注意到你有一个非常不平衡的数据集，在第一个时间点只有一个，如果你看第二个时间点，有两种，这是一个更平衡的数据集，然后在第三个时间点，你又回到了那种不平衡的环境中，那意味着。

如果你试着从这些时间点中的一个本身学习，嗯，尤其是在你没有那么多数据点的情况下，数据稀疏性和结果标签会真的伤害你，很难学到任何有趣的信号，仅仅从那个时间点，第二个问题是标签也很吵。

所以你不仅可能有很多不平衡，但在实际描述中可能会有噪声，就像这个病人，也许你可能会计算出一个，一个，一个，用其他的概率，你会观察到零一一一，并可能对应于该分数中的某个阈值，我之前给你看过了。

只是偶然的一天，一个病人通过了门槛，第二天他们可能不会通过这个门槛，所以在任何一个时间点，特定的标签中都可能有很多噪音，你不希望噪音真的戏剧性地影响你的学习算法，基于一些，假设我们可能有先验的信念。

在这个过程中，随着时间的推移，可能会有一定程度的平滑，最后一个问题是可能会有定心，所以实际数据可能是这样的，对呀，所以我们可能不仅要等待更晚的时间点，我们可能会有更少的观察，所以。

如果你只是用后面的时间点来学习你的预测模型，你可能没有足够的数据好吧，所以这些都是我们将要试图解决的不同挑战，使用多任务学习方法，现在给这些东西一些数字，我们有这四个不同的时间点，在六个月的时间间隔内。

我们将有648名患者，在四年的时间间隔内，只有87个病人，因为病人退出了这项研究，所以这里的关键思想是，而不是学习这五个独立的模型，我们将尝试共同学习与这些模型相对应的参数。

以及我们将要尝试融入其中的直觉，在这五个不同的预测任务中，可能有一些有用的特性，所以我在这里用生物标志物的例子作为一个特征，把它想象成实验室测试结果，比如说，或者对可用基线的问题的回答。

所以学习的一种方法是说，好的，让我们规范这些不同模型的学习，鼓励他们选择一套共同的预测特征或生物标志物，但我们也想允许一定的灵活性，例如，我们可能想说，在任何一个时间点，可能有几个新的生物标志物。

与预测时间点有关的，随着时间的推移，可能会有一些微小的变化，所以我现在要做的是，我将向你介绍通过多任务学习来思考的最简单的方法，我将特别关注线性模型设置，然后我向你展示我们如何修改，稍微。

修改这个简单的方法来捕捉我在那里的那些标准，让我们来讨论一个线性模型，让我们来讨论回归，因为在这里你知道，在示例中，我之前给你看过了，我们试图预测苏格兰人，那是一个连续的值，我们想试着预测它。

我们可能关心最小化一些损失函数，所以如果你试图最小化平方损失，想象一个场景，你有两个不同的预测问题，所以这可能是时间点0，这可能是6个月和12个月的时间点12，你可以从总结病人开始，嗯。

看看你预测的平均平方误差，我想说的是，在六个月的结果标签上，通过一些线性函数，我要把它作为下标，六，表示，这是一个预测六个月时间点值点积的线性模型，与您的基线功能，同样地。

你预测这次的损失函数也是一样的，但现在你要预测Y12标签，我们将有一个不同的权重向量来预测，注意x是一样的，因为我们在所有的事情上，我在这里告诉你，我们将仅从基线数据中预测，好的。

在此环境中尝试正规化的典型方法可能是，让我们说做L两个正则化，所以你可能会说我要在这上面加上一些lambda，平方也许这里也一样，到目前为止，我为你安排的方式，现在是两个不同的独立预测问题。

下一步是讨论我们如何尝试将这些联系在一起，所以对于那些没有在课堂上专门学习过多任务学习的人来说，所以对于那些没有的人来说，不要为其他人负责，嗯，有什么方法可以把这两个预测问题联系起来。

也许你可以分享一定的体重，而是，所以也许对于普通的同事来说，所以也许你可以分享一些体重参数，嗯，我是说，把它们绑在一起的最简单的方法就是说，嗯，我们要，所以你可能会说。

让我们首先把这两个目标函数加在一起，现在我们要最小化，而不是最小化我们，现在我们将在两个权重向量上最小化，好的，所以现在我们有一个单一的优化问题，我所做的一切，我已经我现在我们正在优化。

我们在最小化这个共同目标，我把这个目标和这个目标相加，我们把它最小化，相对于现在两个不同的权重向量，你刚才描述的最简单的事情可能是说，让w 6等于w 12，所以您可以添加这个相等约束。

说这两个权重向量应该是相同的，那有什么不好，别人会有什么问题，我知道这不是你的确切建议，是啊，是啊，你有什么问题？那些也对不起吗，是啊，是啊，我少了一些下标，对所以嗯，我把这个放进，我把这个写在上标上。

我会把下标，我下标，i，为了这个目的，这并不重要，为了本演示文稿的目的，这些是相同的个体还是不同的个体，跨越这两个问题，你可以想象同一个人，所以你可以想象数据集中有N个人，我们在做同样的求和。

和这两笔钱的人，只是看看他们每个人的不同结果，这是六个月的结果，这是十二个月的结果，清楚了吗，所有的权利，所以最简单的事情就是关掉，现在我们有一个联合优化问题，我们可以约束两个权重向量相同。

但当然这有点矫枉过正，这就像说你要，嗯，你只需要学习一个预测问题，你忽略了六个月和十二个月之间的区别，试着预测，你知道的，你把它们放在下面，然后预测它们在一起，所以你有另一个建议，听起来好像没有。

你刚出来，为什么那是好的，我回答说，对不起，我们能做些什么不同的事情，是啊，是啊，你，你也许可以试着把两者之间的区别缩小到最低限度，所以喜欢不应该说他们需要一样，但就像他们会超级超级不同的机会。

不是真的，这是一个非常有趣的想法，所以我们不希望他们是一样的，我们可能希望它们大致相同，有什么方法可以衡量这两者有多大的不同，减去它们，然后做什么因为这是如此，这些是向量，所以你绝对。

它不是向量的绝对值，你能做什么把矢量变成一个数字六，取一个标准，是啊，是啊，我想这就是你的意思，所以我们可能会采取规范，我们应该采取什么标准，也许是L 2常量，好的，我们可能会说我们想要，好的。

所以如果我们说这等于零，那当然是说他们必须是一样的，但我们可以说这是，假设以某个epsilon和epsilon为界，现在是我们可以选择的参数，然后就会说，哦，好的，我们现在把这两个优化问题联系在一起。

我们想鼓励，两个权重向量相距不远，您表示每个权重向量，就像，让它像复制一样，强迫第一个地方是一样的，就像第二个不同的，您建议的参数化方法略有不同，通过说W12等于W6，加上一些增量函数。

一些三角洲的区别是，你的建议不是，但就像你有你的发言权一样，就像十维一样，是啊，是啊，每个字符都是一个维度，但现在它将是二维的，你强迫第一个维度是相同的，在回来的路上，啊，其他，这是一个非常有趣的想法。

我马上就回到那一点，在我回到那一点之前，谢谢，我只想指出，这不是最方便优化的事情，对呀，因为这现在是一个约束优化问题，我们最喜欢的凸优化和机器学习算法是什么，和非凸优化，大家大声说出来。

助教不应该回答喃喃自语，但我想我听够了你说的随机梯度下降，是呀，好，这正是我所期待的，但你可以做投影梯度下降，但是把它处理掉要容易得多，所以我们要做的，我们要把它放入目标函数中，一种方法是。

所以你知道一个动机，我们会说我们要用这个不等式的拉格朗日量，然后把这个带到目标中，但你知道去他的动机，让我们把这个擦掉，我只想说加上别的，所以我称之为，你知道，lambda one。

现在有一些其他的超参数时间，现在让我们看看会发生什么，如果我们把这个λ2推到无穷大，记住我们在最小化这个目标函数，所以如果λ2被推到无穷大，W12相对于W6的解是什么，大家大声说出来，我说的是零。

所以有一个负，另一个是零，是呀，好，所有的权利，所以这将迫使他们，他们是一样的，当然，如果λ2更小，那么它是说我们将允许一些灵活性，它们不一定是一样的，但我们将以他们规范的平方差异来惩罚差异。

所以这很好，所以你提出了一个非常有趣的问题，我要去，我现在就谈谈，这很好，也许你不想强制所有的维度都是相同的，也许这太过分了，所以人们可以想象做的一件事是说，我们只执行这个约束，这个换这个。

我们只会把这个点球放进去，因为我们说，试图为这个想出正确的符号，我想我会用这个符号，让我们看看，如果你们喜欢这个，好的，让我们看看这个符号对你是否有意义，我想说的是，我要取d是维数。

我要把维度的前半部分带到最后，我把这个矢量，我会惩罚你这是无视，它忽略了，所以说，它是，它忽略了维度的前半部分，所以这意味着，嗯，我们要，我们将共享一些权重向量的参数，但我们不会担心。

我们要让他们在剩下的时间里完全依赖对方，这是一个例子，你在暗示我什么，好的，所以对于只有两个时间点的情况来说，这一切都很好，但我们该怎么办，那么我们有五个时间点，所以与其说这些必须是共同的，你说。

在他们所有人之间，我想你有正确的直觉，但我真的不知道如何正式确定，或者只是从你的口头描述，你可能想到的最简单的事情是什么，我给你举了一个在某种意义上如何做的例子，成对相似性，你能轻松地扩展它吗。

如果你有两样以上的东西，你有个主意，不为什么1不是2 y 2和y 2 2不是3，像这样，所以你可能会说W一个是相似的，两个相似的两个相似的三个相似的四个，以此类推，是啊，是啊，我喜欢这个主意，嗯。

我要稍微概括一下，好的，所以我现在要开始考虑图表，然后呃，我们要，我们将定义一个非常简单的抽象来讨论多任务学习，我要做一个图表，其中每个任务都有一个节点，和节点之间任务之间的边缘。

如果这两个任务我们想鼓励他们的体重与另一个相似，我们在这里的任务是什么，所以在你的建议中，你会有下面的图W6，二十四转到三十六，现在，我们将图转化为优化问题的方法，会是这样的，我现在假设我要让。

我要在v逗号上定义一个图，e，v，在这种情况下将是布景，两个，四个，以此类推，我用s逗号t和e表示边，它将指一个特定的两个任务，例如，六个月时六个人预测的任务，和十二个月时预测的任务，好的。

那么我们要做的就是，我们会说新的优化问题将是，嗯，所有任务的总和，该任务的损失函数，所以我要忽略，那就是，我就在那边，我有两个不同的损失函数为两个不同的任务，我要把这些加在一起。

我只想把它留在这个抽象的形式中，然后我现在要对边缘求和，s逗号，在我刚刚定义的图中，在嗯，在我去那里的例子中，在最上面，只有两个任务，w 6和w 12等等，我们在他们之间有优势，我们正是这样惩罚它的。

在一般情况下，人们可以想象许多不同的解决方案，比如，比如说，你可以想象一个解决方案，你有一个完整的图表，所以你可能有四个时间点，你可能会惩罚每一对彼此相似的人，或者只是建议。

你可能会认为任务可能有一些顺序，你可能会说你想要它而不是一个完整的图表，你会有一个链图，关于该命令，你想让他们每一双都跟着，命令彼此靠近，嗯，事实上，我觉得，那可能是最合理的做法。

在疾病进展模型的设置中，因为事实上，我们脑子里有一些关于这些值的平滑类型，他们应该，当数值非常接近时，它们应该彼此相似，时间点，我只想提一件事，从优化的角度来看，如果这是你想做的。

有一种更干净的方法来做这件事，这是为了引入一个虚拟节点，我希望我有更多的颜色，所以说，一种新的权重向量，我就叫它W，我就叫它W，好的，所以没有下标，我要说的是所有其他任务都将与之相关，在星星里。

所有权利，所以这里我们介绍了一个虚拟任务，我们把其他任务都和它联系起来，然后现在你就有了这些正则化项的线性数量，在任务数量中，但你没有做任何假设，它们和任务之间存在某种顺序，而w w从不用于预测。

它只是在优化过程中使用，为什么你需要一个零而不只是做，嗯好吧，如果你根据W 1来做，那么它基本上是说W一个在某种程度上是特别的，所以一切都被拉向它，然而，目前还不清楚这样做是否正确，所以说。

你会得到不同的答案，我把它留给你作为练习，试图推导出，好的，所以这是如何，如何使用线性模型进行多任务学习，我也会把它留给你一个练习来思考，你怎么能把同样的想法，现在把它应用到，比如说，深度神经网络。

你可以相信我，这些想法确实概括了，以你期望他们做的方式，这是一个非常强大的概念，所以每当你有任务的时候，当你处理这样的问题时，你在那里的设置，线性模型可能在你之前做得很好，你知道。

在你相信某人使用非常复杂的方法得出的结果是有趣的之前，你应该问这个最简单的多任务学习方法是什么，我们已经讨论过一种方法，让正则化更有趣，比如说，我们可以尝试，我们可以尝试只规则化一些特性值。

使其与另一个特性值相似，在本文中，它正在解决阿尔茨海默氏症的疾病进展建模问题，他们开发了一种稍微复杂一点的方法，但不会太复杂，他们称之为凸融合稀疏群套索，它的想法和我这里的想法一样，你要去哪里。

现在学习矩阵W，矩阵W是完全相同的概念，每个任务都有不同的权重向量，你只要把它们堆叠成一个矩阵，W的um l，这正是我的意思，损失函数之和，那是一回事，最优化问题中的第一项，lambda，一次。

w的lone范数只是说，就像一个稀疏的东西，我们在做回归时通常看到的稀疏惩罚，所以它只是说我们要鼓励重量跨越，所有的任务都要尽可能小，因为这是一个1分的点球，这实际上是试图鼓励稀疏。

所以它会把事情推到零，尽可能，这个优化问题中的第二项，也是稀疏惩罚，但是它现在把w乘以这个r矩阵，这是我们的矩阵，这个例子是这样显示的，这只是精确实现这一想法的一种方法，我在黑板上的。

这就是这个r矩阵要说的，它会说，因为它会有一个，嗯，你可以有多少边就有多少行，你将有相应的任务，你有一个，以及相应的任务，就是你有一个负一，然后如果你把这个r矩阵乘以w转置。

你得到的正是这些类型的成对比较，唯一的区别是他们在这里惩罚而不是用一个l 2范数，他们用一比一的范数来惩罚，好的，这就是第二项对w的转置，只是这个想法的实现，最后一个学期只是一个小组。

巨大的惩罚并不有趣，发生在那里，我只想评论一下，我忘了提这件事，损失的期限将是一个精确的平方损失，这个f指的是一个弗罗贝尼乌斯范数，因为我们刚刚堆叠在一起，我们只是把所有不同的任务堆叠成一个。

这里发生的唯一有趣的事情是，这是我们正在做的，我们正在做一个元素，明智乘法，这是一个简单的掩蔽函数，它是说如果我们在某个时间点没有观察到一个值，就像如果，比如说，如果这是未知的或审查的。

然后我们就把它归零，所以我们并不是说那个项目不会有损失，所以S只是面具，它允许您解释您可能有一些丢失的数据，这是2012年KD论文中使用的方法，回到阿尔茨海默氏症的例子。

他们使用了一个非常简单的功能集有370个功能，第一组特征来自嗯，嗯，嗯，病人大脑的核磁共振扫描，在这种情况下，他们只是推导出一些预先建立的特征来表征白质的数量，等等，我包括一些遗传信息，一堆认知分数。

所以MSSE是这个模型的一个输入例子，在基线上是至关重要的，对呀，所以有许多不同类型的认知评分是在基线收集的，每一个都组成了一些特征，然后是一些实验室任务，我只是注意到这里是随机数，但它们有一定的意义。

关于结果最有趣的事情之一是，如果您比较多个的预测性能，独立回归法的任务法，所以这里我们展示了两种不同的性能度量，第一个是一些归一化的均方误差，我们希望它尽可能低，第二个是r作为r的平方。

你希望它尽可能高，所以在第一列上有一个完美的预测，这里显示了使用独立回归的结果，所以如果我们的矩阵不是把它们绑在一起，你有r等于零，比如说，然后在随后的每一列中，它现在显示了用这个目标函数学习。

我们的泵越来越高，这个λ2系数，所以它将要求任务之间越来越多的相似性，所以你可以看到，即使有2的中等值，你开始在这种多任务学习方法和独立回归之间得到改进，所以平均r的平方，比如说。

从六十九点上升到七十七点，你注意到我们有95%的置信区间也在这里，当你把lambda值放大时，这似乎很重要，虽然我不会评论这些专栏之间的统计意义，我们确实看到了一个趋势。

当你鼓励它们靠得越来越近时它们的表现就会越来越好，关于这个结果，我想我不想再提什么了，有问题吗，单击此集合，啊，谢谢。是呀，所以这是在一个顽固的布景上，谢谢。这也让我想起了另一件事，我想提一下。

这对这个故事至关重要，就是你看到这些结果，因为数据不多，如果你有一个非常大的训练集，您不会看到这些列之间的区别，或者事实上，如果你有一个非常大的数据集，当你把lambda泵得更高时，这些结果会更糟。

结果会变得更糟，因为允许不同任务之间的灵活性实际上是一件更好的事情，如果您有足够的数据用于每个任务，所以这在数据中特别有价值，政权差，人们也可以试着从观察特征的角度来分析结果，重要性随时间的变化。

所以这里的一行对应于时间点预测器的权重向量，所以这里我们只看四个时间点，五个时间点中的四个，这些列对应于预测中使用的不同特征，颜色对应于该特征对预测的重要性，你可以想象，就像，线性模型中相应权重的范数。

或者它的规范化版本，你看到的是一些有趣的东西，首先，有一些功能，比如，它们在所有不同的时间点都很重要，但也可能有一些，一些对预测即将发生的事情非常重要的特征，但对预测长期结果并不重要。

你开始看到这样的东西在这里你看到，比如说，嗯，这些特征对于预测第三、第六时间点一点也不重要，但在早期很有用，点数，所以从现在开始我们要稍微改变一下档位，我刚才给你的是一个监督方法的例子。

但是有问题吗是的，我今天就批准，谢谢。所以这真的是两个问题，但我更喜欢我们的一个朋友建议的线性模型，比完全耦合模型更好，因为它似乎更直观地可信，实际上，本文使用的是线性模型，好的，是呀。

因为你注意到R是对角线，好的，另一个，另一个观察是，特别是，鉴于我们目前的能力状况，在阿尔茨海默氏症中，到无法治疗，它永远不会变得更好，然而，这在模型中并不受限制，发展到知道这是一个非常有趣的观点。

所以说，皮特建议你考虑一下，因为您可以考虑在，也就是，嗯，能想象说我，通常小于y，i，十二，这通常比为什么，i，两个，四，等等，我们能够做出完美的预测，这意味着，如果你的。

你预测的y等于你的两个wise，那你也应该有那个，i应小于w，嗯，所以你可以想象现在在你的学习问题中引入这些作为新的限制，在某种意义上，它说的很好，如果我们在预测中得到一些错误，我们可能不会那么关心。

但我们想确保至少，我们能够正确地对病人进行分类，给病人正确的权利，所以我们想确保这些值至少有一些单调性，和，人们可以很容易地尝试，将这些类型的约束转换为对学习算法的修改，比如说，如果你拿了任何一双。

假设我把这两个一起带走，可能会出现铰链脱落的情况你说你想要这样，嗯，您将添加一个新的目标函数，意思是你要惩罚最大值，零和一减，我要把这个订单搞砸了，但它会像，所以我会正确地驾驶它。

这就是w 12减去w 2 4，我们希望小于零，所以你可以看看，你知道离零有多远吗，所以你可以看W12，你能想象损失函数吗，上面写着，好的，如果不是，如果是一个，如果大于零，那你就有问题了，我们可能会在。

假设一个线性惩罚，但是大于零，它是，如果它小于零，你一点也不惩罚，所以你说像这样的最大值w 12减去w 2 4点乘积，你可以在你的学习目标中添加一些类似的东西，这将试图鼓励，将惩罚违反这一限制的行为。

使用铰链损耗型损耗函数，所以这将是一种尝试把这些限制纳入你的学习目标的方法，一个非常不同的方法是把它看作是一个结构化预测问题，而不是试图说，你将自己预测一个给定的时间点，你想预测时间点的向量。

有一个完整的领域叫做结构化预测，这将允许人们正式确定目标功能，这可能鼓励，比如说，跨时间预测的平滑性，你想利用的，但由于时间的原因，我不打算对此进行更多的讨论，再向他们提出任何问题。

我想确保我读完最后一篇文章，到目前为止，我们所讨论的是一种监督学习方法，到试图预测病人会发生什么，鉴于你所知道的，基线，但我现在要谈谈一种非常不同的思想风格，它使用了一种无监督的学习方法。

进行无监督学习有两个目标，解决这个问题，第一个目标是发现，我在今天的讲座一开始就提到了，或者可能不仅仅对预测感兴趣，我们可能也有兴趣了解一些东西，对这种疾病有了一些新的认识。

比如发现这种疾病可能有一些亚型，这些子类型可能很有用，比如说，帮助设计新的临床试验，就像你想说的，好的，我们推测这种亚型的患者可能对治疗反应最好，所以我们只对这种亚型的病人进行临床试验，不是在另一个。

尝试更好地理解疾病机制也可能是有用的，所以如果你发现，有些人似乎在疾病中进展很快，和其他似乎进步很慢的人，然后你可能会回去对它们进行新的生物测试，试图理解这两个集群的区别。

所以这两个集群要根据它们的表型来区分，表型，表型，你想回去好好问问，它们的基因型有什么不同，对患者的区别有一个非常简洁的描述也可能是有用的，为了真正有你可以实施的政策，而不是有一个非常复杂的线性模型。

甚至没有，预测未来疾病进展的线性模型，如果你能直接说好就容易多了，对于有这种生物标志物异常的患者，他们可能有非常快的进展，可能有其他生物标志物异常的患者，他们可能有一个缓慢的疾病进展。

所以我们希望能够做到这一点，这就是我发现这些亚型的意思，但实际上还有第二个目标，回想一下我之前提到的最初动机，数据很少，如果你的数据很少，不幸的是，这是我们几乎总是处于的环境，在做机器学习和医疗保健时。

那么您可以很容易地对数据进行过度拟合，当只是在判别学习框架内严格使用它时，所以如果一个人现在完全改变你的优化问题，开始引入一个无监督的损失函数，那么人们就可以希望从有限的数据中获得更多，并保存标签。

在学习算法的最后一步中，你可能会很容易地过度适应，这正是我们在这节课中要做的，所以今天，我们将考虑最简单的无监督学习算法，因为这门课的正式要求是6 0 3 6，因为六零三六没有讨论聚类。

我将花两分钟讨论用最简单的算法进行聚类，叫K的意思是，我希望你们几乎都知道，但这只是一个简单的提醒，有多少个集群，在我展示的这个图中，让我们举起手来，好的，一个集群，两个集群，三个集群，四组，五组。

好的，这些红点是否或多或少地显示了这五个集群，所以宁愿，你知道，这里有一个集群，这里有一个集群，那里，那里，就在那里，所有的权利，所以你是，你能做得很好，当人类看二维数据时。

像k均值这样的算法的目标是展示如何自动做到这一点，对于高维数据，K均值算法非常简单，它的工作原理如下，你假设有许多集群，所以这里我们假设了五个集群，您将随机初始化这些群集中心，我用这里显示的红点来表示。

然后在K均值算法的第一阶段，您将把每个数据点分配到最近的群集中心，这将引出沃罗诺伊图，沃罗诺伊细胞内的每一个点都离这个红点更近，比任何其他红点。

所以这个boroi单元中的每个数据点都将被分配给这个数据点，每个数据点和这个硼单元都将被分配到那个数据点，以此类推，所以我们现在要把所有数据点分配到最近的群集中心。

然后我们将分配给某个集群中心的所有数据点平均，获取新的集群中心，你重复，你要停止这个程序，当积分分配没有变化时，让我们看一个简单的例子，这里我们用k等于2，我们刚刚决定只有两个集群。

我们已经初始化了这里显示的两个群集，作为两个集群中心，作为这个红色的星团中心，在这个蓝色的星团中心，注意到他们离数据很远，我们只是随机选择，他们离数据很远，这实际上是一个相当糟糕的初始化。

第一步是将数据点分配到它们最近的集群中心，所以我想让每个人都大声说出来，红色或绿色，到哪个集群中心，它将指向在这一步中将被分配到的内容，所有的权利，好，我们得到它所有权利，所以这是第一个作业。

现在我们将平均分配给红色集群中心的数据点，所以我们要平均所有的红点，然后新的红色集群中心会在这里，对呀，在那边在这边，好的，很好，蓝色集群中心将在这里的某个地方，对呀，所以这是下一步。

然后你又重复了一遍，您可以将每个数据点分配到其最近的群集中心，你在这里看到看起来像线性超平面的原因是，因为正好有两个集群中心，然后你重复，废话废话，你做得很好，如此如此事实上。

我想这是我刚刚向你们展示的汇合点，这就是K均值算法，这是一个非常简单的算法，在接下来的十分钟里，我要给你们看的是，如何使用这个非常简单的聚类算法来更好地理解哮喘，所以哮喘是一种真正影响许多人的疾病。

它的特点是呼吸困难，它通常由吸入器管理，尽管随着哮喘越来越严重，你需要越来越复杂的管理方案，人们发现，5%到10%的严重哮喘患者尽管使用了，吸入疗法，所以制药界非常感兴趣的一个大问题。

我们如何想出更好的哮喘疗法，在那个问题上有很多钱，我第一次了解到这个问题，当一家制药公司来找我，当我还是兄弟的时候，你问我，他们能和我一起解决这个问题吗？我当时说不，但我还是觉得很有趣。

当时公司给我指了这张纸，我一会儿就告诉你，嗯，但在我到达那里之前，我想指出，每个人都感兴趣的一些大局问题是什么，当谈到哮喘时，第一个是真正了解，是关于什么的，导致不同亚型哮喘的遗传或环境因素，对呀。

据观察，人们的反应不同，治疗被观察到，有些人甚至没有用治疗来控制，为什么呢，生物标志物，有什么方法可以预测，谁会对任何人的治疗有反应或没有反应，我们能更好地理解这些不同的亚型吗。

所以这是一个长期存在的问题，我和这篇来自美国呼吸重症监护医学杂志的论文，顺便说一句，它有大量的引用，现在，一个典型的子类型示例，这就是为什么我要经历它，他们开始回答这个问题，使用数据驱动的方法治疗哮喘。

我在这里给你看的是笑点，这就是主要结果，论文的主要人物，把我在这里展示的一种类型打出来，我们的炎症占主导地位，那边有一种叫做早期症状占优势，这里的另一种是一种一致的疾病，在接下来的几分钟里我会带你。

他们是如何想出这些不同的集群的，所以他们使用了三个不同的数据集，这些数据集包括患有哮喘的患者，最近已经接受了至少一种哮喘治疗，他们都不抽烟，但他们被管理在三个，他们他们来到那里。

来自三个不同人群的三组不相交的病人，第一组患者是从英国的初级保健实践中招募的，所以如果你是哮喘患者，你的哮喘是由你的初级保健医生管理的，那可能还不算太糟，但如果你的广告另一方面。

在难治性哮喘诊所接受治疗，这是专门为帮助患者管理哮喘而设计的，那么你的哮喘可能会更严重一点，和第二组患者，187名患者来自第二组患者，由哮喘诊所外管理，第三个数据集要小得多，只有六十八个病人。

但这是非常独特的，因为这是一个来自12个月的研究，在那里是一项临床试验，有两种不同的治疗方法适用于这些病人，这是一个随机对照试验，所以页面被随机分为研究的两个分支中的每一个。

我会在下一张幻灯片上向你描述这些功能，但首先我想告诉你它们是如何预处理的，在K均值算法中使用，对连续值特征进行Z评分，以使它们的范围规范化，和分类变量只用一个热编码来表示，一些连续变量被进一步。

我在聚类之前通过取特征的对数进行变换，当做像k这样的事情时，这是很有用的，因为它可以从本质上考虑欧几里得距离函数，用k表示，通过捕捉特性的更多动态范围来更有意义，所以这些是进入聚类算法的特征。

而且有很多，很少对，所以大约有二三十个特征，它们从病人的性别和年龄不等，他们的体重指数，他们肺功能的测量，到生物标志物，例如填充计数的儿子，可以从专利中衡量，从病人的痰和更多，我还将展示一些其他功能。

你以后也给你看，你可以看看，这些怎么，这些数量是如何，这些人群有何不同，所以在这个专栏上，你看到初级保健人口，你看看那个群体中的所有这些特征，你可以看到在初级保健人口中，个人平均来说，在二级保健人口中。

54%是女性，其中65%是女性，你注意到像这样的事情，如果你看一些肺功能的测量，在二级护理人群中情况明显更糟，正如人们所料，因为这些是更严重的哮喘患者，较严重哮喘患者，所以接下来做k意味着聚类。

这是导致，现在我向您展示全套功能，让我先告诉你怎么读这个，这是在初级保健人群中发现的集群，这里的专栏只是这些特征在整个人群中的平均值，然后对于这三个集群中的每一个，我在给你看，该集群中相应特征的平均值。

本质上是一样的，那和那些红点完全一样，我向你展示的时候，我向K描述了聚集的意思，它是集群中心，我们也可以看看方差的标准差，那个集群中的特性，这就是括号中的数字告诉你的，首先要注意的是，在第一组中。

这项研究的作者称之为早发性，哮喘主题，这些都是非常年轻的病人，平均十四岁十五岁，与第二组相反，平均年龄为三岁，五岁，如此巨大的差异，此外，我们看到这些病人最近实际上去过医院，所以呃。

所以这些病人中的大多数平均去过医院，这些病人最近至少去过一次医院。此外，他们的哮喘严重恶化，过去十二个月，平均每个病人至少两次，这些都是非常大的数字，相对于你在这些其他集群中看到的，所以这是真的。

描述了这些患有相当严重哮喘的非常年轻的患者的一些非常不寻常的事情，所以我只是把这个理论，是啊，是啊，我认为P值，我不知道这是不是两两比较，我不记得了，我以为我的头，但它真的在看，区别在于，嗯，呃。

你知道，让我们说，呃，我不知道这些中的哪一个，我不知道如果我不知道如果它是一个，我不知道这是不是在比较他们两个，这么说吧，比如说，可能在看这个和那个的区别，但我只是假设，我不记得了，i簇，到另一只手。

以女性为主，所以那里81%的病人是女性，他们大部分超重，所以他们的平均体重指数是6，而其他两个集群的平均体重指数是2，六，真正没有严重哮喘的病人，所以以前住院的平均人数，哮喘恶化的观察。

比其他两个星系团要小得多，所以这是，这是发现的结果，然后你可能会问，这如何推广到其他两个群体，所以他们去了二级护理人群，他们从头开始重新运行聚类算法，这是一组完全不相连的病人，他们的发现。

他们得到了什么，前两个星系团和星系团完全相似，上次关于初级保健人口的研究的第一和第二，但因为这是一个不同的人群，有更严重的病人，第三个集群，早期良性哮喘在这个新人群中没有出现。

在这个新的群体中出现了两个新的集群，所以事实上，前两个集群在两个非常不同的群体中是一致的，给了作者信心，这里可能有真实的东西，然后他们去了，他们探索了第三个群体，在那里他们有纵向数据。

他们用第三个种群来问，现在做吗，所以到目前为止，我们只使用基线信息，但现在我们要问下面的问题，如果我们从这68个病人身上提取基线数据，把它们分成三个不同的簇，根据在其他两个数据集中发现的特征。

然后如果我们要看每个集群的长期结果，它们在集群中会有所不同吗，尤其是在这里，我们实际上不仅仅是为了预测和进展，但我们也在研究预测，我们在观察治疗反应的差异，因为这是一个随机对照试验。

所以这里会有两只胳膊，所谓的临床手臂，这是标准的临床护理，所谓的痰臂，包括定期监测气道炎症，然后进行严格的类固醇治疗以维持正常的庇护数量，所以这是一个，这是比较两种不同的治疗策略。

问题是这两种治疗策略是否会导致不同的结果，所以当临床试验最初进行时，他们计算了平均治疗效果，顺便说一句，因为这是一个RCT，所以特别简单，你刚刚平均了，穿过两只手臂，他们发现两只手臂没有区别。

所以两种不同疗法的结果没有差异，现在这些作者要做的是他们要重新进行这项研究，他们现在要，而不仅仅是看整个人群的平均治疗效果，他们要用，他们将研究这两种药物的平均治疗效果，每一个集群本身。

希望人们现在能看到不同，可能有异质性的治疗反应，有时这种疗法对一些人有效，不是为了别人，这些就是结果，所以确实在这三个集群中，我们实际上看到了很大的不同，所以嗯，如果你看这里，比如说。

开始口服皮质类固醇的人数，哪个是哪个是衡量，一个结果的um，对呀，所以你可能想要这个相机，小的或大的，但是这两个星系团和这个星系团有很大的区别，在第一只手臂下开始的数字是两个，在另一个集群中。

获得第二个臂九的患者，第三个星系团正好相反，顺便说一句，第一个集群只有三个病人，所以我现在不打算对此发表任何评论，因为这些都是显而易见的，在方向上明显，整个人群的平均治疗效果为零并不奇怪。

但我们现在看到的是，事实上这是有区别的，所以有可能这种疗法实际上是有效的，但只是对少数人来说，现在这项研究永远不可能，如果我们事先没有做这个聚类，因为它的病人太少了，只有六十八个病人。

如果您试图同时搜索群集，正如他们所说，找到集群来区分结果，你就会，你会很快地对数据进行过度拟合，所以正是因为我们先做了这个无人监督的子打字，然后用标签，不是为了搜索子类型，但只用于评估亚型。

我们实际上能够在这里做一些有趣的事情，所以在今天的课程中，我谈到了两种不同的方法，预测未来疾病状况的监督方法。

而这种无监督的方法，我想强调几个主要的限制，我们将在下节课中继续讨论，并试图解决，的，第一个主要的限制是这些方法都没有区分疾病的阶段和亚型，我们的两种方法，我们假设在基线时有一定数量的患者对齐。

例如这里，我们假设零点的病人与另一个病人有些相似，比如说，他们可能在那个时候被新诊断出患有阿尔茨海默氏症，但通常我们有一个数据集，在疾病阶段，我们没有病人的自然对齐，如果我们试图进行某种类型的聚类。

就像我在上一个例子中所做的那样，你会天真地得到一个疾病阶段的集群，对呀，所以在疾病早期的病人可能看起来非常不同，疾病晚期的病人，它将完全把疾病阶段和疾病亚型混为一谈，这就是你可能真正想发现的。

这些方法的第二个限制是每个病人只使用一个时间点，而在现实中你知道，就像你在这里看到的，我们可能有多个时间点，我们可能想，比如说，使用多个时间点进行聚类，我们可能想使用多个时间点来了解疾病进展的一些情况。

第三个限制是，他们假设有一个单一的因素，让我们说，解释患者所有变异的疾病亚型，事实上可能还有其他因素，在噪声模型中使用的患者特定因素，当您使用像k均值这样的算法进行聚类时，它没有机会这样做。

因为它有一个很简单的距离函数，所以在下周的讲座中，我们将开始讨论概率建模方法，解决这些问题，这将给我们一个非常自然的方式，表征沿其他轴的变化，最后，你应该问的一个自然的问题是。

一定要无人监督还是有人监督，或者有没有办法把这两种方法结合起来，我会在星期二继续讨论这个问题。

P19：19.Disease Progression Modeling - 大佬的迷弟的粉丝 - BV1oa411c7eD

所以说，我想开始，由，试图建立一些直觉，以了解如何能够进行舞台表演，从横截面数据，我们将在很久以后回到组合分段子类型的问题，所以想象一下，我们有一个维度的数据，每个数据点都是一个单独的。

我们只在一个时间点观察他们的数据，假设我们确切地知道该看哪个生物标志物，所以我在这里给你们举了一个例子，当你可能会看到一些抗体表达水平，这可能就是我所说的生物标志物，如果你确切地知道要看什么生物标志物。

你可以把每个人沿着这条线，你可能会猜测，也许在线的一边，这是早期的疾病，在线的另一边，也许那是晚期疾病，为什么这是一个合理的猜测。

另一种猜想是什么，你为什么不和你的邻居谈谈，看看你们能不能想出一些替代的猜想，所有的权利，这就够了，所以希望简单的问题，所以我不会给你太多时间，所有的权利，那么另一个猜测是什么，所以再一次。

我们的目标是，我们每个人都有一个观察，每个人都处于疾病的某个未知阶段，我们想对个人进行分类，并将其转化为疾病的早期和晚期，我给你一个如何做到这一点的猜想，分拣，另一个合理的猜测是什么，举起你的手。

这就是他们有不同类型的相同疾病的区别，同一疾病的，它可能是一些人中的一个可能，是啊，是啊，所以你要回到这个例子，我在这里给了，在那里你可以把这些东西混为一谈，我想坚持一个简单的故事。

让我们假设这种疾病只有一种亚型，对病人进行分类的另一种方法是什么，给定这个数据，数据在哪里，你知道你在这里看到的这些点，中档季节，然后当你两边往上走的时候，好的，所以也许早期疾病就在这里。

当事情变得糟糕时，病人，这个生物标志物开始变得异常和异常，不管出于什么原因，可能是向右或向左，现在我想这是一个猜测，我认为这也许不是一个很自然的猜想，根据我们对从人体测量的常见生物标志物的了解。

以及它们对疾病进展的反应方式，除非你有多种疾病亚型，比如说，去右边的标记，对一种疾病亚型，向左或向另一种疾病亚型，另一个猜测会是什么，你们错过了简单的一个，是啊，是啊，在后面可能只有一个高价值的。

完全正确谢谢，所以这可能是早期疾病，那可能是晚期疾病，上面写着，这张幻灯片上的虫子寄生虫，哦，是吗，哦拍摄，早餐对对，好的，好的，谢谢。下次我就把那个拿出来，所以你们才说，好的，好的，如此如此，这很好。

至少现在不是，我想我们都在同一条船上，我们有一些想法，人们可能需要做出哪些假设，为了在这里做任何事情，比如，比如说，我们在做一些假设，我们可能不得不对连续性做出一些假设，生物标志物可能会逐渐发展。

从早到晚的无关紧要，它可能会变得更大，它可能会变小，如果这真的是我们之前谈到的场景，我们说过，就像早期疾病可能在这里，晚期疾病可能会发生在任何一方，那样的话，我想人们可以很容易地争辩说。

根据我们这里的信息，疾病进展，疾病阶段无法识别，因为你不知道，它会在哪里，你知道你应该去哪里，过渡点应该在哪里，是这里吗这里这里这里，事实上，这里也出现了同样的问题，好像你不知道，是早期疾病吗。

是往这边走吗？还是往那边走。

有什么方法可以解开这个纠缠，只是为了让我们都在同一页上，对呀，所以假设它只朝这个方向或那个方向，我们怎么才能弄清楚，哪个是哪个，我们有其他数据，他们还剩多少时间，是啊，是啊，否，那太好了。

所以也许我们有关于，假设那个信息，甚至只是年龄，如果我们从一个非常，非常粗略的假设疾病阶段，如果你做了一个额外的假设，疾病的阶段是，进来的人来自不同的疾病阶段，仅这两个假设，那你就可以，比如说。

看看这里个体的平均年龄和这里个体的平均年龄。

你会说平均年龄较大的是晚期疾病。

或者你可以把时间看得死去活来，如果你把每个数据点，你也知道一个人死了多久，你可以看看这些人的平均死亡时间，与那些试图用这种方式戏弄它的人相比。

这就是你，你的意思是，好的，所以我只是想给你一些直觉，这是如何可能的，如果您的数据是这样的呢，所以现在你有两个生物标志物，所以我们只上升了一维，我们想知道哪里很早，哪里晚了，它已经开始变得更具挑战性。

对呀，所以我想让你拥有的直觉，我们将不得不对疾病的进展做出一些假设，比如我们刚才讨论的那些，我们也必须在某种程度上走运，例如，幸运的一个方法是拥有大量的数据，所以如果你有一吨的数据。

你做了一个额外的假设，你的数据，你的数据生活在某个低维流形上，在歧管的一边是早期疾病，歧管的另一边是晚期疾病，那么你可能会发现那个流形，从这个数据，你可能会猜想流形是这样的，我用手勾勒出的轨迹。

但为了你能做到这一点，当然你需要有足够的数据对吧，所以现在将是一个权衡，只是有横截面数据可能没问题，只要你有很多数据，这样你就可以填满空间，真正识别那个流形，另一种方法可能很好。

也许你没有纯粹的横截面数据，可能每个病人身上都有两三个样本，然后你可以给这个颜色代码，所以你可能会说，好的，绿色是病人一或病人一，我们就叫它，这是病人A的第一个时间点。

病人的第二个时间点病人的第三个和第四个时间点，红色是病人B，病人B和蓝色有两个时间点，这是病人C，你有一二，病人C的三个时间点，好的，现在再来一次，你知道吗，数据不是很密集，我们真的不能画出曲线。

但现在我们可以开始了解顺序了，现在我们又可以，即使我们不，我们不是在密集的环境中，就像我们在这里，尽管如此，这里仍然能够计算出，可能歧管看起来有点像这样，又是这样，我只是试图建立周围的直觉。

当横断面数据的疾病进展建模成为可能时，但这是一片开阔的田野，所以今天，我会告诉你一些算法，试图建立在，做疾病进展建模的一些直觉，但它们会非常非常容易分解，当我给你的这些假设不成立时，他们就会崩溃。

当你的数据是高维的时候，它们就会崩溃，当你的数据看起来像这样时，它们就会崩溃，在那里你不仅仅有一个单一的亚型，但也许有多个亚型，所以这是一个非常活跃的研究领域，这是一个我认为我们可以取得很大进展的领域。

在未来几年的实地，所以我将从我自己工作中的一个案例研究开始，在那里我们开发了一个从横截面数据中学习的算法。

我们在慢性阻塞性肺疾病的背景下重视它，或者鳕鱼，cpd是一种肺部疾病，通常由空气污染或吸烟引起，它有一个相当好的分期机制，其中一个使用所谓的肺活量测定仪，为了测量个体在任何一个时间点的肺功能，例如。

你拿着这个肺活量测定仪，你把它塞进嘴里，你吸气，然后你呼气，其中一个测量呼出所有空气所需的时间，这将衡量你的肺有多好，所以人们可以测量你的肺功能，一个人的鳕鱼有多严重，这就是所谓的黄金标准，例如。

在鳕鱼的第一阶段，常见的治疗方法只包括接种疫苗，只在需要时使用短效支气管扩张剂，嗯，当疾病阶段变得更严重时，比如第四阶段，然后通常建议吸入治疗，糖皮质激素，疾病反复发作，如果发生呼吸衰竭，长期吸氧。

等等。

所以这是一种被合理地理解的疾病，因为有一个很好的分期机制，我认为，当我们想了解如何以数据驱动的方式进行疾病分期时，我们应该首先从合成数据开始，或者我们应该从治疗一种疾病开始。

在那里我们对真正的疾病分期有了一些了解，这样我们就可以看看我们的算法在这些情况下会恢复什么，它是否符合我们的预期，无论是从数据产生的方式还是从现有的医学文献，这就是为什么我们选择鳕鱼。

因为这是很好理解的，有大量关于它的文献，因为我们有关于它的数据，这比最初研究中的数据类型混乱得多，我们可以问，我们能得出与最初研究相同的结论吗，所以在这项工作中，我们将使用电子病历中的数据。

我们只看EMR的一个子集，特别是在任何时间点为病人记录的诊断代码，我们假设我们没有肺活量测定仪，所有数据，所以我们没有任何明显的方法来分期病人的疾病，一般的方法是建立一个疾病进展的生成模型。

在很高的水平上，这是一个马尔可夫模型，它是一个指定病人数据分布的模型，在底部显示了它随着时间的推移而演变，根据顶部显示的一些隐藏变量，这些表示疾病阶段的变量，这些表示共病的x变量。

病人在那个时间点可能有，这些x和s变量总是被假定为未观察到的，所以如果你把它们聚集成一个变量，这看起来就像一个隐藏的马尔可夫模型，而且，我们不会假设我们有很多纵向数据，对于一个病人来说，特别是。

CRPD经过十到二十年的发展，我们将从这里学习的数据，只有一到三年的数据，挑战将是，我们能把数据和这一到三年的时间范围，并以某种方式将它缝合在大量的病人身上，以获得一张照片。

这种疾病20年的进展可能看起来像，我们要做的事情，那就是通过学习这个概率模型的参数，然后从参数，我们要么推断病人的实际疾病阶段，从而对它们进行排序，或者实际上模拟来自这个模型的数据。

看看20年的轨迹会是什么样子，目标明确吗？所有权利，所以现在我要做的是，我要一步一步地走进这个模型，告诉你这些组件是什么，所以这是病人在任何一个时间点的疾病进展模型，所以这个变量，It’只有一个。

比如说，可能表示病人的疾病阶段，嗯，三月二万一，因为两个可能表示病人的疾病阶段，2001年4月11日美国首都T，可能表示病人的疾病阶段，六月二十二日，所以我们有一个随机变量，我们对病人数据的每一次观察。

并注意到对病人数据的观察可能是，在非常不规则的时间间隔内，这种方法是可以的，好的，所以请注意，在第一个和第二个之间有一个月的间隔，而是一个，但是在减一和正常之间有四个月的间隔。

所以我们要模拟病人在时间点的疾病阶段，当我们对病人进行观察时，表示该模型中的一个离散疾病阶段，所以s可能是从1到4的值，可能一个到十个其中一个表示疾病的早期阶段，四到十个可能意味着更晚的疾病阶段。

如果我们对每个病人进行一系列的观察，比如说，我们可能会在三月有一个观察，然后在四月注意到，我们将用s 1和s 2来表示疾病阶段，这个模型要讨论的是转换的概率分布，从第一个疾病阶段到第二个疾病阶段，现在。

因为阶段之间的时间间隔不是均匀的，我们必须有一个考虑到时间间隔的过渡分布，为了做到这一点，我们使用所谓的连续时间马尔可夫过程，形式上我们说，嗯，过渡分布，所以在时间t减去1时从阶段i过渡的概率。

在时间t上演J，给定时间间隔的差异作为输入，时间点增量的差异，所以delta是两次观测之间的月数，所以这个条件分布将由矩阵指数给出，时间间隔，乘以矩阵，q，然后矩阵q给出了我们想要学习的参数。

所以让我把它和你可能已经习惯的东西进行对比，在典型的隐马尔可夫模型中，或者一减一等于一，你可能会想象参数化，仅仅通过查找表就给了s t减一，例如，如果每个随机变量的状态数为三个。

就会有三乘三的表格每个州t减1，你有一定的概率过渡到相应的状态，所以这可能是，嗯，注意我在对角线上有一个非常大的值，因为如果我们说一个非常小的先验时期，我们可能会相信患有同一种疾病的病人。

然后我们可以想象，在时间t从状态1转变的概率，在时间t可能是类似点的东西，哦九，和跳过状态二的概率，从一号州直接到三号州可能要小得多，就像零点一，好的，我们可能会说这样的概率，我们可以想象倒退的概率。

从第二阶段在时间t减1到，让我们说第一阶段在时间t那可能是零，对呀，所以你可能会想象这实际上是模型，这意味着你永远不会倒退，你更有可能过渡到紧邻当前阶段的状态，不太可能跳过一个阶段。

所以这将是一个如何参数化转换分布的例子，在典型的离散时间马尔可夫模型中，这里的故事将会特别不同，因为我们不知道时间间隔，所以直觉上，如果两次观察之间经过了很长时间，然后我们想允许一个加速的过程。

我们想考虑到这样一个事实，即你可能想跳过许多不同的阶段，去你的下一个时间步骤，到下一个时间步骤的阶段，因为这么长时间过去了，直觉上，是这个矩阵q乘delta的缩放所对应的。

所以说，此参数化中的参数数实际上与，此参数化中的参数数，对呀，所以你有一个矩阵Q，它是给你的，本质上是状态数的平方，实际上是州的数量，那里有额外的冗余，因为它必须总结为一个，但那无关紧要。

所以这里同样的故事，但是我们现在要通过，在某种意义上，的，过渡的概率，所以如果你对这个转移分布求导，随着时间间隔的缩小，在观察到的时间间隔内，以及从任何状态过渡到任何其他状态的概率，用那个用那个。

以无限小的转变概率，你拿出来的就是这种形式，我会离开你可以，你可以通读它来获得更多关于连续时间的直觉，马尔可夫过程。

到目前为止还有什么问题吗？两个病人的线索都是一样的，是呀，这个模型的线索似乎对所有病人都是一样的，你可能会想象，如果有这种方法中没有的疾病亚型，每个子类型的q可能不同，比如说，对于某些子类型。

在阶段之间的转换可能比其他子类型快得多，其他问题，如此如此好吧，你说得好像，就像事先用的屏幕号一样，你们小组成员也有这些机构对吗，是呀，因此，您可以预先指定要建模的阶段数，有很多方法可以尝试选择该参数。

比如说，你可以看看在这个模型下，这是为了不同的阶段而学习的，你可以，你可以使用机器学习中的典型模型选择技术，也是另一种方法，你试图以某种方式惩罚复杂性，或者我们在这里发现的。

因为我要告诉你的其他一些事情，其实没那么重要，所以类似于当一个人做harku聚类，甚至k意味着聚类，如果您使用非常少的主题或集群数量，你倾向于学习一些非常粗粒度的主题或集群，如果你用更多的。

如果您使用更多的主题，你往往会学到更多关于绿色的话题，同样的故事也会发生在这里，如果你使用少量的疾病阶段，你将学习疾病阶段的非常粗粒度的概念，如果你使用更多的疾病阶段，你会学到一个细致入微的概念。

但病人的总体分类最终会非常相似，但要发表那种声明，我们需要做一些额外的假设，几分钟后我会给你看的，任何其他问题，这些都是很好的问题，那么我们知道疾病的分期吗，这在这里很关键，所以我假设这些变量。

这里的s都是隐变量，我们学习的方式，该模型是通过最大似然估计，在那里我们忽略了隐藏的变量，就像你在任何EM类型算法中所做的那样，任何其他问题，所有的权利，所以我刚才展示的，现在我要讲一个水平切片。

所以我要谈谈其中一个。

其中一个时间点，所以如果你看看翻译，其中一个时间点的旋转，你会得到的是这个模型，这些x也是隐变量，我们已经预先指定了它们来表征不同的轴，我们想通过它来了解病人的疾病进展，所以在周四的讲座中。

我们只用一个数字就把病人的疾病定性为亚型，同样，在本例中只是通过一个数字，但我们可能想了解每个亚型的真正独特之处，例如，对不起，每个疾病阶段真正独特的地方是什么，例如，在那个疾病阶段。

病人的内分泌功能如何？病人的情况如何，在那个疾病阶段的精神状况，病人患肺癌了吗，然而在那个疾病阶段等等，所以我们要，我们要问，我们希望能够从这个模型中读出，根据这些轴线，这将在本节的末尾变得非常清楚。

我向你们展示了一个模拟鳕鱼20年的样子，根据这些数量，病人通常什么时候发展成糖尿病，病人通常在什么时候变得抑郁，病人一般什么时候会患上肺癌等，所以这些是我们希望能够真正谈论的数量。

病人在任何一个疾病阶段会发生什么，但挑战是我们从来没有在我们拥有的数据中观察到这些数量，相反，我们所观察到的只是实验室测试结果之类的东西，或诊断代码，或者已经执行的程序等等，我称之为底部的临床发现。

正如我们在整个课程中所讨论的那样，人们可以把事情想象成诊断代码，给你关于病人疾病状况的信息，但它们和诊断不是一回事，因为有太多的噪音和偏见，这涉及到为病人分配诊断代码，所以我们要对原始数据建模的方式。

作为这些隐变量的函数，我们想要表征，正在使用所谓的嘈杂或网络，所以我们要假设存在某种生成分布，你看到的观察，比如说，诊断代码很可能被观察为一个函数，病人是否有这些表型或合并症的可能性。

概率可以由这些边缘权重来指定，例如，糖尿病的诊断代码很可能在患者数据中观察到，如果病人真的有糖尿病，但当然，它可能不会记录在每一次访问的数据中，病人必须去看临床医生，可能会去看临床医生。

与病人的内分泌功能和糖尿病无关，可能没有记录该访问的诊断代码，所以这将是一个嘈杂的过程，噪音率将被边缘捕获，所以学习算法的一部分是学习转移分布，例如，我在前面的幻灯片中向你们展示的Q矩阵。

但学习算法的另一个作用是学习，这种噪声分布的所有参数，即这些边缘权重，所以这将作为学习算法的一部分被发现，你要问我的一个关键问题是，如果我知道我想根据这些轴从模型中读出，但这些轴从来都不是。

我从来没有假设它们在数据中被明确地观察到，我如何使学习算法为这些隐变量赋予意义，因为否则，如果我们让他们不受约束，你做了最大似然估计，就像在任何因子分析类型模型中一样，你可能会在这里发现一些因素。

但它们可能不是你关心的因素，如果学习问题无法识别，就像在无监督学习中经常发生的情况一样，那么你可能不会发现你感兴趣的东西，所以我们引入的隐变量，我们使用了一种技术，你们在之前的讲座中已经看到了。

从第八讲叫做锚，所以领域专家会指定，对于每一种共病，一个或多个锚，这些锚是我们将要推测的观察结果，只能由相应的隐藏变量产生，请注意这里的诊断代码，是治疗二型糖尿病的，从x 1只有一条边，这是一个假设。

我们正在制作学习算法，我们实际上明确地归零了所有其他的边缘，从所有其他共病中，二零一，我们不打算预先指定这个边缘重量是多少，我们要考虑到这可能会很吵的事实，它并不总是被观察到，即使病人有糖尿病。

但我们要说，这不能用任何其他共病来解释，因此，对于每一种共病或表型，我们想建模的，我们将指定一些少量的锚，这与图上的一种稀疏性假设相对应，这些是我们选择的锚，用于哮喘的UM。

我们为肺癌选择了与哮喘相对应的诊断代码，我们选择了几个与肺癌相对应的肥胖诊断代码，我们选择了一个与病态相对应的诊断代码，肥胖等等，所以这些是我们要给隐变量赋予意义的方法，但几分钟后你就会看到。

它不会预先指定太多的模型。

模型仍然会学到一大堆其他有趣的东西，顺便说一句，我们的方式，我们实际上是通过一个迭代的过程来得出这个集合的，指定了一些隐藏变量以具有锚，但我们也让其中一些没有锚定，意思是你知道，自由变量。

我们做了我们的学习算法，我们就像你在主题模型中做的那样，我们发现有一些表型，这似乎真的是以病人的疾病为特征的，这似乎是病人疾病进展的特征，然后为了真正深入挖掘，与领域专家合作，我们为那些，我们迭代了。

通过这种方式，我们发现了所有有趣的变量，我们想做模特，你测量过这些锚有多好吗，有些人比其他人更好的锚，你会看到的，我想我们将在几分钟内回答这个问题，当我给你看图表的时候。

它学习了X到O网络零的所有其他权重，这是一个，它们非常明确地不为零，实际相反，那么锚呢，我们说它只有一个单亲，任何不是锚的东西都可以有任意多的父母。

清楚了吗，你在领导表中的锚，你重复了你的手机，还是医生说这些是特别的，我们从其中的一个子集开始，我们想对我们想了解的事情进行建模。

根据这些轴的疾病进展，但最初只是其中的一个子集，然后我们包括了一些额外的隐藏变量，没有任何与他们相关的锚，在做了无监督的学习和初步的开发阶段之后，他们发现了一些我们意识到的话题，哦拍摄。

我们应该把那些包括在里面，然后我们用相应的锚把它们加进去，所以你可以把这看作是一个探索性的数据分析管道，有没有可能这些不是锚，是呀，所以很有可能这些不是锚，与一秒钟前被问到的问题有关，所以说，比如说。

有可能病态的，肥胖诊断代码可能为患者编码，对于一个有，让我们说，哮喘，这是一个不好的例子，嗯，在这种情况下，这将相当于一个，他们真的存在从哮喘到这个锚的优势。

这将违反锚假设，所有的权利，所以我们选择了这些来使这不太可能，但是它，但这可能会发生，嗯，它不容易测试，所以这是另一个不可测试假设的例子，就像我们在今天的课上看到的许多其他例子一样，在因果推理讲座中。

如果我们有一些基本的真相数据，如果我们为一些病人做了图表回顾，我们实际上给这些条件贴上了标签，然后我们可以测试锚假设，但在这里，我们假设我们实际上并不了解地面，这些条件的真实性。

你选择这么高水平的共病有什么原因吗，就像我想你可以说得更具体，甚至说在糖尿病中，你可以试着把糖尿病亚型，基于其他一些模型，把它作为一个单层使用，但似乎至少这个模型似乎选择拼写高水平，就是因为，是啊。

是啊，所以这是我们做出的设计选择，后续工作还有很多很多方向，其中之一是在这里使用分层模型，但我们没有往那个方向走，另一个明显的遵循方向，向上的工作将是与分段同时进行子键入，通过引入另一个随机变量。

也就是说，疾病亚型，并使一切都成为它的函数，好的，所以我已经谈到了垂直切片。

但我还是要告诉你的是，这些表型与观察到的疾病阶段有何关系，所以我们用，嗯，我不记得确切的技术终止时间了，呃，术语分解马尔可夫模型，皮特因数分解马尔科夫是对的吗，我的意思是。

这是这是图形模型文献中的一个术语，但我现在不记得了，所以我们要说的是，这些马尔可夫链中的每一个，所以每一个，所以这些中的每一个x 1到x t，所以这个会说是第一个，我叫它糖尿病，这是第二个。

我会说是抑郁症，我们要假设，给定疾病阶段，这些马尔可夫链中的每一个都有条件地相互独立，所以是疾病阶段，把一切都联系在一起，所以图形模型是这样的，等等，好的，所以特别是，中间没有边，让我们说。

糖尿病变量和抑郁症变量，假设这些条件之间的所有相关性都是由疾病阶段变量介导的，这是我们必须做出的一个关键假设，有人知道为什么，如果我们不做那个假设，会出什么问题，所以说，比如说。

如果我们有一个看起来像x 1的东西，会出什么问题，x一三，假设我们在它们之间有边缘，完整的图形，我们有，让我们说，哦，所以有边的s变量，在那种情况下会发生什么，其中我们不假设x是条件独立的，给定s。

所以我想让你从，在分布方面，所以记住我们要，所以如果我们把这个设置好，如果我们以一种无法识别的方式设置学习问题，那我们就完蛋了，我们将无法了解这种疾病进展的任何情况，那么在这种情况下会发生什么。

今天没说话的人，理想情况下，你们谁还记得，让我们说，也许是早期的机器学习班，什么，什么类型的分布一个完整的图，完整的贝叶斯网络，可以代表，所以答案是所有的分布，因为它对应于联合分布的任何因式分解。

所以如果你允许这些x变量完全连接在一起，例如，说抑郁症除了分期还取决于糖尿病，那么实际上你甚至不需要这个阶段变量，你可以在这些x变量上拟合任何分布，即使根本没有那个变量，所以模型可以学会简单地忽略变量。

这完全不是我们的目标，因为我们的目标是了解疾病阶段，事实上，我们想要对疾病做出假设，关于疾病阶段的进展，这将帮助我们学习，所以通过假设这些x变量之间的条件独立性，它会迫使所有的相关性，必须由s变量介导。

它将消除一些不可识别性，否则会存在的，是一个微妙但非常重要的一点，所以我们要参数化条件分布的方法，所以首先，我假设这些x都是二进制的，所以病人要么有糖尿病，要么没有糖尿病，我想应该是。

这又是我们的另一个假设，我想应该是，如果一旦你已经有了共病，那你一直都有，所以说，比如说，一旦这一切都合二为一，那么所有后续的也将是一个，先别回答问题，我也要做一个假设，疾病的后期更有可能发展成共病。

所以特别是，人们可以从数学上把它形式化为。

嗯，我就说X，小s逗号x t减一等于零，我想这比，大于，或等于x t等于1的概率，x t减去1等于0，好的，所以我说，随着你在疾病阶段的进一步发展，你更有可能观察到这些并发症之一，一次又一次。

这是我们在学习算法中加入的一个假设，但它是，但这是我们发现的，当你没有大量的数据时，注意，这只是模型参数上的线性不等式，因此，在学习过程中可以使用凸优化算法，在该算法的最大似然估计步骤中。

在凸优化问题中加入一个线性不等式，强制此约束，有几个问题，通常是否有一种快速的方法来检查模型是否无法识别或，所以有一些方法可以尝试交谈，看看模型是否无法识别，这超出了课堂的范围。

但我只想简单地提到其中的一种技术，所以你可以通过观察分布的时刻来问这个问题，比如说，你可以，你可以把它看作是所有观察到的分布时刻的函数，你从数据中得到的，现在这里观察到的数据不是作为轴，而是O。

所以你可以看看O上的联合区域，然后你可以问关于，如果我，所以假设我在模型中选择一组随机的参数，有没有办法对模型的参数进行扰动，这使得观察到的边缘分布在O上相同，通常当你在不可识别的环境中，你可以。

你可以，你可以取一个函数的渐变，看看，你可以发现有一些回旋的空间，那你就表现出来好吧，其实有这个，这个目标函数实际上是可以识别的，现在，这种技术在研究所谓的力矩法时被广泛使用，算法或估计算法。

学习潜在变量模型的后期，但在这种环境下应用起来要困难得多因为，首先呢，这些是复杂得多的模型，估计相应的矩将是非常困难的，因为它们的维度很高，在那里，当我谈到可识别性时。

我实际上是把两件不同的事情混为一谈，一种说法是无限的数据可识别性，第二个问题是你真正学习，从少量数据中学习一个好的模型，这是一个样本复杂度，我所施加的这些限制，即使它们不影响模型的实际可识别性。

它们对于提高学习算法的样本复杂度非常重要，还有问题吗？所以我们使用了近4000名患者的数据集来评估这一点。

在那里嗯，又在哪里，我们只观察了几年的每个病人，一至三年，我们观察到的是264个诊断代码，在任何三个月的间隔内，这些诊断代码的存在或不存在，总的来说，在这个数据集中有将近20万个诊断代码的观察。

我们使用的学习算法是期望最大化，我记得这里有很多隐藏变量，如果你想最大化可能性，如果你想了解最大限度地提高这些观察可能性的参数，然后你必须忽略那些隐藏的变量，EM是试图找到局部最优的一种方法。

带有关键警告，在这里的E步中，我们必须做近似推理，因为这个模型不容易处理，没有封闭的形式，比如说，在该模型中进行后验推理的动态规划算法，鉴于其复杂性，所以我们用的是Gibb采样器，在e步内做近似推理。

我们用了一个，我们对马尔可夫链进行了块采样，其中我们将Gibb采样器与动态编程算法相结合，提高了马尔可夫链的混合速率，对于那些熟悉这些概念的人来说，在学习算法的M步，当一个人必须学习分布的参数时。

这个模型唯一复杂的部分是连续时间马尔可夫过程，事实上，物理学界以前也有文献，这表明你如何真正，它给出了解析闭形式解，对于连续时间马尔可夫过程的m步，现在，如果我今天再这样做，我会做得有点不同。

我仍然会考虑用一种非常相似的方式来建模这个问题，但我会用变分来学习，具有识别网络的似然下限，为了很快地给你一个可能性的下限，对于那些熟悉变分自动编码器的人来说，那正是，所以这就是我处理这件事的方式。

如果还能再做一次，只有一两个其他的扩展，我想提一下，第一个是我们想要的东西我们为鳕鱼定制了更多，就是我们强制单调的阶段进展，所以我们说。

所以这里我谈到了一种单调性，根据给定s的x的条件分布，但人们也可以假设，我已经说过了。

但人们也可以对s的p提出一个假设，给出T的s，t减1的s，这是对Q的一个隐式假设，我给了你一个提示，在这里如何做到这一点，当我说你可以把零放在左手边，这意味着你永远不能去，你永远不能向左走，事实上。

我们在这里也做了类似的事情，这是另一种类型的约束，最后，我们通过询问涉及条件的图表来规则化学习问题。

共病和诊断代码稀疏。

通过在边缘重量上放置测试版，所以以下是一个人学到的，所以我要做的第一件事是，我要给你看，你知道我们讨论过如何指定锚，但我告诉过你，主播不是故事的全部，我们能够推断出关于隐变量的更有趣的事情。

考虑到我们所有的观察，所以这里，我在给你看，几个。

首先，红色肾病表型，在这里，我向你们展示了我们为肾脏疾病选择的锚变量，你首先会注意到几件事，你应该认为是成比例的重量，在某种程度上，你会看到诊断代码的频率，鉴于病人有肾病，重量都远小于一。

所以当你观察病人的诊断代码时，在这个过程中有一些噪音，你观察到的第二件事是，还有许多其他的诊断代码，被观察到是，这些都可以用这个和这个肾病来解释，共病，比如贫血，尿路感染等。

这与医学文献中所知道的很一致，关于肾病，你可以看另一个红色的肺癌例子，我在给你看我们事先指定的锚，这意味着这些诊断代码只能用肺癌来解释，共病，这些是为他们学习的噪音率，这些就是其他的一切。

这里还有一个肺部感染的例子，我们为肺炎指定的只有一个锚，你会看到所有其他自动关联的东西，通过再学习算法。

那么你如何知道权利的基本真相，这就是学习算法正在做的，所以这些重量是学会的，我给你看一个点，学习算法所学习参数的估计，所以我们只是喜欢，如果你学习隐马尔可夫模型，你学会过渡和任务分配，这里同样的事情。

所以这看起来应该很像你做的时候看到的，在文本语料库上进行主题建模时，对呀，你会发现一个话题，这是，这类似于一个主题，这是一个离散的话题，这意味着病人要么发生，要么不发生，你会发现一些单词主题分布。

这类似于主题主题模型中主题的单词主题分布，所以人们可以用这个模型来回答几个最初的问题，我们着手解决，第一个是给病人的数据，我在底部举例说明，我人为地把它分成了三种不同的共病。

一颗星表示对该数据类型的观测，但这是我们人为的，它没有给学习算法，人们可以推断病人何时开始，从这些比迪的每一个开始，而且在整整三年的时间范围内我们有病人的数据，病人在任何一个时间点处于疾病的什么阶段。

所以这个模型推断病人从第一阶段开始，和大约半年的数据收集过程，过渡到鳕鱼第二阶段，使用这个模型可以做的另一件事是根据模型进行模拟，并回答我们会说什么的问题，这种疾病20年的轨迹，看起来像这里。

我给你看十年的轨迹，一次又一次，在学习过程中，任何一个病人只使用了一到三年的数据，所以这是你第一次看到这些轴，这些共病真的开始变得很重要，作为从模型中读出的方式，在这里我们已经扔掉了那些。

所有的诊断代码都在一起吗？我们只关心我们猜测的病人到底发生了什么，那些在训练中没有观察到的x变量，所以我们推测，嗯，肾脏疾病在疾病的第一阶段是非常罕见的，并随着从第二阶段过渡而缓慢增加。

疾病的三期到四期，然后真的进入了疾病的第五阶段和第六阶段，所以这就是你应该理解的在疾病的第六阶段，超过60%的人有肾病，现在，这里的时间间隔，所以我是怎么选择这些的，嗯把这些放在哪里，这些三角形。

我选择了他们，根据从一个阶段过渡到下一个阶段所需的平均时间，根据模型的学习参数，所以你可以看到那种阶段，一二三四，在这四个阶段之间转换需要很长一段时间，然后在过渡之间有很短的时间。

平均从第一阶段到第六阶段，那是治疗肾病的，也可以读出这个，对于其他共病，橙色的黄色的是糖尿病，黑色的是肌肉骨骼状况，红色的是心血管疾病，所以有趣的是，这个学习算法得出的推论是即使在鳕鱼的第一阶段。

在轨迹的早期，我们又看到了大量心血管疾病的患者，这是人们可以从医学文献中看到的东西，它是否符合我们的期望，即使在轻度至中度cpd患者中，发病的主要原因还是心血管疾病，这只是一个理智的检查。

这个模型对一种常见疾病的学习，实际上符合医学知识，所以这就是我想说的，关于疾病进展的概率模型方法，基于横截面数据的建模，我希望你们不要问问题，这样我就可以通过剩下的材料，下课后你可以问我。

所以接下来我想谈谈这些伪时间方法，这是一种非常不同的方法，试图将患者纳入疾病的早期和晚期阶段。

这些方法在过去的五年里真正普及了，由于生物界单细胞测序实验的爆炸，单细胞测序是一种真正理解，不仅仅是平均基因表达是多少，而是在一个细胞一个细胞的基础上，我们能理解每个细胞中表达的是什么吗。

所以在一个非常高的水平上，它的工作方式是你拿一个固体组织，你做了许多程序，以便从组织中分离出单个细胞，然后你要从这些单个细胞中提取rna，你会经历另一个复杂的过程。

它以某种方式对每个细胞的RNA进行条形码，把它们都混合在一起，对它进行排序，然后再把它下放，这样你就可以看到最初的rna表达是什么，这些伪时间算法的目标是获取那种类型的数据。

然后试图将细胞排列到某个轨迹上，所以如果你看这个图的顶部，图A，那是你应该记住的画面，在现实世界中，细胞随着时间的推移而进化，例如a，比如说，B细胞将有一个很好的特征，我们希望能够理解的是。

考虑到你有横截面数据，所以你可以想象你有一个，你有一个完整的细胞集合，每一个都在不同的部分，不同阶段，你能以某种方式将它们排列到它们处于不同分化阶段的地方吗，所以这就是我们想要的目标。

所以存在着一些真实的秩序，我从黑暗到光明，捕获过程会忽略订单信息，因为我们所做的就是得到一组处于不同阶段的细胞，然后我们将使用这个伪时间方法来尝试对它们重新排序，这样你就可以弄清楚，哦。

这些是早期的细胞，这些是晚期的细胞，当然，这里有一个与图片的类比，我在讲座的前一部分给你们看了，一旦你把细胞排列成阶段，然后你就可以回答一些非常有趣的科学问题，例如，你可以问各种不同的基因。

哪些基因在哪些时间点表达，所以你可能会看到基因A的表达非常高，在这个细胞分化的早期，而且在最后表达得不多，这可能会给你新的生物学见解，这些方法可以立即应用，我相信疾病进展模型，我想让你思考每个细胞。

作为现在的病人，那个病人对这个数据有很多观察，观察到的是该细胞的表达，但在我们的数据中，观察可能是症状，我们为病人观察，比如说，然后目标是给出这些横截面观察来分类它们，一旦你进行了排序。

然后你就可以回答科学问题，比如我提到的许多不同的基因，哪些基因在什么时候表达，所以在这里我向你们展示了，当这个特定的基因表达为伪时间的函数时，类似于疾病进展建模，你应该把这看作是一种症状，所以你可以问。

好吧，假设疾病有一些真正的进展，病人通常什么时候出现糖尿病或心血管症状，对于心血管来说，回到CPD的例子，你可以想象，在疾病的早期阶段，糖尿病有一个高峰，它可能是在后期的疾病阶段，它一直在开发研究方法。

在过去的十年里，单细胞基因表达数据刚刚爆炸式增长，所以我记不清有多少种不同的方法，但如果我能猜到，我想有50到200种不同的方法来解决这个问题，有一张纸，本月早些时候刚刚出版的。

它着眼于这些不同轨迹推断方法的比较，这张照片给出了一个非常有趣的例子，这些算法所做的一些假设是什么，例如，第一个问题，当你试图找出这些方法中的哪一种是，你认为会有多个断开的轨迹，可能是什么原因。

为什么你会期望疾病进展建模有多个断开的轨迹，不同的子类型将是一个例子，所以假设答案是否定的，正如我们在本课大部分时间里所假设的那样，然后你可能会问，好的，可能只有一个轨迹。

因为我们只是假设有一个单一的疾病亚型，但是我们现在期望一个特定的拓扑，到目前为止，我们一直在讨论的一切都是线性拓扑，意思是有一个线性投影，有一个早期和晚期的概念，但事实上，线性轨迹可能不现实。

也许轨迹看起来更像这个分叉。

对呀，也许病人在疾病阶段的早期看起来是一样的，但突然间可能会发生一些事情，导致一些病人往这边走，有些病人走那条路，有什么想法吗，在临床环境中可能是什么，所以也许这些病人的T等于零。

也许这些病人得到的T等于一，也许出于什么原因，我们甚至没有关于病人接受了什么治疗的好数据，所以我们实际上并不观察治疗，那么您可能希望能够直接从数据中发现分叉，那么这可能意味着回到数据的原始来源。

在这个时间点上，是什么区分了这些病人，你可能会发现，哦，数据中有些东西我们没有记录，例如治疗，所以有各种各样的方法来推断这些零次，在各种不同的假设下，接下来的几分钟我要做什么。

只是让你了解其中两种方法是如何工作的，我选择这些作为代表性的例子，第一个示例是基于构建最小生成树的方法。

我可以描述的这个算法被称为单片眼镜，它于2014年出版，在这张纸上，在陷阱里，在陷阱里，在这一切，但它很大程度上建立在2003年发表的一篇早期论文上，我在这里也引用，所以这个算法的工作方式如下。

从我们开始，因为我们一直假设横截面数据，所以我把它画在左上角，每个数据点对应于某个病人或某个细胞，算法的第一步是进行降维，做降维的方法有很多，你可以做主成分分析，或者例如，你可以做独立的组件分析。

本文采用独立分量分析方法，我看到的是要做的，将试图找到许多不同的组件，似乎尽可能独立于彼此，那么你现在要在这个较低的维空间中表示数据，在许多这样的论文中，这对我来说是相当惊人的，他们实际上使用了二维。

所以它们会在二维空间中一直往下走，在那里你可以绘制所有的数据，对我来说一点也不明显，你为什么要这么做，和临床数据，我想这可能是一个非常糟糕的选择，然后他们所做的就是在所有病人或细胞上建立一个最小生成树。

所以一个人这样做的方式是，通过在每对节点之间绘制一条边来创建图形，其中边的重量是这两点之间的欧几里得距离，然后就这样，比如说，从这里到这里有一条边，从这里到这里有一条边，以此类推，然后给出加权图。

我们要找到那个图的最小生成树，我给你看的是，下面是诅咒绑定图的最小生成树，接下来你要做的是在那棵树上寻找最长的路径，记住在图中找到最长的路径，在任意图中有一个名称，这叫做旅行推销员问题。

这是一个NP难题，怎么会在这里，嗯，我们不是，这不是一个任意的图，这其实是一棵树，所以嗯，这里有一个糟糕的算法，这里有一个，这里有一个糟糕的算法来寻找最长的，um路径，我想，我想谈谈那个，嗯。

所以一个人在树上找到最长的路，在树上在树上，然后一个人要做的是，有人说，好的，路径的一侧对应于，让我们说，早期疾病阶段，而路径的另一边对应疾病晚期阶段，它考虑到了这样一个事实，即可能会有一些分叉，例如。

你看这里，这里有一个分叉，正如我们之前讨论过的，你必须有某种方法来区分你所知道的，开始是什么，结束应该是什么，这就是一些附带信息可能会变得有用的地方，这里有一个将该方法应用于一些真实数据的示例，啊。

所以这里的每个点都是单元格，在做了降维之后，这些点之间的边对应于最小生成树的边，现在作者所做的是，他们实际上使用了他们拥有的一些附带信息，为了给每个节点着色，基于细胞分化过程的哪一部分。

被认为细胞被认为在嗯，一个人发现了什么，其实这是一个很明智的，所有这些点都处于更早的疾病阶段，然后这些点，这是一个明智的分歧。

接下来我想谈谈一种稍微不同的方法，所以这就是整个故事，顺便说一句，对呀，它在概念上是非常非常简单的方法，接下来我想谈谈一种不同的方法，那个，现在试图回到我们之前在讲座中使用的概率方法。

这种新方法将基于高斯过程，所以高斯过程在课堂上出现过几次，但我从来没有正式为你定义过它们，所以为了让我接下来要说的话有意义，我要正式为你定义，什么是高斯过程，MU表示时间点的集合，n是由联合分布定义的。

这些时间点的亩，它是高斯分布，所以我们要说，这两个不同时间点的函数值u，只是一个高斯，那个，为了今天讲座的目的，我假设均值为零，协方差函数是由大写的k给出的，它是输入点时间点的协方差函数，所以如果你看。

这是，这必须是一个维度资本n乘资本n的矩阵，如果你看I 1和I牙入口，如果你看矩阵的任何条目，我们将它定义为由以下内核函数提供给您，它看指数，这两个时间点之间的负欧几里得距离的平方，直觉上，这说明了。

如果你有两个非常接近的时间点，那么这个内核函数将非常大，如果你有两个相距甚远的时间点，然后你知道然后这是非常大的，这是一个非常大的负数，所以这将是非常小的，因此，对于两个相距很远的输入，内核函数非常小。

对于彼此非常接近的输入，内核函数很大，因此，我们在这里说的是，附近的数据点会有一些相关性，这就是我们要指定的方式，职能的分配，如果有人从这个高斯样本中取样，用如下方式指定的协方差函数。

我做的是一个人出来的东西看起来像这样，所以每一个我在这里假设每一个，这些曲线看起来真的很密集，这是因为我假设n在这里非常大，如果n很小，我们说三个，这里只有三个时间点，你可以把这些。

你可以使函数的分布变得任意复杂，通过玩这个小L，例如，如果你做了小L B，嗯，那么你得到的是这些非常尖锐的函数，我给你看的是一种很浅的颜色，如果你让小我变得很大，你得到这些非常平滑的函数。

所以这是一种获得函数的方法，这是一种获得函数分布的方法，仅仅通过从这个高斯过程中取样，坎贝尔和耶林两年前发表在《竞争生物学》上的这篇论文的作用，他们假设你的观测是从高斯分布中得出的。

它的平均值是由高斯过程给出的，所以如果你回想一下，如果你回想起来，我们之前画的这个故事，假设数据只存在于一个维度中，假设我们真的知道病人的分类，所以我们实际上知道你知道哪些病人是很早的时候。

哪些病人时间很晚，你可能会想象那个单一的生物标志物，你可能会想象这个函数告诉你生物标志物的值是多少，作为时间的函数可能是这样的对吧，也可能是类似的东西，好的，所以它可能是一个正在增加的函数，递减的函数。

这个功能正是这个MU，这个高斯过程是为了建模，唯一的区别是，现在人们可以模拟高斯过程，而不仅仅是一个单一的维度，人们可以想象有几个不同的维度，所以这个P表示数字，表示右维数，相当于，在某种意义上。

你可能猜测现在存在的合成生物标志物的数量，我们真的不知道病人分为早期和晚期，所以时间点T本身被认为是潜在的，从截断正态分布中提取的变量，如下所示，所以你可能，你可能，你可能会假设病人进来的时间间隔。

可能是，你知道的，可能病人通常是在疾病中期来的，或者你认为这是扁平的东西，所以病人在整个疾病阶段都来了，但时间点本身是潜在的，所以现在数据的生成过程如下，你首先从这个截断的正态分布中采样一个时间点。

那你就帮你看看，哦，你从一开始就取样，你在这个曲线上取样，然后你看看样本时间点的mu值是多少，这就给了你对病人的期望值，然后共同优化这个，试图找到最多的帖子，曲线，曲线亩，后验概率最高的。

这就是你从模型中读出的方式，两者都是什么，潜在的进展是什么样子的，如果你看看推断的T上的后验分布，对于每个人，你得到每个人沿着轨迹的推断位置，我会停在那里，我会把这最后一篇文章的幻灯片发到网上。

P2：2. Overview of Clinical Care - 大佬的迷弟的粉丝 - BV1oa411c7eD

正如大卫所说，我在这方面已经很长时间了，我不是医生，但我可能已经学够了药，多年来能够在电视上播放一个，实际上这和今天的课有关，因为今天的课是为了让你们说，嗯，医生们感兴趣的问题是什么通过看它是什么。

他们是做什么的，好的，这就是我们今天的目标，所以我们今天要做的是用一种非常普遍的方式来讨论，医疗保健的目标是什么，你们中有多少人是医生，一对很棒的夫妇，好的，所以修复我，当我吹它所有的权利，请随意打断。

所以这将是我的第一个任务，然后第二个会是，人们为了实现这些目标实际上做了什么，医学实践是什么样的，生成的过程是什么，我们将用来学习的数据，然后我忍不住说了一点，讲座结束时支付医疗保健费用。

因为出现的很多问题，人们对，做我们所说的那种分析。

其实是受金钱的驱使，他们希望能够省钱或花更少的钱，或者类似的东西，所以重要的是要知道，好吧，医学已经存在很长时间了，我想从有记载的最早的历史开始，有关于人们想知道疾病的原因是什么如何治愈它的讨论。

他们想出了一些相当愚蠢的理论，因为他们没有很多科学的现代方法来解决这个问题，但例如，这是一张萨满左边的照片，我想来自一个加拿大印第安部落，躺在那里的男孩，谁病了，这个萨满会利用他对其他病人的经验。

他们确实对药用植物了解很多，他们知道如何护理受伤，诸如此类的事情，所以这是一种有效的医疗保健形式，没有太多的记录，你在那个场景中看不到电子病历系统，在右边，是一名现代萨满，在纽约地区的一家医院执业。

所以有传统文化，在这种情况下，与治疗者的互动被认为是医学实践中非常重要的一部分。

如果你听未来学家的话，医生们谈论医学可能是什么样的，他们强调治疗师的角色不是，只是为了成为一个好的自动机，谁能想出正确的事情，而是说服病人信任他，做他或她向病人建议的事情。

有很多安慰剂效应我们从很多很多的实验中知道，说如果你认为你会好起来，你会好起来的，好的现在现代医学实际上看起来更像这样，所以这是一个重症监护室，你看到的是一个病人身上有各种各样的导线和管子。

和进入他们体内的东西，被成吨成吨的设备包围着这些设备在监视他也许能让他活着，这就是高科技医学，我们认为是临床护理的当代版本，嗯，你可能会说好，健康意味着什么，如果医学的目标是造人或保持人的健康。

什么是健康，所以我们求助于世界卫生组织，他们有这个可爱的，健康定义的非常全面的概念，完全的身体状态，精神和社会福祉，不仅仅是没有疾病或虚弱，然后他们把这个分类，他们说，嗯，有身体健康，有心理健康。

还有社会健康。

社会健康尤其难以衡量，我一会儿再来讨论这个问题，所以最容易衡量的是人的寿命，所以我们有很长一段时间的生存分析数据，这有点令人震惊，如果你看这里，这个较低的曲线是从一千八百左右。

它告诉你如果你生活在一千八百年左右的印度，你的预期寿命大约是二十五岁，好吧，不是很好，如果你生活在最富裕的国家，当时在比利时是典型的欧洲人，你的预期寿命在40岁，你们中有多少人知道，好的很好，我没有。

直到我现在开始看这个，一千九百五十，就在不久前，它就像，你知道，六十，九年前，在挪威，你的期望是活到70出头，在美国，你能活到60多岁，平均，仍然有一个巨大的悬崖，如果你住在不丹或索马里，什么的。

你还在三十岁左右，今天好在二千零一二年，我们做得好多了，引人注目的不仅仅是，做得很好的人变得更好了，但是很多做得很差的人也变得更好了，所以我们现在上来了，你知道的，印度记得是在两个五年的预期寿命。

现在是六十年代，当然这些都是平均数，所以个体差异很大，但这有点有趣，所以如果你看看数字，你会看到，即使在较短的时间内，也有很大的变化，例如，如果你是居住在卢旺达的男性，就预期寿命而言。

这是最差的地方之一，你的预期寿命，如果你今天出生大约是62岁半，对呀，如果你出生在2001年，到现在才三十八年，卢旺达发生了什么，在2001年，是啊，是啊，他们互相残杀，所以这是一个例外，这变得好多了。

因为他们不再互相残杀了，我觉得，如果我没记错的话，南非怎么样？南非发生了什么，在2001年，我不确定我听说你没有解决艾滋病毒危机，是呀，当时的政府声称艾滋病毒，艾滋病毒不是艾滋病的原因，因此。

控制艾滋病毒感染是没有意义的，因为艾滋病是由其他原因引起的，所以这很糟糕，他们在这方面做得更好了，这就是你在许多非洲国家看到的，你也看到了到处都有进步，所以在美国。

我们的男性预期寿命从74岁增加到了78岁，所以预期寿命增加了四年，在短短十七年的时间里，你们女人，顺便说一句，会比我们活得更久，男，平均，有某种生物学上的东西似乎是这样工作的。

人们看待种群存活率的一个典型方式是说，给定一群出生在某个瞬间的人，他们中有多少人在一段时间后还活着，你看到的当然是21点31分我们还没有到达，所以这些是基于实际数据的理论推断的预测，但旧的数据是真实的。

你看到的是从1851年到，你知道的，双十一，假设这些数字现在已经上升了很多，2。他们在哪儿爬得最，过去儿童死亡率很高，所以如果你在十岁的时候看1851，大约30%的儿童死亡。

所以我们在阻止这种情况发生方面做得更好了，人们也会看这样的曲线，这是死亡率按年龄的分布，这碰巧是几年前给日本的，同样，雌性比雄性做得更好，中间的黄金曲线是两者的平均值，这几乎是你看到的任何国家的典型。

这条曲线的形状是相当普遍的，那么这说明了什么，它说当你出生的时候，你死亡的风险相对较高，所以这些孩子有先天性异常，有产前问题，有各种各样的困难，他们没有成功，所以出生时死亡率相当高，但一旦你成功了。

我想大约两岁，死亡率下降到每年万分之一左右，然后它一直很低，直到你现在成为一个青少年，为什么当你成为青少年时死亡率会上升，自杀就是一个极端的例子，但青少年倾向于寻求风险而不是厌恶风险。

你知道他们开始开车，他们去滑雪，跳伞，你知道他们在做什么，他们开始死亡，但如果你坚持到20岁左右，然后有一个相对平坦的区域，到那时，你已经发展了足够的意识，知道什么风险值得冒，哪些不是。

所以在三岁之前它是相对平坦的，五四十个，在这一点上，它开始无情地上升，当然，随着年龄的增长，你明年死去的概率越来越高，对像我这样花白头发的人来说这很不舒服，现在日本有一个特点，人们对此困惑了一会儿。

这就是106岁时奇怪的下降。

所以首先，这代表了极少数人，原来是诈骗，所以有些家庭没有报告他们的老祖母或曾祖母的死亡，因为他们想继续向政府收取社会保障金，所以那是一件艺术品，现在这是个严重的问题。

我们将在本学期晚些时候以更专业的方式回到，这就是差距的问题，所以如果你看看，比如说，美国白人和黑人女性预期寿命的差异，你看到每个人的预期寿命，正如我们所展示的，正在逐渐上升，在这种情况下。

从1975年到2015年，但是黑人和白人女性之间黑人和白人男性之间，黑人病人更有可能死亡或更不可能存活更长时间，存在的社会经济差距，也许医学上，我们不知道确切的情况，然后如果你看看西班牙裔，然而。

他们做得很好，所以在2015年，你实际上是西班牙裔更好一点，不是男的就是女的，而不是你是白的还是黑的，但黑人还是比白人或西班牙裔更糟糕。

所以这些是驱动一些问题的事实，在我们的医疗保健中，那么人是怎么死的呢，其中大约四分之一死于心脏病，其中五分之一多一点死于癌症，这是美国2014年的数据，所以它不是完全最新的，但变化不大。

然后死于各种其他原因的人数也在减少，所以心脏病，癌症，或慢性下呼吸道疾病，所以这就像鳕鱼，是由吸烟之类的东西引起的，事故约占死亡人数的5%，糖尿病，流感及肺炎，肾病，自杀。

然后其他一切都是关于另一个季度，好的，现在看看这些，这些是什么样的疾病。

他们是慢性的，大多数是慢性的，它们也没有传染性，对呀，流感和肺炎除外，别的都没有传染性，据我们所知，你应该在每一个关于当前医学的声明后面加上星号，所以这很有趣，因为如果你在一千八百五十年写下同样的表格。

你会发现很多人死于感染，他们通常活得不够长，无法发育出这些可爱的，老年慢性病，所以那里发生了很大的变化，现在另一件值得一看的事情是，除了人们死亡的原因，他们开始病得更重，他们从生活中得到的价值越来越少。

因为他们正在发展所有这些其他条件，所以如果你看看65岁以上的人，大约一半的人有关节炎，某种形式的关节炎，大约四十个，是啊，是啊，大约40%的人有高血压，顺便说一句，如果你对医学麦芽酒的任何一个词有困难。

只是中断高血压高，血压，听力障碍，我，你知道的，我一边戴着助听器，因为我的耳朵变坏了，心脏病大约四分之一，直立障碍，那意味着摇摇晃晃的人，因为他们的平衡感不太好，慢性鼻窦炎，视力障碍，糖尿病等。

好了这些都长出来了，这是下十个的名单，静脉曲张，疝气，痔疮，银屑病，动脉硬化，耳鸣，玉米，老茧，便秘，干草，发热和脑血管问题。

所有的权利，所以人们在65岁以上的时候开发了这些，所以我们可能会问一个问题，生活质量是什么，例如，我在20世纪70年代开始和很多医生一起工作，是应用决策分析的伟大倡导者，决策理论与医疗决策。

所以问题是你如何评估一个结果，他们说好，我们评估结果的方式是看你的寿命，很明显你活得越久，通常越好，但我们也会关注你在那段时间的生活质量，我们说你知道如果你被限制在轮椅上，让我们说。

你的生活质量可能不如你能到处跑，或者如果你患有慢性疼痛，你的生活质量可能不如你没有痛苦，所以我们想出了这个模型，你生命的价值本质上是一个积分，从零点到多长，你将活在一个功能中，Q上面写着。

这是衡量你在那个特定时间点的生活质量有多好的指标，然后再加上一些折现系数，对呀，那么折扣系数的作用是什么呢，嗯，就像经济学一样，如果我给你，你知道吗，今天有些可怕的痛苦的事情，与十年后相比。

你要选哪一个，我们大多数人以后都会说，这就是折扣系数现在的作用，谁知道正确的折扣率是多少，所以说，在他们的一些工作中，他们做了疯狂的事情，比如把金融折扣因素，你知道吗，银行利率之类的。

并将它们应用于这些健康的东西，仅仅因为他们没有更好的数字可做，这似乎有点可疑，但从方法上来说，这是一种方法，好的，那么你如何衡量生活质量呢，嗯，有这种日常生活活动的概念，所以你可以洗澡和淋浴，你能不能。

你知道，刷牙梳头，你能穿好衣服，你能去厕所吗，把自己收拾干净，你能走路吗，上下床，在椅子上进进出出，你能养活自己吗，然后有一堆工具因素，比如你能打扫你的房子吗，你能管理你的钱等等吗。

所以这些通常是给老年人的，但它们是试图量化生活质量的方法。

通过说你能做多少这些事情，有很多联邦法规，比如说，利用这样的量化，所以如果你要求被置于某种残疾状态，政府寄给你一张支票让你活着，你必须证明你在某一点上，从这些能力中衍生出来的规模。

是人们试图教老年人的事情之一，我父母八十多岁就去世了，我爸爸九十岁了，我记得当他有一些医疗问题的时候，然后他就会被职业治疗师控制，他会试图确保他能够，你知道的，交流和四处走动，不要上当。

人们想让他把所有的钱都寄给他们，或者你知道，准备饭菜之类的东西，所以这些是。

职业是一个有趣的术语，因为这通常适用于退休的人，所以这不是真正的职业，但这是你需要做的事情，为了能够过上体面的生活，现在有一个有趣的估值问题，所以如果你看右上角的模型。

我们实际上没有关于死亡率以外的任何东西的很好的数据，所以死亡就是谁死了，所以蓝色的曲线，有一个你以前见过的曲线，这是一个队列，有多少人在一定的年数后还活着，是发病率曲线，上面写着这些人中有多少人还活着。

没有任何问题的慢性病，这样他们就不会持续疼痛，也不会动弹不得，他们也不是做不到，我刚才在前面的幻灯片上列出的东西，残疾是指你真的无法照顾自己，它通常包括搬进辅助生活设施或养老院，或者类似的东西。

这对很多人来说都是一场噩梦，对社会来说也很昂贵，就像我说的，蓝色曲线是基于1980年美国女性的实际数据，红色曲线是一个假设的曲线，我只是假设发病率大约是，死亡率，和绿色曲线，我假设发展残疾的速度。

残疾是，我不记得了我想是死亡率的三倍，或者类似的东西，所以这就是为什么这些曲线较低，看起来大致正确，但我们现在没有关于这些的好数据，你要问的问题是你想如何改变这一点，例如，假设我们保持同样的情况。

我们把死亡率降低到实际死亡率的百分之二十，但我们保持了残疾和发病率，和他们在左上角一样，那么这样做有什么好处呢，这将创造大量的人，因为他们会活得更长，超过了它们能够充分发挥作用的点，所以这不是耶。

我能问一下吗，为什么绿色不仅仅是健康，喜欢我，它只是看起来绿色只是咸，好的，它确实，是啊，是啊，所以我的意思是超越绿色，是发病率曲线，红色之外是残疾曲线，好的，我可能说错了，所以绿色是健康的，红色。

红色表示患有某种疾病，蓝色表示残疾，好吧那么，如果我们只是延长寿命，但我们不会让它变得更好，那就不是一张很吸引人的照片，所以其他的可能性是发病率的压缩，例如，如果我们降低，人们生病和死亡，但我们增加它。

嗯，我们一开始减少，然后增加，所以人们的平均寿命和现在差不多，那么我们就会有更少的人患有疾病，或残疾人士，因为你上次做得很好，然后你就死了，所以这是一匹很棒的马，谢伊右，在那里一切都立刻分崩离析。

坦率地说，你知道，作为一个比你们更接近终点的人，我不会介意那种退出权利，我不想残疾二十年，我宁愿健康地生活很长一段时间，然后在某个时候死去，我爸爸常说他想被流星击中而死，他不会知道它来了，它是瞬间的。

没有痛苦，没有痛苦，完美，他差点就成功了，但不完全是，嗯好吧，最后的故事是延长寿命，这就是我们简单地降低，死亡率和所有其他比率的比例，发生的事情是你开始有，你知道吗，健康的107岁的人，不太健康。

人口中120岁的人比我们现在更多。

好吧，社会生活质量，这是一个艰难的问题，对呀，所以这里有一个天真的理论，我们把地球上每个人的生活质量，我们把它们总结一下，我们说好，这就是社会生活的质量，这是个好主意吗，可能不是为了一件事。

因为这样我们就有更多的人可以融入，现在看来不太明智，很明显，如果我们开始把世界包装得超级拥挤，那么生活质量最终会下降到足以增加更多的人可能不是最佳的，但尽管如此，这似乎不像是一个真正的，满足解。

少一点怎么样，大约十年前很流行，人们写这种推测性的书，世界会是什么样子，如果一半的人死对了，除了一半死去的人的创伤，你知道他们提议，这将是一些美妙的，你知道的，西尔万，一种理想的老式世界，我没买那个。

当然，我们不知道去那里的好方法，尽管在最不发达国家确实，出生率一直下降到人们担心人口不足的地步，日本人，比如说，有非常严格的移民政策，所以你不能成为日本人，如果你没有出生。

日本人和日本人没有足够的孩子来取代他们自己，因此，日本的自然人口正在下降，意大利也陷入同样的窘境，除了意大利有所有这些移民进来并试图成为意大利人，谁不呢，当然还有钱的问题，就像我说的，我们稍后再回来。

另一件需要考虑的重要事情是由于预期寿命的增加，时间尺度有了很大的变化，在人们对医疗保健的看法中，所以它曾经是很久很久以前，在萨满时代，你不会去找萨满说，让我保持健康，你会去找萨满说，你知道。

我摔断了胳膊，2。我的腿有点痛，或者以某种方式修复我，所以事情都集中在治愈的概念上，这适用于急性疾病，但是随着我们在治疗急性病方面做得更好，顺便说一句，这并不是很久以前发生的。

抗生素是二十世纪早期才发明的，这在阻止人们死于感染方面产生了巨大的影响，所以这就变成了一个管理长期慢性病的问题，这就是我们现在的处境，医学界，此刻，大多数行动是试图理解糖尿病、心脏病和癌症。

像这样的事情发展了很长时间，他们不会立即杀死你，就像传染病一样，但它们产生了真正的负担，当然大家期待的下一步是，我们如何预防疾病，那么我们如何改变你的曝光，我们怎样才能改变你的动机。

我们怎样才能改变你的饮食，我们怎样才能改变，我们需要改变的是什么，我们如何改变你的基因，从一开始就防止你患上这些疾病，这就是未来，好吧，这就是医学试图做的，但它是怎么做到的，所以我们要谈谈。

关于医疗保健实践的传统任务，所以传统上人们谈论诊断，预后与治疗，所以诊断我去看医生，我说，doc，我头痛得厉害，我已经买了两个星期了，我有什么问题对吧和他的工作，在我的情况下，它碰巧是一个他。

他的工作是想出一个答案，我到底怎么了，他应该预测我会发生什么，至少如果他什么都不做，所以说，你知道的，头痛会消失吗？还是会变成脑瘤要了我的命，还是会是，你知道的，一些生活在我大脑中的变形虫，和，神经元。

或，你知道的，各种可怕的事情都有可能，所以这是复苏的前景，根据疾病的通常病程或病例的特点所预期的，然后治疗，当然啦，是你怎么做的，因为如果你不知道我是怎么了，那就很难预测我会发生什么。

如果你不能预测我会发生什么，那就更难弄清楚该怎么办了，为了防止这种情况发生，或者鼓励这种情况发生，所以这是一个串行的过程，我看它的方式是，有一种循环的护理过程，这个过程从最初的演示开始。

所以我出现在医生的办公室，我抱怨一些事情，如果你听过医生和病人互动，病人第一次进来，第一个问题总是是什么把你带到这里来的，这叫做陈述申诉，所以如果我说你知道我的脚踝疼得要命，那和。

如果我说我的右耳听不见了，或者我手臂上有可怕的皮疹什么的，这将把我带到非常不同的方向，然后医生会给你做检查，并生成一堆数据，所以这些是测量，当然，过去这些测量是基于观察，所以有一百年前非常著名的医生。

他们非常擅长观察病人，并通过非常精明的观察者来找出他们的问题所在，你知道夏洛克·福尔摩斯有点微妙，哦，3。我发现你的鞋里面有一道口子，这意味着你一定穿过了荆棘，你知道我在编造什么。

这里有一个夏洛克·福尔摩斯的故事，以便生成数据，然后我们解释这些数据，生成关于病人的某种信息或解释数据，在此基础上，我们确定诊断，现在我们要确定一个诊断，也许不是。

也许我们猜测诊断，我在这个领域工作的早期学到的一件事是，医生们实际上很愿意猜测，因为相信你明白发生了什么是如此有用，如果你说好，你知道有一些概率分布，在大量可能的事情上。

这并不能很好地指导你下一步该做什么，而如果你能说，哦，我想这个病人患上了二型糖尿病，然后你就有了，你知道的，你被锁定在一组问题中，以及您现在可以尝试的一组方法，当我们回到机器学习机器。

没有和人一样的限制，所以对于机器来说，在大量的可能性中并不难，但对于人类的认知来说，那是很难的，所以这实际上是医生思考诊断推理的一个重要特征，所以在做出诊断或猜测后。

他们计划某种治疗，他们应用这种疗法，然后他们等了一会儿，看看发生了什么，所以如果你的诊断让你选择了治疗方法，然后你说好，这一定是正确的诊断，如果病人没有好转，然后你说好。

发生在病人身上的事情和我期望发生在病人身上的事情有什么不同，这驱使你修改整个过程，所以我们再次检查治疗的结果，我们收集更多的数据，我们解释它，我们提出了一个修改后的治疗计划，我们一直在循环。

现在这个循环发生得很快，如果你是住院病人，因为你无时无刻不在，他们总是想对你做一些事情，所以这个循环以小时或一天的顺序发生，如果你是门诊病人，你不是在处理一些紧急问题，它可能发生在一个慢得多的时期。

你知道可能你的医生说，嗯，我们要调整你的用药剂量，看看这是否有助于降低你的胆固醇或控制你的疼痛，或者他想做什么，或者更糟，我们会试着说服你多吃健康的食物，六个月后我们会看看你的血红蛋白，一个1 C下来。

你是，你不太容易得糖尿病，所以时间尺度很不一样，但是不断重新解释事物的过程是一个非常关键的特征，我想到了所有的医疗保健，如果你回头看，艾伦·图灵实际上在20世纪50年代初谈到了医疗保健。

作为人工智能有趣的应用领域之一，为什么好，因为这是一个重要的话题，他有一个幻象说，随着我们开始获得更多关于健康的数据，我们将能够建立各种模型，我们将在这门课上讨论的，嗯啊。

但早期的许多工作采取了一种一次性的方法，所以他们说，嗯，我们要解决诊断问题，所以我们要给一个病人拍一张快照，他们在特定时刻的所有数据，我们要把它输入一个算法，它会给出诊断，我们做得很好，那不是很有用。

因为，它没有遵守提供医疗保健过程的循环性，所以这是一场始于20世纪80年代左右的革命，当人们意识到你必须长期参与，不是为了单一的互动，嗯，这只是这些护理过程的一些定义，嗯，所以这里。

我列出了一些来自1976年一篇论文的想法，我的几个同事，说得好，这里有一个诊断的认知理论，从最初的投诉，猜测一个合适的假设，利用当前活跃的假设来指导提问，所以要求更多的测试来询问病人的问题。

这是未能满足期望，这是如何提出更好的假设的最有力的线索，然后假设可能在一个激活的，停用，确认，或拒绝状态，他们实际上建立了一个计算机程序来实现诊断推理的理论，本质上关于是否激活的规则，停用，确认。

或者拒绝某样东西，可以基于逻辑标准，在一种非常糟糕的概率模型上，这很糟糕因为他们真正需要的是贝叶斯网络，那是在大约十年后的那个时候，所以说，在20世纪70年代建立的系统有非常可怕的概率模型。

因为我们不明白如何正确地做这件事，现在，有趣的是，有人注意到，如果你把药从这里拿走，这有点像科学方法，好吧，如果你想了解一些事情，你形成一个假设，你做一个实验，如果实验与你的期望一致，然后你继续。

你对你的假设有了更多的信心，如果你的实验与你的期望不一致，那你就得改变你的理论，改变你的假设，你回去收集更多的数据，然后继续这样做，直到你对自己提出了一个充分的理论感到满意为止。

所以这对医生来说是一个惊喜因为他们认为自己更像是艺术家而不是科学家，但在某种程度上，他们表现得像科学家，这有点酷，好吧，这不仅仅是照顾一个病人，所以我们有所有这些关于收购的元级别过程。

以及教育知识的应用，质量控制与工艺改进，成本控制和开发参考资料。

这是大卫·马古利斯的一张照片，他是儿童医院的首席信息官，我描述的循环就是这里的循环，这是护理团队在照顾一个病人，但当然，在某个时候，病人出院了，然后他们在社区照顾和自我照顾。

然后他们可能在某种积极的健康状况管理中，在那里，然后如果进展不顺利，然后有一些插曲，他们重新连接到医疗保健系统，他们被授权回来，他们安排了一次访问，他们又回到了这个循环中，所以护理的过程包括。

你知道人们去医院接受治疗，他们会好起来的，他们出院了，他们在他们的生活中活了一段时间，也许他们又生病了，他们回来了，所以有一个更大的循环，围绕这个问题，然后是关于健康计划的各种事情，设计和成员资格。

你有什么保险范围。

等等，然后我会再加上一个想法，也就是说，如果你有一个这样的系统，你实际上想在下一个元级别研究这个系统，对它进行观察，分析一下，给它建模。

计划一些改进，然后干预系统并观察它是如何工作的，并努力让它变得更好，所以在这门课上对我们来说很重要的任务，因为，我们正在努力做的一件事是，看看医疗保健的工作方式。

并通过检查它的运行来找出如何使它变得更好，这可以在这三个级别中的任何一个级别上完成，在更急性期可以做的，我们在处理一个生病的人，可以在更大的相位上完成，一个正在经历一段时间健康循环的人，然后生病。

然后又好了，又生病了，它可以就系统本身而言，你如何设计一个更好地为人口服务的医疗保健系统，所以这个学习型医疗保健系统的概念现在是一本杂志，所以在二十七年，密歇根大学的查克·弗里德曼创办了这本新杂志。

上面全是关于这个的文章。

那么医疗保健系统是如何学好的呢，我给你讲一个二十世纪八十年代中期的轶事，我教人工智能专家系统课程，我刚从一个医学信息学会议回来，人们在那里谈论这个伟大的新想法，叫做循证医学。

我记得我向一群麻省理工学院的工程学学生提到过这一点，其中一个举手说，我是说对一个工程师来说，很明显，证据是你分析事物的基础，让事情变得更好，但对医生来说并不明显，所以这几乎是一个革命性的变化。

他们培养的想法是随机对照临床试验的想法，所以我要勾勒出那是什么样子，当然有很多变化，但假设我是肯德尔广场附近的一家制药公司，我想出了一种新药，我想证明它对X条件更有效，比一些现有药物b，那么我该怎么办。

我发现一些患有X的病人，我非常努力地寻找没有其他痛苦的病人，我想要最纯粹的案子，然后我去找我的统计学家，我说让我们设计一个实验，在那里我们将收集所有这些病人的标准数据集。

然后我们会给他们中的一些人药物和药物，其中一些是B，我们来看看他们谁做得更好，我们将预先定义我们所说的做得更好是什么意思，所以就像不死被认为是做得更好或不痛苦，人们正在遭受的一些坏事被认为做得更好。

然后统计学家也会告诉我，考虑到你期望药物A到B，比B药好10%，你有多少病人要参加这个试验，为了得到这个问题的统计上有意义的答案，然后他们就这么做了，统计学家分析数据，希望你得到的p小于零点五。

你去食品药品监督管理局说，请允许我把这种药作为治疗某种疾病的最热门的新药上市，然后你赚了几十亿美元，这是农民的标准工作方式。现在，有一些问题，所以大多数情况下，像这样的试验结果被应用于。

不会有资格参加审判，因为，例如，你知道我们谈到了发病率，关于慢性问题，人们有很好的，如果你在处理一种疾病，你想确保你正在处理的那些人口，我没有其他任何疾病，但在现实世界中，人们会。

所以我们从来没有真正测量过这些人会发生什么，如果你给他们这种药，他们有这些共病，另一个问题是制药公司想开始赚这数十亿美元，尽快，所以他们希望审判尽可能短，他们希望它是一个尽可能小的样本。

因为他们需要得到零点，五个统计显著性。

所以这些都是有问题的，它们导致了真正的问题，所以我没有带来任何例子，但有很多故事表明FDA在此基础上批准了一些药物，后来他们发现尽管这种药物在短期内效果很好，从长远来看，它有可怕的副作用。

或者它与其他疾病有相互作用，对人们没有有效的作用，除了这些测试过的纯案例，所以另一个想法，竞争的想法是说，让我们建立这个学习型医疗保健系统，其中科学的进步，信息学，任何产生新知识的东西。

作为护理体验的持续自然副产品，而我们，无缝地完善和交付最佳实践，以持续改进健康和保健，来自医学研究所的精彩话语，现在被称为国家医学科学院，但很难做到这一点，而原因。

很难做到这一点主要是因为一个非常深刻的潜在原因，就是人们不接受治疗，所以在那个素描中，我给你的药物是非常重要的，对药物b，有一个随机化步骤，在这里我掷硬币来决定任何特定的人将获得哪种药物。

如果我允许这个决定被我的期望或其他东西所偏见，我知道病人的情况，那我就不再做公平的审判了，当然，当我收集关于实际病人如何被治疗的数据时，他们正在按照医生认为对他们最好的方式接受治疗，所以没有随机化。

我是说，如果我去麻省总医院说，你们能不能，请随意对待每个人，这样我们就可以收集到很好的数据，他们会把我赶出去，所以我们还需要大量的技术基础设施，我们需要捕捉各种新的数据源，我们下节课会讲到。

然后我们需要一个真正的大数据的技术基础设施，所以你知道，只是嗯。

比如说，Dana Farber大约五年前开始，你知道这是一家癌症医院，对于每一个实体瘤，他们会采集肿瘤样本，并对其进行基因型–多个样本，因为肿瘤不是均匀的，所以储存这些东西是一个技术挑战，能够想出来。

你知道你有三个千兆字节，大概，你知道的，在每个样本的千兆字节数据上，从每个肿瘤时间，所有进来做这个测试的人，所以你知道你买了一些大磁盘驱动器，或者你把它外包给谷歌什么的，但你需要以某种方式组织它。

这样就很容易找到这些数据，所以今天的技术，今天的偏见就是我所说的绞肉机的故事，你拿病历，遗传数据，环境数据来自可穿戴设备的数据，你把它们放进一个老式的绞肉机和结果块，存储在磁盘上的。

然后你就有了所有的数据，你可以从这些数据中建立模型，这就是我们所做的，在这门课上，你会看到很多这样的东西，医学试图做的另一件事不是治愈人，而是为了让他们保持健康，这几乎是公共卫生基础设施的领域。

所以如果你过河去哈佛医疗区，有几栋大建筑，哈佛公共卫生学院，这就是他们的全部，他们做的事情像追踪疾病，流行率，和跟踪感染，担心隔离人，他们也做了很多我们将要讨论的工作，在这个班上，它是建模。

以试图理解发生了什么，在个人健康方面，对人口健康的影响，在卫生保健系统的运作中，所以他们现在非常喜欢这个，历史上我回顾过去，原来有一个叫伦敦的东西，十七世纪的死亡率，由一位名叫约翰·格兰特的绅士发起。

他感兴趣的只是弄清楚人们能活多久，所以他提出了这些死亡率，在那里他去了伦敦的不同地方，与殡仪员和医院交谈，当时存在的任何医疗保健提供者，什么人死了，有多少人住在那个地区，所以，比如说。

他估计在17世纪6岁之前的死亡率，很久以前，一千六百大约是三六百，所以如果你是个孩子，你活到六岁的机会只有六十岁左右，百分之四，所以不到三分之二，在18世纪有点令人震惊，你从未听说过的人，和林奈。

你可能听说过的人，因为他是早期生物和动物物种分类学家之一，等进行了系统分类的首次尝试，在十八世纪五十年代中期，十八世纪中期，第一届国际统计大会举行了一次大会，一位名叫威廉·法尔的绅士走了过来。

用一个有趣的分类说得很好，如果我们要对疾病进行分类，我们应该把流行病和体质疾病分开，来自当地疾病，他的意思是影响身体的某一特定部位免受发育疾病的影响，比如发育迟缓智力发育或言语发育失败。

然后是暴力直接导致的疾病，比如骨折和酒吧打斗的结果，诸如此类的东西，这是大约1853年第一次对疾病进行分类，顺便说一句，这是在路易斯·巴斯德之前，以及他的细菌致病理论，所以这是一个相当早期的尝试。

显然可以从巴斯德后来发现的东西中受益，所以到了十九世纪九十年代，也就是后克星，他们想出了一个分类，那是等级制度，分类，四个顶级层次结构，分为99个较低级别类别，和一百六十一个特殊的头衔。

他们采用这种方法来获得典型的死亡率数据，人们死于什么，到了二十世纪二十年代，你已经听说过了，ICD九号，i，十，所以这目前被用作分类疾病和障碍的一种方式，国际死因清单是第一个ICD。

我想是20世纪20年代然后它通过多个版本不断发展，1975年，ICD九号于2015年通过，icd ten，这些都在世界卫生组织的控制之下，它现在是一个联合国机构，虽然我认为它实际上早于联合国。

然后我们有九厘米的icd和十厘米的icd是u，ICD九号和十号涂层的延伸，它们主要用于计费。

但它们也用于流行病学研究，如果你看看疾病控制中心，cdc，他们从全国各地收集这样的死亡证明，这是一个死于脑出血的人，这是由于肾炎，这是由于肝硬化，所以你可以用这种数据说。

嗯，这是死亡的直接原因，这是最接近的死因，这是死亡的潜在原因，这就是我们现在掌握的统计数据，你们有谁看过美国公共广播公司的《维多利亚》吗，只有你们不是电视观众，所有的权利，挺酷的，所以我是，我惊呆了。

因为，当我准备这个讲座的时候，我有下一张幻灯片，原来这玩法，大约一周半前播出的一集里的一个角色，在十九世纪五十年代，伦敦爆发了霍乱约翰·斯诺，是一位医生，他做了这项惊人的流行病学研究。

试图找出是什么导致了霍乱，公认的观点是霍乱是由哮喘引起的，什么是哮喘，空气不好，好的，所以空气不好，不知何故，恶劣的空气导致人们生病和死亡，数百人死亡，嗯，而雪开始在伦敦的地图上绘制该地区。

这些集中的地方，每个人都住在那里，有趣的是，他发现就在布罗德街的中央，这几乎是所有这些人死亡的中心，是附近每个人都用的水泵，那个水泵，它的供应被霍乱感染了，所以人们在抽水，把它带回家，喝了它，然后死去。

或者至少病得很重，他看着这个，他说好，如果我们关掉泵，疫情就会停止，他真的去找女王，维多利亚女王，因此与电视节目有关，让她相信这值得一试，因为他们没有更好的主意，他们拿走了水泵，把手从泵上拿下来，果然。

霍乱疫情现在减轻了，当然，潜在的问题是卫生设施，他们没有修好，花了更长时间，但有趣的是，所以这是蚊子在咬人，让他们感染这种讨厌的疾病，他们实际上使用了非常相似的技术来计算。

也许这是从肯尼迪机场的飞机上传来的，你知道吗，蚊子在搭便车，乘坐飞机进入美国。

s，我们需要建一堵边境墙，还有一个非常有争议的做法，公共卫生官员过去经常使用，就是隔离人，所以有很多人的亲戚来埃利斯岛的例子，一定有几个好的，所以他们要接受隔离，如果你到埃利斯岛时生病了。

他们不知道你的病情，他们会把你放在一栋大楼里等一个月，看看你是否好转，或者如果你变得更糟，然后决定是送你回去还是让你进去，所以这是一个很常见的做法，有一个关于伤寒玛丽的著名故事，他是伤寒的携带者。

但她自己没有受到影响，不幸的是，她是个厨师，无论她在哪里工作，人们病得很重，最终纽约卫生部，为了防止她继续感染人，这是一个很有争议的案件，正如你所想象的那样，你不必回到那么远的地方。

这里有一篇1987年的文章，来自芝加哥论坛报的UI，杰西·赫尔姆斯是参议员，呼吁所有患有艾滋病的人都被隔离，所以幸运的是那没有发生，但这个想法仍然存在，嗯，我们将通过隔离人们来阻止这种感染。

然后是最近关于非洲埃博拉反应的报告，在过去的几年里，当埃博拉病毒肆虐该大陆的部分地区时，你知道他们的结论是这是有争议和争论的问题，隔离应作为最后手段，市区的隔离真的很难，流动人口使它很难。

这是最技术性的结论，如果你要隔离，一群人，你手上有一个巨大的废物处理问题，因为如果你有可能感染埃博拉病毒的人，你不能就这样把他们的垃圾扔到某个地方，你得把它处理好，好吧，我最不想说的是，希望很短。

将支付医疗保健费用，我记得20年前读到过如果你从通用汽车买一辆雪佛兰，他们在员工的健康保险和医疗保健上花了更多的钱，比他们在你车里的钢铁上做的还要多，那么为什么这口井，从本质上说。

对医疗保健有永不满足的需求，对呀，除了有自杀倾向的人，没有人想死，所以如果我病了，我想要最好的照顾，我想要尽可能多的，因为你知道生活中什么比继续生活更重要，所以我们在制造药物和测试方面也变得更好了等等。

我记得，大约三十年前核磁共振机开始流行的时候，马萨诸塞州，比如说，有委托，那个，你必须说服他们，要被允许为你的医院购买核磁共振成像机，因为核磁共振设备非常昂贵核磁共振当时非常昂贵。

所以他们想控制医疗保健的费用，通过限制这类机器的数量，最终成本降下来了，所以我们做得更好，但如果你看报纸，你看药物治疗很贵，我们有这些神奇的药物，你知道的，每年花费一百万美元支付剂量的罕见疾病或癌症。

所以人类有很高的动机去做这件事，也没有太多的阻力，保险公司除外，但他们只是在保险合同中转嫁费用，也有浪费，所以有很多故事，大约一半的医疗保健，花费在某人生命的最后一年，虽然手指，他是新英格兰杂志的编辑。

大约二十五年前在这里做了一次演讲，他说，你知道，当我还是个执业医生的时候，从来没有病人进过我的办公室，说着，doc，我在生命的最后一年，这是一个很难操作的标准，有一些稍微有用的程序。

国际移民组织估计大约有40到10万的报价，未引用，每年不必要的死亡，换句话说，只要更加小心就可以避免的死亡。

聪明一点，所以这样做的结果是，如果你看看医疗保健支出，占国内生产总值的百分比，从1970年到，我想二十七，我相信这张图表上的这一点，你看到的是一个真正的异常值，那是美国在上面。

所以我选择了其中的几个只是为了看看。

美国在上面，法国德国，许多欧洲国家大致处于人群的最高水平，加拿大就在下面，英国低一点，西班牙低一点，以色列低一点，土耳其是经合组织国家中最低的，占国内生产总值的百分比，他们在医疗保健上花得这么好。

没关系，但也许我们的钱比其他国家得到的更多。

所以有很多分析都是这样的，他们说，嗯，如果我们每年花这么多钱给每个病人，我们从最简单的测量中得到了什么，也就是预期寿命，1。人的寿命有多长？我们发现，在美国，我们花的钱，你知道吗。

一年9000美元花在病人身上，我们的寿命在70多岁左右，这是2015年的数据，而在瑞士，他们花了大约6000英镑，所以大约三分之二，他们得到了，你知道的，八十，八十，三年。

或者同样价格的生命等等所有这些不同的国家，顺便说一句，这都来自Gapminder，这是一个很棒的数据可视化工具，我没有时间给你看，但你可以点击那里的个别行，在滑块上滑动你所说的那个时代，数据移动。

它是美丽的，这是一种很好的理解它的方式，所以说，有一件重要的事情要记住。

这是我在哈佛教育学院的朋友克里斯教我的，那就是它甚至不足以站着不动，所以他建议了下面的场景，如果你看看这十年来工业生产率的增长，你发现生产率提高了，你知道的，七点，耐用品的百分比，采矿下降了大约2%。

大约1%用于建筑，信息技术增长了5。5个百分点什么的，所以如果你问这个问题，如果对这些商品的需求在一段时间内保持不变，会发生什么。

你会发现，因为更有生产力的东西变得更便宜，他们最终，占总支出的一小部分，所以你的电脑，今天你的笔记本电脑比三十年前便宜多了，这意味着人们花在信息技术上的钱，至少每个项目都比以前低得多，如果从总量上看。

它也比过去低，这意味着其他东西一定更高，是的，因为它加起来是百分之百，所以这表明，如果你花三十年的时间以同样的生产率，增长，采矿是从，你知道的，不管它是经济的一部分，到大约三倍大的东西，一小部分。

如果生产率增长好于该部门，经济就会萎缩，我认为这样的事情正在医疗保健中发生，那就是有无限的需求，医疗保健也不是很有成效，我们的进步不如电子产品的进步快，比如说，所以人们尝试做各种各样的事情。

管理式护理是二十世纪八九十年代的流行语，他们说好，我们要做的是防止人们过度使用医疗服务，通过要求入学前审查，持续逗留审查，第二外科意见，我们将有后期护理管理，在哪里，如果你出院了，你在循环的第二秒钟。

人们会打电话到你家里，试图帮助你，并确保你在尽最大努力让你远离医院，我们要尝试各种实验，比如制度安排，嗯，如果我作为一个医生同意把我所有的病人转介到大众综合医院，而不是给布里格姆或BI。

他们会付我额外的钱，他们会从聚合中获得某种效率，所以也许这是控制成本的一种方法，所以泄漏是让人们留在系统中的想法，人头是一个有趣的想法，上面说，与其为医院为我做的事情买单，或者医生为我做了什么。

我们只是付给他一年的固定费用来照顾我，这就剥夺了他做越来越多事情的动机，为了得到更多的报酬，但这当然会激励他们做得越来越少，这样他就不用花那么多钱了，所以这是一种刀刃平衡来弄清楚如何做到这一点。

但这是一个重要的组成部分，所以如果你看看很久以前对管理护理的评估，他们说这有助于降低住院费用，所以它所做的是，它促使人们从去医院到去医生办公室，但就总体支出而言，这几乎是一场清洗，医生们也讨厌管理护理。

我和我的一个同事坐在波士顿医院，一个保险公司的职员打电话给他，因为他订购了某种测试，在一个心脏病患者身上，所以他很生气，他转向她说，你有哪个医学院的毕业证书？她当然没有医学学位。

她在遵循一张关于如何骚扰医生的纸上的一些规则，不要订购昂贵的测试，所以我们有爱德华·安尼斯，谁说得好，在辉煌的日子里，没有官僚制度，无表格，没有废话，废话废话，我所有的病人都很高兴，我很高兴。

事情很理想，如果你真的回顾那些日子，不如他好，当他把它裂开的时候，我们谈论的一些差距问题是可怕的，所以对于他富有的病人来说，谁能看得起他，生活很美好，但对服务不足的人口来说就不那么多了。

更好的信息技术作为让医生做出更好决定的基础，它正试图培养这些负责任的护理组织，这是人头的一个版本，施加压力，减少人们要求的医疗服务的数量。

现在有一个减少住院人数的计划说，嗯，如果你是医疗保险病人，比如说，你出院了，你在出院后三十天内被重新接纳，然后他们会甩了你，不付钱给你重新接纳，或者不支付你重新接纳的部分费用。

但如果你看看我刚刚做的统计数据，这是支付调整因素的分布，所以最低的数字是97%，所以说，报销减少3%，是你们医院的首席财务官真正关心的事情，但它不像一个二，报销减少5%，所以这产生了相当小的影响，嗯。

让我最后说，金钱决定了很多，从我们的角度来看，我们面临的问题之一，传统上，它得到了医疗中心支出的1%到2%，然而，它在整个业务中获得了大约6%或7%的份额，大约10%到12%用于银行业。

许多这样的系统是由会计师管理的，尽管这种情况正在慢慢改变。

所以在二十世纪九十年代，HS ST与哈佛一起开始了一个医生培训项目，成为医学信息学家，所以练习这种巫术，我们的前两届毕业生，他们中的一个现在是贝斯以色列女执事的首席执行官，第二个是儿童医院的CIO。

所以我最大的成功之一，我个人已经用医生取代了一些会计师，在某种程度上真正了解这项技术的人，好的，我想我要说的就这些，这里有一张有趣的最后一张幻灯片，它有一个指针，我想让你记住，幻灯片会在我们的网站上。

你可以跟着它麻省理工学院，有一个叫宝石的程序，它是医学科学的通识教育，旨在为其他领域的博士课程的人提供一个小程序，如果你真的想专注于医疗保健的发展，至少，我今天试图给你们的对医疗保健过程的理解。

让你在电视上扮演医生真的很重要，有一个程序可以帮助你实现这一点，我向人们推荐。

好的。