横向网络钓鱼

检测和表征大规模横向网络钓鱼

原文标题：Detecting and Characterizing Lateral Phishing at Scale
原文地址：https://www.usenix.org/conference/usenixsecurity19/presentation/ho
This paper is included in the Proceedings of the 28th USENIX Security Symposium. August 14–16, 2019 • Santa Clara, CA, USA

摘要

基于92个企业组织的员工发送的1.13亿封电子邮件，我们首次对大规模横向网络钓鱼进行了表征。在横向网络钓鱼攻击中，攻击者利用一个被劫持的企业账户给其他用户发送邮件，用户对被劫持账户的信任以及账户本身的信息都对攻击者有很大的帮助。我们开发了一个分类器，在每一百万封员工邮件中在误报数低于四的前提下发现成百上千的横向钓鱼邮件。利用我们检测到的和用户上报的攻击事件，我们量化了横向网络钓鱼的规模，确定了攻击者遵循的几个主题内容和接收目标策略，阐明了攻击者表现出的两种复杂行为，并且评估了这些攻击的成功率。总的来说，这些结果拓展了我们对企业攻击者的思维模型，并阐明了企业网络钓鱼攻击的当前状态。

---

1.简介

 十多年来，安全部门探索了无数种防御网络钓鱼攻击的方法。然而，尽管已经做了许多工作，攻击者仍经常成功使用网络钓鱼攻击来入侵政府系统，政治人物和各行各业的公司。由于增长趋势显著，这种攻击已经引起了各国政府的注意，FBI(联邦调查局)从2013年10月到2018年5月的78617被报告的事件中估计全球在这一时期内因网络钓鱼而遭受的经济损失高达125亿美元，美国国土安全部部长宣称网络钓鱼是由最复杂的攻击者发起的最具破坏性的攻击。
 总的来说，针对主要实体(如谷歌、RSA和民主党全国委员会)的定向鱼叉式网络钓鱼攻击的高调报道塑造了我们对企业网络钓鱼攻击的思维模式。在这些新闻事件和许多在学术文献中被讨论的定向鱼叉式网络钓鱼攻击事件中，攻击来自于由国家级对手精心制作的带有欺骗性的钓鱼账户名称，并且邮件地址也和合法账户高度相似的外部账户。然而，近年来，来自业界[7,24,36]和学术界[6,18,32,41]的工作都指出了横向网络钓鱼攻击的出现和增长:一种新的网络钓鱼形式，目标是各种组织，已经造成的经济损失高达数十亿美元。在横向网络钓鱼攻击中，攻击者利用一个被劫持的企业账户给其他新用户发送钓鱼邮件。这种攻击是特别阴险的，因为攻击者受益于被信任的劫持帐户:来自用户和传统电子邮件保护系统的信任。
 虽然最近的研究[10,15,18,19,41]提出了一些检测横向网络钓鱼的想法，但这些先前的方法要么要求组织拥有复杂的网络监控基础设施，要么产生太多的误报，无法实际使用。此外，之前没有任何研究能够大规模，泛化表征这种攻击。例如，最为先进的相关工作之一是使用一个组织多年的数据集，其中只包含两个横向钓鱼攻击[18]。这种情况留下了许多重要的问题没有回答:我们应该如何看待这类网络钓鱼的规模、复杂性和成功?攻击者是否遵循一定的策略，这些常见行为是否能够推动新的或改进防御?攻击者是如何利用被劫持账户内的信息的?这些行为能否说明企业网络钓鱼攻击的状态和轨迹呢？
 在学术界和梭鱼网络的联合工作中，我们迈出了回答这些开放问题和理解大规模横向网络钓鱼的第一步。这篇论文试图探索针对这种迅速发展的威胁的实用防御途径，并为这些网络钓鱼攻击在现实世界的状态开发精确的心理模型。
 首先，我们提出了一个新的分类器来检测基于url的横向网络钓鱼邮件，并在92个企业组织的1.13亿封邮件数据集上评估我们的方法。尽管网络钓鱼邮件之间的动态变动和内容差异被证明具有挑战性，但我们的方法可以检测数据集中87.3%的攻击，同时每100万名员工发送的邮件产生的误报少于4个。
 其次，将我们检测到的攻击与用户报告的横向网络钓鱼攻击相结合，我们对真实世界组织中的横向网络钓鱼进行了首次大规模的描述。我们的分析表明，这种攻击是有效的并且广泛存在:数十个组织，从员工少于100人到员工超过1000人，在几个月内都经历了横向钓鱼攻击。总的来说，一组随机抽样的组织中有14%在7个月内经历了至少一次横向网络钓鱼事件。此外，我们估计超过11%的攻击者成功劫持了至少一名员工。尽管我们的基础真相来源和探测器面临着限制，限制了他们发现秘密或狭窄目标攻击的能力，我们的结果仍然阐明了一个突出的威胁，目前影响许多现实世界的组织。
 考察了横向钓鱼者的行为，我们探索并量化了四种接受者(受害者)选择策略的受欢迎程度。尽管我们的数据集攻击者的目标是几十到数百个收件人，这些收件人通常包括与被劫持帐户有一定关系的用户子集(例如，同事或最近的联系人)。此外，我们为我们的数据集钓鱼消息显示的不同级别的内容定制开发了一个分类。我们的分类表明，虽然有7%的攻击部署有目标的消息，但大多数攻击选择的是一般内容，这些内容是钓鱼者可以很容易地在多个组织中重用的。特别地，我们观察到横向钓鱼者主要依赖于两种常见的诱饵:共享文件的托词和关于接收者账户问题的虚假警告信息。尽管非目标内容很受欢迎，但近三分之一的数据集攻击者投入了额外的时间和努力，使他们的攻击更有说服力和/或逃避检测;而且，超过80%的攻击发生在被劫持账户的正常工作时间。
 最终，这项工作做出了两个贡献，扩展了我们对企业网络钓鱼和潜在防御的理解。首先，我们提出了一种新的检测器，它在操作最小的数据需求(仅利用历史电子邮件)的情况下，在更高数量级上比以前的工作性能更好。第二，通过对横向网络钓鱼的第一次规模描述，我们揭示了这类新兴攻击的规模和成功，并阐明了横向网络钓鱼者采用的常见策略。我们的分析阐明了一种普遍的企业攻击事件，其行为并不完全匹配目标国家攻击或工业间谍的战术。尽管如此，这些横向钓鱼者仍然在没有新的防御手段的情况下取得了成功，我们数据集的许多攻击者确实表现出了一些复杂和集中努力的迹象。

---

2.背景

 在横向网络钓鱼攻击中，攻击者使用一个被劫持但合法的电子邮件帐户向他们的受害者发送网络钓鱼邮件。攻击者的目标和恶意有效载荷的选择可以采取多种不同形式，从受恶意软件感染的附件、钓鱼URL到虚假支付请求。我们的工作重点是利用嵌入在电子邮件中的恶意URL的横向网络钓鱼攻击，这是我们的数据集中发现的最常见的横向网络钓鱼方式。

 清单1展示了我们研究中横向钓鱼攻击的匿名示例。在这种攻击中，钓鱼者试图以新合同为借口，诱使收件人点击一个链接。此外，攻击者还试图通过回复询问邮件真实性的收件人来提高欺骗的可信度;他们还通过删除其在被劫持用户邮箱中的痕迹来隐藏自己。
 横向网络钓鱼是一种危险但尚未充分研究的攻击，是网络钓鱼和帐户劫持的交叉点。网络钓鱼攻击，广义上讲，是指攻击者从任何账户(受到损害或欺骗)伪造欺骗性电子邮件，以诱使受害者采取某些行动。帐户劫持，也被称为帐户接管(ATO)的行话，涉及使用一个被攻破的帐户，以任何形式的恶意手段(如，包括垃圾邮件)。虽然之前的工作主要是在较小的规模和个人账户方面研究这些攻击，但我们的工作是从企业组织的角度在大范围研究这两种攻击的交集。通过这样做，我们扩展了对重要的企业威胁、防御这些威胁的途径以及攻击者使用的策略的理解。

---

2.1相关工作

 检测:大量先前的文献提出了许多检测传统钓鱼攻击的技术[1,3,13,14,44]，以及更复杂的鱼叉式钓鱼攻击[8,10,23,41,47]。Hu等人研究了如何使用社交图来检测被劫持账户[19]发送的恶意邮件。他们的方法检测被劫持账户的误报率在20 - 40%之间。不幸的是，在实践中，许多组织每天要处理数万封员工发送的电子邮件，因此20%的误报率每天会导致数千封误报。IdentityMailer，由Stringhini等人提出，[41]通过训练行为模型来检测横向钓鱼攻击，这些行为模型基于时间模式、元数据和每个用户的风格。如果一封新邮件偏离了员工的行为模式，系统将其标记为攻击。虽然很有希望，但他们的方法产生的误报率在1-10%的范围内，这在实践中是不可行的，因为有大量的良性电子邮件和较低的钓鱼基础率。此外，他们的系统需要为每位员工培训一种行为模式，为大规模运营带来昂贵的技术负担。
 Ho等人开发了检测横向鱼叉式钓鱼的方法，通过对一组来自历史用户登录数据和企业网络流量日志[18]的特征应用一种新的异常检测算法。他们的方法检测已知和新发现的攻击，假阳性率为0.004%。然而，缺乏技术专长的组织往往缺乏全面捕获企业网络流量的基础设施，而这正是这种优先方法所需要的。这一技术前提引出了一个问题，我们能否用一个更简单的数据集——只有企业的历史邮件——实际检测到横向网络钓鱼攻击?此外，他们的数据集反映了一个在3.5年时间跨度内只经历了两次横向钓鱼攻击的单一企业，这使得他们无法在一般规模上描述横向钓鱼的性质。
表征：虽然之前的研究表明，攻击者经常使用网络钓鱼来破坏账户，并且攻击者偶尔会从这些被劫持的账户中进行(横向)网络钓鱼，但很少有人深入和大规模地研究横向网络钓鱼的本质。通过对谷歌数据来源的钓鱼邮件、网页和被盗帐户样本的研究，一项先前的帐户劫持研究发现，攻击者经常使用这些帐户向帐户的联系人[6]发送钓鱼邮件。然而，他们的结论是，自动检测这种攻击证明是具有挑战性的。Onaolapo等人研究了攻击者如何处理被劫持的账户[32]，但他们没有研究横向网络钓鱼。除了电子邮件账户之外，一项针对受感染Twitter账户的研究发现，感染似乎会通过社交网络横向传播。然而，他们的数据集不允许直接观察横向攻击向量本身[42]，也没有提供深入了解受损企业账户的领域(考虑到社交媒体的性质)。
开放问题和挑战：之前的工作表明帐户劫持造成了一个重大和广泛的问题。该文献还为那些有复杂监控的企业提出了实用的防御措施。然而，尽管有这些进展，几个关键问题仍然没有解决。没有全面监控和技术专长的组织是否有一个实用的方法来防御横向钓鱼攻击?横向钓鱼者采用什么共同策略和技术?横向网络钓鱼者如何利用他们对合法账户的控制来牟利，他们的战术复杂性是否说明了企业网络钓鱼的现状?本文通过提出一种新的检测策略和对横向钓鱼攻击的大规模描述，向回答这些开放问题迈出了一步。

---

2.2道德与隐私

 在这项工作中，我们的团队，包括来自学术界和一家大型安全公司的研究人员，开发了检测技术，使用了来自92个活跃的Barracuda网络客户的历史邮件和报告事件数据集。这些组织授予Barracuda访问其Office 365员工邮箱的权限，以研究和开发针对横向网络钓鱼的防御措施。根据Barracuda的政策，所有获取的电子邮件都是加密存储的，客户可以随时撤销对其数据的访问权限。
 由于数据的敏感性，只有Barracuda授权的员工可以访问数据(在标准的、严格的访问控制政策下)。任何非Barracuda员工无权访问个人身份信息或敏感数据。我们的项目也得到了Barracuda的批准，他们得到了客户的许可，可以对数据进行分析和操作。
 一旦Barracuda在生产中部署了一套横向网络钓鱼探测器，任何检测到的攻击都会实时报告给客户，以防止经济损失和危害。

---

3.数据

 我们的数据集包括来自92个使用英语的组织的员工发送的电子邮件;23个组织来自随机抽样的有横向网络钓鱼报告的企业，69个组织来自所有组织。在这些企业中，有25个组织拥有100个或更少的用户帐户，34个组织拥有101 1000个帐户，33个组织拥有超过1000个帐户。房地产、技术和教育是我们数据集中最常见的三个行业，分别有15家、13家和13家企业;图1和图2显示了我们数据集组织的经济部门和规模的分布，分为探索性组织和测试组织(3.2)。

3.1数据结构

 我们数据集中的组织使用Office 365作为他们的电子邮件供应商。在高层，每个电子邮件对象包含:一个唯一的Office 365标识符;电子邮件元数据(SMTP头信息)，它描述了诸如电子邮件发送的时间戳、收件人、声称的发件人和主题等属性;以及电子邮件的正文，电子邮件消息的内容采用完整的HTML格式。Office 365的文档描述了每个电子邮件对象[29]的完整模式。此外，对于每个组织，我们都有一组经过验证的域:组织声明它拥有的域。

3.2 数据集大小

 我们的数据集包含113083695个惟一的、由员工发送的电子邮件。为了确保我们的检测技术普遍化(第5.1节)，我们将数据分割为来自52个探索性组织2018年4月6日的电子邮件训练数据集，以及覆盖92个组织2018年7月10日的测试数据集。我们的测试数据集包括来自52个探索性组织的电子邮件(但是来自于比我们的训练数据集更晚的、不相交的时间段)，加上来自另外40个测试组织的数据集。在分析任何数据之前，我们通过一个随机的样本选择了40个测试组织。我们的训练数据集有25,670,264封邮件，我们的测试数据集有87,413,431封邮件。这两组组织涵盖了不同的行业和规模，如图1和2所示。1 .探索性组织共有89267个发送或接收电子邮件的用户邮箱，测试组织共有138752个邮箱(基于2018年10月数据)

3.3 真实情况

 我们的横向网络钓鱼邮件有两个来源:
(1)报告给Barracuda组织安全管理员的攻击电子邮件，以及用户报告的攻击 电子邮件。
(2)被我们的检测器标记的邮件(§4)，并在包括之前手工审核并贴上标签。
 从一个比较高的层次来说,为了确定一个邮件是否是钓鱼邮件,我们检查它的消息内容,Office 365元数据,和网络消息头[33]来确定其是否包含网络钓鱼内容,以及电子邮件是否来自一个被劫持帐户(如果不是外部账户,我们不将其视为横向钓鱼)。例如，如果Office 365元数据显示电子邮件的副本存在于员工的“已发送”文件夹中，或者其头部显示电子邮件通过了相应的SPF或DKIM[9]检查，那么我们认为该电子邮件是横向网络钓鱼。附录A.1详细描述了我们的标签程序。

标记电子邮件为钓鱼或正常邮件：当手动标记电子邮件时，我们首先检查五个信息:该电子邮件是否是报告的钓鱼事件、消息内容、可疑的URL标记以及其域在上下文中是否有意义、电子邮件的收件人和发件人。除了少数事件外，我们可以很容易地从上面的步骤识别钓鱼电子邮件。例如:一封关于共享Office 365文档的电子邮件被发送给数百个不相关的收件人，其文档链接指向一个bit。ly缩短[非微软]域;或者一个由nonIT员工发送的描述帐户安全问题的电子邮件，其中帐户重置URL指向一个不相关的域。更困难的情况下,我们分析了所有的回复和转发邮件链,并标记电子邮件网络钓鱼如果收到多个回复/转发,表达了报警或可疑,或者最终被劫持的账户发送回复说他们没有发送钓鱼邮件。最后，如3.3节所述，我们访问了一个无副作用的可疑url，来自一个带有标签的钓鱼邮件样本;我们访问的所有url要么指向一个间隙警告页面(例如，谷歌SafeBrowsing)，要么指向一个欺骗登录页面。对于被我们的探测器标记的邮件，但根据检查所有上述信息，它们似乎是良性的，我们保守地将它们标记为误报。在许多情况下，假阳性很明显;例如，我们的探测器标记的可疑URL出现在发件人的签名中，并链接到他们的个人网站的电子邮件。
训练演习vs.实际的网络钓鱼电子邮件:除了区分假阳性和攻击，我们检查以确保我们的横向网络钓鱼事件代表的是实际的攻击，而不是训练演习。首先，根据横向钓鱼邮件标题，我们验证了所有发送帐户都是合法的企业帐户。其次，在前一个月，除了5个账户外，所有的攻击账户都发送了一个或多个与网络钓鱼无关的电子邮件。这两点让我们确信，网络钓鱼邮件来自现有的合法账户，因此代表了实际的攻击;也就是说，培训演习不会劫持现有帐户，因为这可能会造成潜在的声誉损害(我们之前接触的企业安全团队不会这样做)。此外，我们的数据集中没有横向网络钓鱼事件是Barracuda已知的训练演习，也没有横向网络钓鱼url使用的已知安全公司的域名。

 此外，对于这些横向网络钓鱼邮件中的一小部分URL样本，Barracuda的员工在包含vm的浏览器中访问了网络钓鱼URL，以便更好地了解攻击的最终目标。为了尽量减少潜在的危害和副作用，这些员工只访问没有唯一标识符(即URL路径中没有随机字符串或用户/组织信息)的网络钓鱼URL。为了处理位于URL缩短域上的任何钓鱼URL，我们使用了Barracuda的一个URL扩展api，他们的生产服务已经应用于电子邮件URL，并且只访问了扩展为无副作用URL的可疑钓鱼链接。我们所探索的大多数钓鱼url都指向了一个安全浏览的插页网页，这可能反映了我们对历史邮件的使用，而不是用户同时会遇到的内容。然而，最近出现的恶意url不断导致假冒office365登录页面(我们研究机构使用的电子邮件服务提供商)的证书钓鱼网站;图3显示了一个匿名的钓鱼网站示例。
 总的来说，我们的数据集包含1902封横向网络钓鱼邮件(根据主题、发件人和发送时间而不同)，由来自33个组织的154个被劫持的员工账户发送。其中1694封邮件是由用户报告的，其余邮件仅由我们的探测器发现(§4);我们的检测器还发现了许多用户报告的攻击(§5)。在用户报告的攻击中，有40封电子邮件(来自12个被劫持的账户)包含虚假的电汇或恶意附件，而其余的1,862封电子邮件使用了恶意URL。
 考虑到这种攻击向量的流行，我们将检测策略集中在基于url的网络钓鱼上。这种关注意味着我们的分析和检测技术不能完全反映横向网络钓鱼攻击。尽管有这个缺陷，我们的数据集攻击跨越了几十个组织，使我们能够研究一个流行的企业级网络钓鱼，它本身就构成了一个重要的威胁。

---

4.检测横向网络钓鱼

 采用Ho等人[18]定义的横向攻击者威胁模型，我们重点研究了一个被泄露的员工账户发送的钓鱼邮件，攻击中嵌入了一个恶意URL作为攻击(例如，引导用户进入一个钓鱼网页)。
 我们探索了三种检测横向网络钓鱼攻击的策略，但最终发现其中一种策略几乎检测了所有这三种方法识别的攻击。在较高的级别上，两种效果较差的策略检测攻击，它们检测的电子邮件包含(1)一个罕见的URL和(2)一条文本可能被用于网络钓鱼(例如，与已知的网络钓鱼攻击类似的文本)。因为我们的主要检测策略检测到了其他策略发现的所有攻击，但只检测了两种，而发现的攻击次数是其他策略的十倍以上，所以我们在扩展技术报告[17]中推迟了对这两种不太成功的方法的讨论;下面，我们将详细探讨更有效的策略。在我们的评估中，我们将替代方法发现的两个额外的攻击作为我们的检测器的假阴性。
 我们探索了三种检测横向网络钓鱼攻击的策略，但最终发现其中一种策略几乎检测了所有这三种方法识别的攻击。在较高的级别上，两种效果较差的策略检测攻击，它们检测的电子邮件包含(1)一个罕见的URL和(2)一条文本看起来可能被用于网络钓鱼的信息(例如，与已知的网络钓鱼攻击类似的文本)。因为我们的主要检测策略检测到了其他策略发现的所有攻击，但只检测了两种，而发现的攻击次数是其他策略的十倍以上，所以我们在扩展技术报告[17]中限制了对这两种不太成功的方法的讨论;下面，我们将详细探讨更有效的策略。在我们的评估中，我们将替代方法发现的两个额外的攻击作为我们的检测器的假阴性。
 概述:我们检查了我们的训练数据集(2018年4月6日)中用户报告的横向钓鱼事件，以确定广泛的主题和行为，这是我们在检测器中可以利用的。将发送这些攻击的劫持账户(ATO)进行分组后，我们发现95%的劫持账户向25个或更多不同的收件人发送钓鱼邮件。这种普遍的行为，以及受引诱攻击检测框架[18]启发的附加特性思想，为我们的检测策略提供了基础。在本节的其余部分中，我们将描述检测器使用的特性、这些特性背后的直觉，以及检测器用于对电子邮件进行分类的机器学习过程。
 我们的技术既不能提供一个全方位的方法来发现每一次攻击，也不能保证对抗有动机的敌人试图逃避检测的鲁棒性。然而，我们在第5节中展示了我们的方法在几十个真实世界的组织中发现了成百上千封横向网络钓鱼邮件，同时产生了少量的误报。
 特征:我们的检测器提取了三组特征。第一组包含两个特性，它们针对我们前面观察到的流行行为:联系多个收件人。给定一封电子邮件，我们首先提取发送、抄送和密送邮件头中唯一收件人的数量。此外，我们计算此电子邮件收件人集与前一个月任何员工发送的电子邮件中最近的历史收件人集的Jaccard相似性。我们将后者(相似性)特征称为电子邮件的收件人可能性评分。
 接下来的两组特征借鉴了Ho等人[18]提出的诱骗-攻击式网络钓鱼框架。该框架假定网络钓鱼电子邮件包含两个必要的组成部分:一个诱饵，它说服受害者相信网络钓鱼电子邮件并执行一些行动;还有一个漏洞:受害者应该执行的恶意操作。他们的工作发现，使用针对这两种组件的特性可以显著提高探测器的性能。
 为了确定新邮件是否包含潜在的网络钓鱼诱饵，我们的检测器基于邮件文本提取一个单一的、轻量级的布尔特征。具体来说，Barracuda为我们提供了一套大约150个在钓鱼攻击中经常出现的关键词和短语。他们从几百封真实的网络钓鱼邮件(包括外部网络钓鱼和横向网络钓鱼)中提取链接文本，并选择这些攻击中最常见的(规范化的)文本，从而开发了这组网络钓鱼关键词。从主题上讲，这些可疑的关键词传达了一种行动号召，诱使收件人点击链接。对于我们的l诱饵特性，我们提取一个布尔值，该值指示电子邮件是否包含这些钓鱼关键字
 最后，我们通过提取两个能够捕获电子邮件是否可能包含漏洞的特征来完成检测器的特征设置。由于我们的工作重点是基于URL的攻击，这组特征反映了电子邮件是否包含潜在危险的URL。
 首先，对于每封电子邮件，我们提取一个全局URL信誉特性，该特性量化电子邮件包含的最罕见的URL。鉴于电子邮件,我们从电子邮件中提取所有URL年代身体和忽略URL是否属于两类:我们排除所有URL的域是上市公司s验证域列表(3.1),我们也排除所有URL的显示,超链接文本完全匹配的URL链接年代潜在的目的地。例如，在清单1的攻击中，显示的钓鱼超链接文本为Click Here，这与超链接的目标(钓鱼站点)不匹配，所以我们的程序将保留这个URL。相反，清单1中的Alice签名可能包含到她的个人网站的链接，例如www.alice.com;我们的过程将忽略这个URL，因为所显示的www.alice.com文本与超链接的目的地相匹配。
 首先，对于每个电子邮件，我们提取一个全局URL信誉特性，该特性量化电子邮件包含的最罕见的URL。给定电子邮件,我们从电子邮件正文中提取所有URL，忽略URL如果属于以下两类:我们排除所有属于公司验证域列表的URL,我们也排除所有URL的显示,超链接文本完全匹配的URL链接潜在的目的地。例如，在清单1的攻击中，显示的钓鱼超链接文本为Click Here，这与超链接的目标(钓鱼站点)不匹配，所以我们的程序将保留这个URL。相反，清单1中的Alice签名可能包含到她的个人网站的链接，例如www.alice.com;我们的过程将忽略这个URL，因为所显示的www.alice.com文本与超链接的目的地相匹配。
 后一个过滤条件假设一个钓鱼URL将试图混淆自己，并且不会直接向用户显示真正的底层目的地。经过这些过滤步骤，我们提取了一个数值特征
 将每个剩余的URL映射到它的注册域名，然后查找每个域名在思科排名前100万网站[20];3对于任何未被列出的域名，我们将其默认排名为1000万。我们区别对待两种特殊情况。对于较短域名上的url，我们的检测器尝试递归地将短链接解析到其最终目的地。如果该解析成功，则使用最终URL域名的全局排名;否则，我们将该URL视为来自一个未排名的域名(1000万)。对于内容托管网站(如谷歌Drive或Sharepoint)上的url，我们没有很好的方法来确定其可疑性，除非获取内容并进行分析(这一行动存在一些实际障碍)。因此，我们对待内容托管网站上的所有url，就好像它们位于未排名的域名上一样。
 在对每个URL域名进行排名后，我们将邮件的全局URL声誉特征设置为其URL中最差(最高)的域名排名。直觉上，我们预计钓鱼者很少会在热门网站上托管钓鱼页面，因此较高的全球URL声誉意味着更可疑的电子邮件。原则上，有动机的对手可以规避这一功能;例如，如果一个攻击者可以入侵该组织的一个认证域，他们就可以从这个被入侵的站点宿主他们的钓鱼URL，从而避免准确的排名。然而，我们在用户报告的横向网络钓鱼集合中没有发现这样的实例。此外，由于本文的目标是开始探索实用的检测技术，并开发一套大量的横向网络钓鱼事件供我们分析，这个特征就足以满足我们的需求。
 除了这个全局信誉度量之外，我们还提取了一个本地度量，该度量表征了相对于组织员工通常发送的URL域而言，URL的罕见性。给定嵌入在电子邮件中的一组URL，我们将每个URL映射到它的完全合格域名(FQDN)，并计算从前一个月开始有多少天，至少有一个员工发送的电子邮件在FQDN上包含了URL。然后，我们在电子邮件的所有url中取最小值;我们把这个最小值称为本地URL信誉特征。直觉上，可疑的url将具有低的全球声誉和低的本地声誉。然而，我们的评估(5.2)发现，这种本地URL信誉特性几乎没有增加价值:本地URL信誉值低的URL几乎总是具有较低的全局URL信誉值，反之亦然。
分类:为了将邮件标记为钓鱼邮件，我们训练了一个具有上述特征的随机森林分类器[45]。为了训练我们的分类器，我们将训练数据集中所有用户报告的横向钓鱼邮件，并将它们与一组可能是良性的邮件组合在一起。我们通过随机抽样未被报告为网络钓鱼的训练集邮件子集来生成这组良性邮件;我们为每个钓鱼电子邮件采样200个此类良性电子邮件，形成我们的良性电子邮件集进行训练。遵循标准的机器学习实践，我们选择了我们的分类器的超参数和精确的下采样比(200:1)使用交叉验证的训练数据。附录A.2更详细地描述了我们的培训过程。
 一旦我们有一个训练好的分类器，给定一个新的电子邮件，我们的检测器提取它的特征，将特征输入到这个分类器，并输出分类器的决策。

---

5.评估

 在本节中，我们评估我们的横向钓鱼检测器。我们首先描述我们的测试方法，然后展示检测器对来自90多个组织的数百万封电子邮件的性能。总的来说，我们的检测器具有很高的检出率，产生很少的误报，并且检测到许多新的攻击。

5.1 方法论

建立泛化性:如前面3.2节所述，我们将数据集分为两个不相连接的部分:一个训练数据集，由2018年4月至6月期间来自52个探索性组织的电子邮件组成;一个测试数据集，来自92家企业，2018年7月至10月期间;在5.2中，我们证明了如果我们的测试数据集只包含来自40个被保留的测试组织的邮件，那么检测器的性能保持不变。考虑到这两个数据集，我们首先训练我们的分类器，并通过对训练数据集的交叉验证调整其超参数(附录A.2)。接下来，为了计算我们的评估结果，我们在每个月的测试数据集上运行检测器。为了在生产中模拟分类器，我们遵循了标准的机器学习实践，并使用连续学习程序每月[38]更新我们的检测器。也就是说，在每个月末，我们将用户报告的和检测发现的前几个月的网络钓鱼邮件汇总成一组新的网络钓鱼训练数据;并且，我们将我们的原始随机抽样的良性电子邮件集与我们的检测器前几个月的误报聚合起来，形成一个新的良性训练数据集。然后，我们在这个聚合的训练数据集上训练一个新的模型，并使用这个更新的模型对随后月份的数据进行分类。然而，为了确保我们从训练数据集获得的任何调整或知识不会偏倚或过拟合我们的分类器，我们在对测试数据集进行评估时没有改变任何模型的超参数或特征。
 我们的评估在训练和测试数据集之间的时间分割，以及从随机保留组织中引入的新数据到测试数据集，遵循了推荐这种方法的最佳实践，而不是随机交叉验证评估[2,31,34]。完全随机化的评估(例如，交叉验证)可能会对来自未来的数据进行培训，并对过去的测试进行测试，这可能会导致我们高估检测器的有效性。与此形成鲜明对比的是，我们的方法使用未来一段时间内的新数据来评估我们的检测器，并引入了40个新组织，而我们的检测器在培训期间都没有看到这些组织;这也反映了探测器在实践中的工作方式。
警报度量(事件):我们有几个选择来建模我们的检测器警报生成过程(即，我们如何计算不同的攻击)。例如，我们可以评估我们的检测器的性能，根据它正确标记了多少唯一的电子邮件。或者，我们可以根据它标记为受威胁的不同员工账户的数量来衡量检测器的性能(建模一个检测器，它为每个账户生成一个警报，并抑制其余的警报)。最后，我们选择一个在实践中经常使用的概念，即事件，它对应一个唯一的(主题、发送者电子邮件地址)对。在这个粒度上，我们的检测器警报生成模型为每个惟一的(主题、发送者)对生成一个警报。这个度量避免偏重的评估数字，过分强调妥协事件，产生许多相同的电子邮件在一个单一的攻击。例如，如果有两个事件，一个事件分别向一个收件人生成100封电子邮件，另一个事件向100个收件人生成1封电子邮件，如果我们计算电子邮件级别的攻击，那么100个电子邮件事件上的检测器性能将决定结果。
 总的来说，我们的训练数据集包含40个用户报告的ground truth来源的横向钓鱼事件，而我们的测试数据集包含61个用户报告的事件。我们的检测器发现了另外77个未报告的事件(表1的第2行)。

5.2 检测结果

 表1总结了检测器的性能指标。我们用“检测率”这个术语来指我们的检测器发现的横向钓鱼事件除以所有
在我们的数据集中已知的攻击事件(即任何用户报告的攻击事件
和我们尝试的任何检测技术发现的任何事件)的百分比。为了完整性，我们将12个基于附件的事件包括在我们的假阴性和检出率中计算，我们的探测器显然漏掉了，因为我们设计它来捕捉基于url的横向网络钓鱼。此外,
 我们还包括，假反例，较不成功的探测器识别出的2个训练事件[17];这两个选择策略在测试数据集中没有发现任何新的攻击。因此，检出率反映了最佳努力评估这可能高估了我们的探测器，因为我们有一个不完美的地面真理不能释了没有被报告的有针对性的袭击用户。精确度等于攻击警报(事件)的百分比由我们的探测器产生除以警报总数我们生成的检测器(攻击加上误报)。
训练和调优:在训练数据集上，我们的检测器正确识别了70个横向网络钓鱼事件中的62个(88.6%)，同时产生了总共62个误报(2570万名员工发送的电子邮件)。我们的PySpark随机森林分类器公开了每个特征相对重要性[40]的内置估计，其中每个特征的得分在0.0 1.0到所有得分之和为1.0之间。基于这些特征权重，我们的模型最重视全局URL信誉特征，权重为0.42，邮件收件人数量特征(0.34)。相比之下，我们的模型基本上忽略了我们的本地URL声誉，给它分配了0.01分，可能是因为大多数全球罕见的域名往往也是本地罕见的。在其余特征中，接收者似然特征的权重为0.17,phishy关键字特征的权重为0.06。
测试数据集:我们的检测器在110个测试事件(87.3%)中正确识别出96个横向钓鱼事件。此外，我们的探测器发现了49起事件，根据我们的地面真相，没有用户报告为网络钓鱼。就其成本而言，我们的检测器在整个测试数据集上生成了312个误报(误报率小于0.00035%，假设未被我们的ground truth识别为攻击的邮件是良性的)。在我们的测试数据集中，92个组织中的82个在整个4个月窗口内累积了10个或更少的误报，44个组织在此时间段内遇到零误报。相比之下，只有三个组织在四个月的时间里有超过40个误报(分别遇到44,66和83个误报)。如果仅从我们的40个保留检测机构的数据进行评估，我们的检测器达到了类似的结果，检出率为91.0%，精度为23.1%，假阳性率为0.00038%。