Portfolio Decision Analysis – Lessons from Military Applications

组合决策分析–军事应用的教训
——关于改进资源配置的投资组合决策分析方法的发展

1. Introduction

  本章回顾了投资组合决策分析在军事应用中的实践。大多数应用是美国军事应用。军事组织面临的许多问题与民间甚至商业组织相似：资源配置、研发(R&D)、系统采购、后勤、人员管理、培训、维护、通信等。这些问题的复杂性通常需要决策分析(DA)方法来找到可实施的高质量解决方案。有时需要发展援助，与其说是因为问题的复杂性，不如说是因为需要有一个客观和透明的决策理由，使所有利益攸关方相信他们的需要正在得到考虑。在任何一种情况下，我们相信组合决策分析技术都可以带来更好的结果。
  在这一章中，我们将主要关注军队特有的或独特的投资组合问题，如武器系统、部队类型、设施或军事研发组合的投资组合。在一些军事应用中，组合可以可能是项目清单、计划、预算、系统、体系结构、体系或企业。我们将展示如何使用投资组合决策分析来解决此类问题，并总结美国军方的最佳实践。
  下一节(2)比较军事和商业投资组合问题，强调它们的相似之处和不同之处。以下部分(3)回顾了已发表的军事投资组合决策分析研究。下一节(4)介绍和比较六个说明性的例子案例研究，以显示在军事投资组合分析中使用的技术的广度，并通过描述它们如何解决分析师在对军事投资组合问题建模时必须面对的四个关键技术问题来评估这项工作。最后一节(5)对本章进行总结和总结。附录提供了最佳军事投资组合发展分析实践的综合。

2. Comparison of Military vs. Commercial Portfolio Analysis

  投资组合决策分析在军事和商业应用中有一些相似之处，但也有一些显着的不同。表1提供了军事组织中的投资组合决策应用程序与大量使用决策分析的两个行业中的公司的对应应用程序的比较：石化和制药。有许多相似之处：产品开发和营销的时间跨度较长；采购和生命周期成本较高；以及重大的技术和进度风险。然而，军事应用的以下特点使其独一无二：
充满敌意和适应性的对手：石油钻探可能会在恶劣的环境中进行，但至少这种环境只是按照自然规律运作，而不是积极寻求新的巧妙方法来摧毁钻井平台，杀死钻探者，挫败石油公司的计划，而且它也不是由恶意的外国势力资助的。这种敌意和适应性强的对手的存在为决策过程增加了博弈论和情景构建的元素，投资组合选择必须同时考虑威慑失败的威慑效果和军事效力。它还注重保密性和安全性。恶劣的环境使人为因素变得特别重要，因为个人风险水平往往远远高于民事应用中可接受的水平。出于安全原因，通常也很难在实际作战条件下测试军事系统，例如核武器。
国防决策过程：军事决策过程受到该机构或军种更高级别的指挥、联合参谋部、国防部、管理和预算局、政府问责局、国会委员会、总统办公室和公共倡导组织的审查。重大系统采购必须遵循法律程序和合同程序，包括多次正式审查。必须尊重对政府资金使用的法律限制，军队的传统和法律规定的角色可以对决定产生影响。因为没有收入流(尽管肯定有成本流)，所以也不是净现值(NPV)作为国防决策的主要决策标准。取而代之的是，有一大群不同的利益相关者，每个人对该系统必须提供哪些军事能力有不同的想法。这导致需要一种多目标方法，并且往往是大量不可相称和相互冲突的目标。
系统复杂性：军事系统通常不仅高度复杂，而且与更复杂的企业架构(超级系统)紧密相连，它们在所有物理环境中运行：陆地、海洋、空中、太空和网络空间。这些复杂的系统，许多耗资数十亿美元，需要5到15年的时间来开发，许多系统可以使用几十年(经过改进)。与适应性强的将拥有最新技术放在首位的对手竞争，这既增加了复杂性，也增加了技术风险。

3. Review of Military Portfolio Decision Analysis

  我们总结了一些军事决策分析文献：
  首先，军事应用的种类相当多样，包括未来概念分析(8，12，14，21)、研发项目选择(18，20)、兵力组合(3，10)、武器系统和装备采购(1，2，4，9，23)、空间系统的采购和发射时间表(5)，通信和信息(6，12，16)，项目和服务(7，15，17，19，24)和安装(11，22)。到目前为止，最常见的技术是多目标价值分析。
  其次，最优化是最常见的技术，通常是某种形式的二进制编程，用于解决背包式问题，即在给定的预算内找到可能的最佳投资组合。它出现在几乎一半的文献(4，5，6，9，11，12，13，19，20，23)中。Brown、Dell和Newman(2004)–提供了针对这种优化的公式概述。
  几乎所有论文中都有涉及到项目成本，其中三篇论文(3、6、10)的主要特点是成本或成本效益分析，另外五篇论文(1、10、17、18、19)的主要特点是帕累托分析(按价值与金钱的比率对项目进行排序)。
  敏感性分析在许多论文中被使用，并且是两篇(2，21)中的一个主要特征。其他几种技术在文献中只出现一次，包括攻击树(6)、资源分配(7)、层次分析(12)、信息价值(13)、图论(16)、数据包络分析(17)、蒙特卡罗模拟(20)、影响图(21)和时间折扣(24)。
  概括地说，我们可以说，军事投资组合分析最重要的特点似乎很清楚，就是仔细地对多个目标的价值进行建模。数学优化是次要的，尽管它可能很重要，特别是当由于项目之间的相互依赖或由于外部限制(如太空发射时间表)而很难根据成本效益或帕累托排名找到好的候选投资组合时(Brown，Dell，Holtz和Newman，2003)。考虑到军事环境中的许多不确定性，也许令人惊讶的是，明确的情景分析或其他计算不确定性的方法并没有比它们更普遍地应用。由于成本超支继续困扰着国防系统采购(Meier，2009)，我们相信成本的概率建模可能是未来军事投资组合决策分析研究的一个富有成效的领域。

4. Six Case Studies in Military Portfolio Analysis

  为了说明军事投资组合决策分析的主流，下面提供了六项研究的更多详细信息：这六个投资组合决策分析案例研究非常多样化。他们的问题领域从未来的系统概念到研发，到未来的系统，到当前的系统，再到安装。所有研究都在国防部和国会的多个层面上有多个利益相关者。其中一些研究已提交给最高级别的服务/机构、国防部和总统委员会(BRAC)。其中一些研究分析了已知的替代方案，而另一些研究则明确使用了以价值为中心的思维来开发新的替代方案。约束的范围从无到极其复杂的空间星座和发射设施的约束。在三种情况下，不确定性和风险没有明确建模，有时是因为分析一次只针对一个预算年度(海军陆战队，NRO Oso)。长期研究(未来概念和研发)和多年预算研究更有可能明确地模拟不确定性。最优化法和帕累托排序法是计算投资组合价值的两种方法。
在这些案例中，有四个技术问题值得在军事投资组合决策分析中进行特别讨论：投资组合价值计算；变化权重；约束和依赖性；以及不确定性和风险。
  第一个问题是投资组合价值的计算。军事决策分析最常见的量化价值模型是附加价值模型(Parnell，2007)，但对于投资组合，还有一个额外的问题，即如何将单个项目的价值聚合为投资组合价值。常用的方法有三种：没有明确计算投资组合价值的项目价值模型，投资组合价值是用项目价值模型计算的项目价值的总和，以及非累加投资组合价值模型。在第一种方法中，项目价值模型评估每个单独项目的价值以及用于为决策者对项目进行排名的结果，而不一定定义投资组合。项目价值是根据成本或技术难度决定的，决策者根据排名来选择有前景的项目。当决策权下放（非集中），不由一个组织选择资助的项目时，这种办法特别有用。在第二种方法中，投资组合的价值被认为是投资组合中所有项目的项目价值的总和。这是最简单的方法，但它假定项目价值是累加的。这种方法可以在有或没有约束的情况下完成。在第三种方法中，价值模型定义了投资组合的价值，每个可行的项目集都是根据价值衡量标准进行评分的，而不是单个项目。这种方法很难用线性模型来解释和求解。投资组合价值模型的一个例子是AFRL空间技术研发研究(Parnell等人，2004年)，该研究评估了整个空间技术投资组合的价值。每组项目的评分算法是每个组成部分项目对于递增(递减)值函数的最大(最小)得分。这个投资组合价值函数对于一组都试图实现相同能力的研究项目来说是合理的，而且它的特殊结构使得使用数学优化来确定预算约束下的最佳投资组合成为现实。
  第二个主要技术问题是附加值模型中的波动权重评估。在我们的文献调查中，大多数出版物使用的是波动权重。然而，军事决策分析中的一个普遍问题是不恰当地使用重要性权重(Dillon-Merrill等人，2008年)。在我们的经验中，这是由于缺乏对多目标决策分析数学的理解。波动权重矩阵(Parnell，2007)的引入是帮助决策分析师评估波动权重并向高级决策者解释评估逻辑的一项重要技术。这将在下面的最佳实践部分中介绍。
  第三个主要技术问题是约束和项目依赖。我们将这两者归类在一起，是因为项目约束可以用于在优化模型中对项目依赖关系进行建模(Kirkwood，1997)。如果只有一个约束，即预算，并且项目价值和成本独立于投资组合中的任何其他项目，那么最好的建模方法可能是根据成本的单位价值对项目进行排名，而不是数学优化。如果使用最优化，这就是著名的带约束的背包问题。优化也可用于确定多个预算级别的最大价值投资组合。然而，如果有多个约束，并且一个项目的价值和/或成本可以根据包括哪些其他项目而有所不同，那么优化模型可能是计算最大价值投资组合的最佳工具。具有大量约束的投资组合价值模型的两个例子是空军空间司令部投资模型(Brown等人，2003年)和BRAC 2005模型(Ewing等人，2006年)。
  最后一个重大技术问题是如何应对不确定性和风险。对于不确定性，最常见的军事决策分析技术是情景、蒙特卡罗模拟和决策树。对于长期规划，可以使用情景分析来评估具有显著不同的国际安全、经济、军事和技术假设的潜在风险和机会。空军对未来系统概念的几项研究使用了情景分析，包括表3中的空军2025年研究(Parnell等人，1998年)，以及Spacecast 2020(Burk&Parnell，1997年)和蓝色地平线2030(Geis等人，将出现)。如果情景跨越战略规划空间，情景分析尤其有用。蒙特卡罗分析被用于空军空间技术研发，以模拟系统概念性能的不确定性，确定项目的风险驱动因素，并评估投资组合风险(Parnell等人，2004年)。对于大量独立的不确定性，蒙特卡罗分析特别有用。表3中的六个案例研究没有使用决策树，但Parnell、Driscoll和Henderson(2011)展示了如何使用带有多目标决策分析的决策树来评估有关技术性能和对手潜在行动的不确定性。对于少数相关的不确定性，决策树最有用。蒙特卡洛和决策树技术通常用于比情景分析更短的计划期限。
  正如前文所讨论的，投资组合决策分析是一个社会技术过程。军事应用的投资组合决策分析是一个特别具有挑战性的社会技术过程，因为有大量的决策者和利益攸关方。有许多机会可以显著改善军事决策(Parnell，2007)。然而，有许多陷阱需要避免(Dillon-Merrill等人，2008年)。本章的附录包含了我们所发现的11种最有效的投资组合决策分析技术的综合。它适用于投资组合DA的所有领域，而不仅仅是军事领域。

5. Conclusion

  作为军事决策分析员和继续教育指导员，我们从研究和专业知识中获得了一些见解。第一个也是最重要的见解是，在决策分析文献中有许多投资组合决策分析应用程序，在实践中还有更多没有出版的应用程序。其次，我们回顾的几乎所有文章和大多数未发表的应用程序都使用多目标决策分析。我们发现的军事应用出版物中没有一种使用单目标决策分析，例如净现值。第三，绝大多数文章使用多目标值来评估规模收益，而不是使用多属性效用来评估风险偏好和规模收益。第四，令人惊讶的是，有几个军事应用程序明确地对本章中介绍的三种技术(场景、蒙特卡罗模拟和决策树)中的任何一种不确定性进行建模。
  我们已经确定了关键的决策分析建模决策，并提供了我们在这些建模决策的文献回顾中找到的替代技术。基于我们的文献回顾和我们作为军事决策分析师的经验，我们已经确定了最佳实践，并提出了一个纳入这些实践的投资组合决策分析程序(附录)。

References

1. Austin J, Mitchell IM (2008) Bringing value focused thinking to bear on equipment procurement. Mil Oper Res 13(2):33‐46
2. Baker SF, Green SG, Lowe JK, Francis VE (2000) A value‐focused approach for laboratory equipment purchases. Mil Oper Res 5(4):43‐56
3. Bresnick TA, Buede DM, Pisani AA, Smith LL, Wood BB (1997) Airborne and space‐borne reconnaissance force mixes: a decision analysis approach. Mil Oper Res 3(4):65‐78
4. Brown GG, Dell RF, Newman AM (2004) Optimizing military capital planning. Interfaces 34(6):415‐425
5. Brown GG, Dell RF, Holtz H, Newman AM (2003) How US Air Force Space Command optimizes long‐term investment in space systems. Interfaces 33(4):1‐14
6. Buckshaw DL, Parnell GS, Unkenholz WL, Parks DL, Wallner JM, Saydjari OS (2005) Mission oriented risk and design analysis of critical information systems. Mil Oper Res 10(2):19‐38
7. Buede DM, Bresnick TA (1992) Applications of decision analysis to the military systems acquisition process. Interfaces 22(6):110‐125
8. Burk RC, Parnell GS (1997) Evaluating future space systems and technologies. Interfaces 27(3):60‐73
9. Burk RC, Deschapelles C, Doty K, Gayek JE, Gurlitz T (2002) Performance analysis in the selection of imagery intelligence satellites. Mil Oper Res 7(2):45‐60
10. Chang T‐J, Yang S‐C, Lin T‐L, Chang K‐J (2010) Heuristics approach for portfolio selection with military investment assets. J Chung Cheng Inst Technol 39(1):97‐112
11. Davis PK, Shaver RD, Beck J (2008) Portfolio‐analysis methods for assessing capability options. RAND National Defense Research Institute, Santa Monica, CA.
12. Department of Defense (DoD) (2006) Risk management guide for DoD acquisition, 6th edn, version 1.0. Defense Acquisition University, Fort Belvoir, VA.
13. Dillon‐Merrill RL, Parnell GS, Buckshaw DL, Hensley WR, Caswell DJ (2008) Avoiding common pitfalls in decision support frameworks for Department of Defense analyses. Mil Oper Res 13(2): 19‐31
14. Ewing PL Jr, Tarantino W, Parnell GS (2006) Use of decision analysis in the Army Base Realignment and Closure (BRAC) 2005 military value analysis. Decis Anal 3:33‐49
15. Geis JP II, Parnell GS, Newton H, Bresnick TA (to appear) Towards blue horizons. Interfaces.
16. Greiner MA, Fowler JW, Shunk DL, Carlyle WM, McNutt RT (2003) A hybrid approach using the Analytic Hierarchy Process and integer programming to screen weapon systems projects. IEEE Trans Eng Manag 50:192‐203.
17. Haertling KP, Deckro RF, Jackson JA (1999) Implementing information warfare in the weapon targeting process. Mil Oper Res 4(1):51‐65
18. Hamill TJ, Deckro RF, Kloeber JM, Kelso TS (2002) Risk management and the value of information in a defense computer system. Mil Oper Res 7(2):61‐82
19. Jackson JA, Parnell GS, Jones BL, Lehmkuhl LJ, Conley H, Andrew J (1997) Air Force 2025 operational analysis. Mil Oper Res 3(4):5‐21
20. Jurk DM, Chambal SP, Thal AM Jr (2004) Using Value‐Focused Thinking to select innovative force protection ideas. Mil Oper Res 9(3):17‐30
21. Keeney RL (1992) Value‐Focused Thinking: a path to creative decisionmaking. Harvard University Press, Cambridge, MA
22. Kirkwood CW (1997) Strategic decision making: multiobjective decision analysis with spreadsheets. Duxbury, Pacific Grove, CA
23. Klimack WK, Kloeber JM Jr (2000) A multi‐attribute preference theory assessment of US Army basic combat training program of instruction. Technical Report 2000‐02, Center for Modeling,Simulation and Analysis, Air Force Institute of Technology, Wright‐Patterson Air Force Base, OH
24. Leinart JA, Deckro RF, Kloeber JM Jr, Jackson JA (2002) A network disruption modeling tool. Mil Oper Res 7(1):69‐77
25. Lindberg, TJ (2008) The critical infrastructure portfolio selection model. Master of Military Art and Science thesis, US Army Command and General Staff College, Fort Leavenworth, KS
26. Meier SR (2009) Causal inferences on the cost overruns and schedule delays of large‐scale US federal defense and intelligence acquisition programs. Proj Manag J 41(1):28‐39.
27. Parnell GS (2007) Value‐Focused Thinking. In: Loerch A, Rainey L (eds) Methods for conducting military operational analysis. Military Operations Research Society, Alexandria, VA
28. Parnell GS, Burk RC, Schulman A, Westphal D, Kwan L, Blackhurst J, Verret P, Karasopoulos H (2004) Air Force Research Laboratory space technology value model: creating capabilities for future customers. Mil Oper Res 9(1):5‐18
29. Parnell GS, Conley HW, Jackson JA, Lehmkuhl LJ, Andrew JM (1998) Foundations 2025: a framework for evaluating future air and space forces. Manag Sci 44:1336‐1350
30. Parnell GS, Bennett GE, Engelbrecht JA, Szafranski R (2002) Improving customer support resource allocation within the National Reconnaissance Office. Interfaces 32(3):77‐90
31. Parnell GS, Gimeno BI, Westphal D, Engelbrecht JA, Szafranski R (2001) Multiple perspective R&D portfolio analysis for the National Reconnaissance Office’s technology enterprise. Mil Oper Res 6(3):19‐34
32. Parnell GS, Jackson JA, Burk RC, Lehmkuhl LJ, Engelbrecht JA Jr (1999) R&D concept decision analysis: using alternate futures for sensitivity analysis. J Multi‐Crit Decis Anal 8:119‐127
33. Parnell, G. S., Driscoll, P. J., and Henderson D. L., Editors, Decision Making for Systems Engineering and Management, 2nd Edition, Wiley Series in Systems Engineering, Andrew P. Sage, Editor, Wiley & Sons Inc., 2011
34. Phillips, L. D., “Chapter 19: Decision Conferencing”, Advances in Decision Analysis – From Foundations to Applications, Edwards, W., Miles, R., and von Winterfeldt, D., Cambridge Press, 2007
35. Rayno B, Parnell GS, Burk RC, Woodruff BW (1997) A methodology to assess the utility of future space systems. J Multi‐Crit Decis Anal 6:344‐54
36. Spetzler, C., “Building decision competency,” Advances in Decision Analysis – From Foundations to Applications, Edwards, W., Miles, r., and von Winterfeldt, D., Cambridge Press, 2007
37. Stafira S Jr, Parnell GS, Moore JT (1997) A method for evaluating military systems in a counterproliferation role. Manag Sci 43:1420‐1430
38. Tedeschi MA (2010) Private communication
39. Trainor TE, Parnell GS, Kwinn B, Brence J, Tollefson E, Downes P (2007) The US Army uses decision analysis in designing its installation regions. Interfaces 37(3):253‐264
40. Walmsley NS, Hearn P (2004) Balance of investment in armoured combat support vehicles: an application of mixed integer programming. J Oper Res Soc 55:403‐412
41. Watson SR, Buede DM (1987) Decision synthesis: the principles and practice of decision analysis. Cambridge University Press, Cambridge, UK
42. Woodaman RFA, Loerch AG, Laskey KB (2010) A decision analytic approach for measuring the value of counter‐IED solutions at the Joint Improvised Explosive Device Defeat Organization. GMU‐AFCEA Symposium: Critical Issues in C4I. Available via Internet.
43. http://c4i.gmu.edu/events/reviews/2010/papers/Woodaman_Valuation_of_Counter‐IED_Solutions.pdf

Appendix: A Recommended Procedure for Portfolio Decision Analysis

Portfolio Decision Analysis Marketing
Key Social Decisions
Key Technical Decisions
Problem Formulation
Definition of Value
Qualitative Value Model Development
Swing Weighting
Modeling of Uncertainty
Project Interactions