学习《计算智能》第一章绪论(最优化问题，计算复杂性及NP理论，计算智能算法)笔记

一、最优化问题

1. 最优化问题就是求解一个可行的甚至是最优的方案的决策问题

求解模型：

其中D是问题的解空间，X()是D中的一个合法解。最优化问题就是在解空间中寻找一个合法的解X（一组最佳的决策变量），使得X对应的映射值f(X)最小（最大）。

2. 最优化问题分为：函数优化问题和组合优化问题

函数优化问题：决策变量均为连续变量的最优化问题
组合优化问题：全部决策变量均离散取值的最优化问题
同时还有一类表现为混合类型问题，即模型的部分决策变量为连续型，部分决策变量为离散型。

2.1函数优化问题

函数优化问题对应的决策变量均为连续变量,如图1.1所示,优化问题f的目标函数值取决于其对应的连续变量x1，x2…,.xn 的取值。

2.1组合优化问题

典型的组合优化问题包括旅行商问题(Traveling Salesman Problem, TSP)和0-1背包问题(Zero/One Knapsack Problem,ZKP/0-1KP/KP)。

• 旅行商问题
  数学化后的求解如下公式：
  
  其中dij表示从城市i到城市j的距离;π(i)表示周游序列中第i个城市的编号,而且有π(n+1)= 兀(1)

• 0-1背包问题
  

• 小结
  对于规模为n且n的值很大的两种问题时，通过枚举法将会分别得到(n-1)!和$2^n$个解可能。因此枚举的方法只适合小规模的组合优化问题，对于大规模问题，我们需要借助智能优化计算方法可以在合理时间得到满意的解。

二、计算复杂性及NP理论

1.计算复杂性

• 计算复杂性：描述问题的难易程度或者算法的执行效率。
• 指数时间复杂性：求解一个问题需要运算的次数或步骤数是问题规模n的指数函数。
• 多项式时间复杂性：所需的运算次数是n的多项式函数。
  对于不存在多项式复杂性的求解算法的问题，习惯称为NP难问题或者NP完全问题。

2.NP理论

NP理论包括：P类问题、NP类问题、NP难问题、NP完全问题。
判定性问题：提出一个问题，只需要回答“是”或者“不是”的问题，任何一般的最优化问题都可以转化为一系列判定性问题。

2.1 P类问题

P类问题是指一类能够用确定性算法在多项式时间内求解的判定问题。其实,在非正式的定义中,可以把那些在多项式时间内求解的问题当做P类问题。

2.2 NP类问题

NP类问题是指一类可以用不确定性多项式算法求解的判定问题。可以理解为虽然无法求出多项式算法的解，但是可以在一个多项式时间内判断一个答案是否为该问题的解。
可以得到的一个结论为：P$\subseteq$NP

2.3 NP完全问题

一个判定问题D是NP完全问题的条件是:
(1)D属于NP类;
(2)NP中的任何问题都能够在多项式时间内转化为D。
另外,在上述定义中,一个满足条件(2)但不满足条件(1)的问题被称为NP难问题。

三、计算智能算法

希望通过模拟大自然和人类的智慧实现对问题的优化求解,在可接受的时间内求解得到可接受的解。这些算法就是智能优化计算方法，也叫计算智能(Computational Intelligence, CI)算法。从关系上说，计算智能属于人工智能( Artificial Intelligence, AI)的一个分支。

该书的重点是介绍联结主义，也就是所谓的智能优化计算方法，或者称为计算智能算法。

3.1计算智能的分类与理论

计算智能算法主要包括神经计算、模糊计算和进化计算三大部分。

以上这些计算智能算法都有一个共同的特征就是通过模仿人类智能的某一个(某一些)方面而达到模拟人类智能,实现将生物智慧、自然界的规律计算机程序化,设计最优化算法的目的。然而计算智能的这些不同研究领域各有其特点,虽然它们具有模仿人类和其他生物智能的共同点,但是在具体方法上存在一些不同点。它们的主要特点如表1. 2所示。

通过数值实验方法和具体应用手段检验计算智能算法的有效性和高效性是研究计算智能算法的重要方法。
从目前的研究来看,计算智能的主要理论基础包括数学基础、生物学基础和群体智能基础等,如表1.3所示。

3.2 计算智能的研究与发展

3.3 计算智能的特征与应用

计算智能方法采用启发式的随机搜索策略，在问题的全局空间中进行搜索寻优，能在可接受的时间内找到全局最优解或者可接受解。计算智能算法的主要特征如表1.5所示。


本章重要知识点到这就结束了。

参考文献

《计算智能》张军 詹志辉等编著