sopt:一个简单的python最优化库

                                 sopt:一个简单的python最优化库

引言

    最近有些朋友总来问我有关遗传算法的东西，我是在大学搞数学建模的时候接触过一些最优化和进化算法方面的东西，以前也写过几篇博客记录过,比如遗传算法的C语言实现(一):以非线性函数求极值为例和C语言实现粒子群算法(PSO)一等，如果对原理有兴趣的话可以去我的博客具体查看:Lyrichu's Blog。所以突发奇想，干脆把以前写的一些进化算法比如遗传算法(GA),粒子群算法(PSO),模拟退火算法(SA)以及最近看的基于梯度的一些优化算法比如Gradient Descent,SGD,Momentum等整理一下，写成一个python库，方便那些有需要的朋友使用。断断续续花了几天的时间，初步完成了一些基本功能，这里简单介绍一下。

sopt 简介

     sopt是simple optimization的简称，目前我已经将代码托管到pypi,地址是 sopt,可以直接通过pip命令下载安装使用,由于项目只依赖numpy,所以在windows和linux环境下安装都很方便，直接 pip install sopt即可。项目的github地址是 sopt。目前sopt包含的优化方法如下:

• 遗传算法(Genetic Algorithm,GA)
• 粒子群算法(Particle Swarm Optimization,PSO)
• 模拟退火算法(Simulated Anealing,SA)
• 随机游走算法(Random Walk):
• 梯度下降法(Gradient Descent,GD)
• 动量优化算法(Momentum)
• 自适应梯度算法(AdaGrad)
• RMSProp

• Adam
  由于只是一个初步的版本，后续如果有时间的话，会加上更多的优化算法进去。目前所有的优化算法暂时只支持连续实函数的优化;除了基于梯度的几个优化算法,GA、PSO、SA以及Random Walk都同时支持无约束优化，线性约束优化以及非线性约束优化。具体我会在下面详细说明。
  

  sopt 使用详解以及实例演示

  
  

  1.SGA 使用

  
      SGA是Simple Genetic Algorithm的简称，是最基本的遗传算法。其编码方式采用二进制编码,选择方法采用轮盘赌法,交叉方法采用单点交叉,变异方式采用均匀变异,默认是求函数的最小值。下面是sopt中SGA的一个简单使用实例:

  from sopt.SGA import SGA
  from math import sin
  def func1(x):
  return (x[0]-1)**2 + (sin(x[1])-0.5)**4 + 2
  if __name__ == '__main__':
  sga = SGA.SGA(func = func1,func_type = 'min',variables_num = 2,
      lower_bound = 0,upper_bound = 2,generations = 20,
      binary_code_length = 10)
  # run SGA
  sga.run()
  # show the SGA optimization result in figure
  sga.save_plot()
  # print the result
  sga.show_result()

  运行结果如下:

  -------------------- SGA config is: --------------------
  lower_bound:[0, 0]
  generations:20
  cross_rate:0.7
  variables_num:2
  mutation_rate:0.1
  func_type:min
  upper_bound:[2, 2]
  population_size:100
  func:<function func1 at 0x7f3d2311b158>
  binary_code_length:10
  -------------------- SGA caculation result is: --------------------
  global best generation index/total generations:3/20
  global best point:[1.00488759 0.45356794]
  global best target:2.00003849823336

  用图像展示为图1所示:
  
  图1 SGA 运行结果
  上面定义的目标函数为f(x1,x2)=(x1−1)2+(sin(x2)−0.5)4+2,其复杂约束函数应该这样定义:

  def func1(x):
  x1 = x[0]
  x2 = x[1]
  return x1**2 + x2**2 - 3

• complex_constraints_method:复杂约束求解的方法,默认是penalty即惩罚函数法，暂时不支持其他的求解方式;

• complex_constraints_C:采用penalty求解复杂约束的系数