manjhOK的博客

转载 机器学习算法___3___拉格朗日乘子法及KKT条件,对偶问题

1.约束优化方法之拉格朗日乘子法及KKT条件2.拉格朗日对偶问题

原创 机器学习算法__2__人工神经网络及BP逆向传播算法参数更新公式纯手推导

原创 python中数组和矩阵乘法及使用总结

Matrix是Array的一个小的分支，包含于Array。所以matrix 拥有array的所有特性。但在数组乘和矩阵乘时,两者各有不同,如果a和b是两个matrices，那么a*b，就是矩阵积如果a,b是数组的话,则a*b是数组的运算1.对数组的操作>>> import numpy as np>>> a=np.array([[1,2,3],[4,5,6],[7...

原创 python数组的转置,求逆,求行列式值,求它的迹 总结

>>> import numpy as np>>> a=np.array([[1,2,3],[4,5,6],[7,8,9]])>>> aarray([[1, 2, 3], [4, 5, 6], [7, 8, 9]])>>> #a数组的转置直接使用.transpose()函数即可>&g

原创 机器学习算法__1__牛顿法,拟牛顿法,DFP,BFGS,L-BFGS 原理及代码详解(4)

此上最后部分LBFGS算法的展开式有疑议正确参考如下图所示:补充几点：######################## 拟牛顿_L-BFGS算法#######################'''拟牛顿法(如BFGS算法)需要计算和存储海森矩阵，其空间复杂度是n2，当n很大时，其需要的内存量是非常大的。为了解决该内存问题，有限内存BFGS（即传说中的L-BFGS算法）横空出世。H0 是由...

原创 机器学习算法__1__牛顿法,拟牛顿法,DFP,BFGS,L-BFGS 原理及代码详解(3)

######################## 拟牛顿_BFGS算法########################算法描述:'''BFGS算法与DFP步骤基本相同，区别在于更新公式的差异'''def bfgs(fun,gfun,hess,x0): #功能：用BFGS族算法求解无约束问题：min fun(x) #输入：x0是初始点，fun,gfun分别是目标函数和梯度...

原创 机器学习算法__1__牛顿法,拟牛顿法,DFP,BFGS,L-BFGS 原理及代码详解(2)

牛顿法的优点是具有二阶收敛速度，缺点是：但当海森矩阵G(xk)=∇2f(x)G(xk)=∇2f(x) 不正定时，不能保证所产生的方向是目标函数在xkxk处的下降方向。特别地，当G(xk)G(xk)奇异时，算法就无法继续进行下去。尽管修正牛顿法可以克服这一缺陷，但修正参数的取值很难把握，过大或过小都会影响到收敛速度。牛顿法的每一步迭代都需要目标函数的海森矩阵G(xk)G(xk)，对于大规模问题其计算...

原创 机器学习算法__1__牛顿法,拟牛顿法,DFP,BFGS,L-BFGS 原理及代码详解(1)

一.牛顿法Taylor公式 – Maclaurin公式:1.求根问题:牛顿法的最初提出是用来求解方程的根的。我们假设点x∗为函数f(x)的根，那么有f(x∗)=0。现在我们把函数f(x)在点xk处一阶泰勒展开有：           那么假设点xk+1为该方程的根，则有            那么就可以得到                这样我们就得到了一个递归方程，我们可以通过迭代的方式不断的让...

原创 python基础编程_34_ 数制转换的递归 ,贪婪算法找零钱

def exchange(num,base): if num==0: return '' else:#修改return的前后顺序,结果也随之改变,正序和逆序 return exchange(int(num/base),base)+str(num%base) #递归的方式数制转换num=121base=2bitnum=exchange(n...

原创 python基础编程_33_eval函数的使用

eval　　功能：将字符串str当成有效的表达式来求值并返回计算结果。　　语法： eval(source[, globals[, locals]]) -> value　　参数：　　　　source：一个Python表达式或函数compile()返回的代码对象　　　　globals：可选。必须是dictionary　　　　locals：可选。任意map对象　　实例展示：num=...

原创 python基础编程_32_插入排序,冒泡排序,选择排序

1.插入排序流程图:#插入排序#从第二个数开始比较,把它的值保存为value#while循环从i-1的位置开始逐步递减和value比较,#在找到第一个小于value的值时,将该位置的后一个位置的值赋值为value#在赋值之前,所有位置依次后移一位mylist=[5,2,4,6,1,3]for i in range(1,len(mylist)): value=mylist[i]...