algorithm
文章平均质量分 90
JayShaun
惟江上之清风。
展开
-
详细介绍ADMM交替方向乘子法
交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)是一种求解具有可分离性的凸优化问题的计算框架, 由于其是对偶分解法和增广拉格朗日乘子法的结合,使该算法有分解性的同时保证了良好的收敛性,处理速度快。...原创 2022-06-28 16:40:31 · 12542 阅读 · 6 评论 -
numpy实现逻辑回归以及梯度下降优化算法
这里写自定义目录标题逻辑回归及其损失梯度下降训练数据:逻辑回归及其损失为什么采用交叉熵损失也就是二项分布参数化的极大似然估计: 参考博文梯度下降参考: 神经网络优化算法及代码实现——从SGD、Momentum、AdaGrad、RMSProp到Adam训练数据:实现过程:'''A classification task with logistic regression:loss ...原创 2019-08-25 00:01:23 · 1269 阅读 · 0 评论 -
两个角度解释为什么逻辑回归(sigmoid, softmax)分类的损失函数用交叉熵而不用最小二乘
H从梯度消失角度讲从分类和回归任务的区别讲从梯度消失角度讲sigmoid:σ(z)=11+e−zsigmoid: \sigma(z) = \frac{1}{1+e^{-z}}sigmoid:σ(z)=1+e−z1如图所示,sigmiod函数在z值很大或很小的时候几乎不变,也就是梯度接近零,如果用最小二乘不会解决这个梯度消失问题,故不选择最小二乘损失。那为什么交叉熵损失却可以呢?因为-l...原创 2019-07-04 16:15:42 · 6553 阅读 · 0 评论 -
神经网络优化算法及代码实现——从SGD、Momentum、AdaGrad、RMSProp到Adam
文章目录梯度下降(Gradient Descent )带动量的梯度下降(Gradient Descent + Momentum)Nesterov MomentumAdaGradRMSPropAdam梯度下降(Gradient Descent )x:=x−α⋅dxx := x-\alpha \cdot {\rm{d}}xx:=x−α⋅dx其中α\alphaα为学习率。代码如下:while ...原创 2019-05-31 21:21:30 · 2375 阅读 · 0 评论 -
典型相关分析(Canonical Correlation Analysis,CCA)
1.从概率论中相关系数推广而来 在概率论中,研究两个变量之间的线性相关情况时,提出了 相关系数 这个概念。做一下推广,如果研究一个变量和多个随机变量之间的线性相关关系时,提出了 全相关系数(或者复相关系数)的概念。然后,在1936年,有个叫做hotelling的数学家,又进一步做了推广,研究 多个随机变量和多个随机变量之间的线性相关关系,提出了 经典相关...原创 2019-04-13 16:58:39 · 23141 阅读 · 0 评论 -
矩阵范数推导
参考自:1999年08月清华大学出版社出版的施妙根的《科学和工程计算基础》。原创 2019-03-21 11:34:15 · 16637 阅读 · 5 评论 -
向量范数
矩阵范数参考:矩阵范数向量范数的定义:具有“长度”概念的函数,是向量空间到实数的映射:Rn→RR^n\to RRn→R ,并满足一下三个性质:1)正定性:∣∣x∣∣≥0,∣∣x∣∣=0iffx=0||x||\ge 0,\quad ||x||=0 \quad iff\quad x=0∣∣x∣∣≥0,∣∣x∣∣=0iffx=0 ;2)齐次性:∣∣cx∣∣=∣c∣∣∣x∣∣||cx||=|c||...原创 2019-03-20 15:15:55 · 5062 阅读 · 0 评论 -
K-means一族聚类算法
outline无监督算法简介无监督算法简介如上图所示,众所周知,机器学习分为有监督、无监督和强化学习三大块,其中聚类和降维都属于无监督学习。其实如果仔细想一下,聚类也可以某些时候也可以用来降维。常用的聚类算法有:K-means、Mean shift、DBSCAN、GMM、Hierarchical clustering等。下面将详细介绍K-means算法。...原创 2019-02-27 21:43:26 · 798 阅读 · 0 评论 -
k互近邻
定义N(p,k)N\left( {{\mathop{\rm p}\nolimits} {\rm{, k}}} \right)N(p,k) 为ppp的kkk近邻(即与目标最接近的前kkk个样本):N(p,k)={g10,g20,⋯,gk0},∣N(p,k)∣=kN\left( {{\mathop{\rm p}\nolimits} {\rm{, k}}} \right){\rm{ = }}\left...原创 2018-12-19 20:15:45 · 900 阅读 · 0 评论 -
行列式、奇异矩阵、矩阵范数、条件数、AdaGrad
循序渐进行列式:det(A)det(A)det(A)n阶矩阵(方阵)AAA的行列式是一个标量,如何计算就不啰嗦了.1、物理意义An×nA^{n\times n}An×n表示一个n维空间到n维空间的线性变换: f:Rn→Rnf:R^n\to R^nf:Rn→Rn, 是一个压缩或拉伸, 即scale操作。而{det(A)det(A)det(A)就是这个缩放尺寸。(1) 假想原来空间中有一个n...原创 2018-11-27 22:38:47 · 9269 阅读 · 1 评论 -
C++&算法导论之一:插入排序 insert sort
#include <iostream>#include <stdlib.h>using namespace std;void insertSort(int arr[], int len){ //int len = sizeof(arr)/sizeof(arr[0]);//不能在函数中获取传出数组的长度 if (len<=0) return; fo...原创 2018-07-05 09:41:22 · 166 阅读 · 0 评论 -
C++&算法导论之一:归并排序merge sort
#include<iostream>#include<limits.h>//#include"myfunc.h"using namespace std;//归并过程void merge(int Arr[], int p, int q, int r)//p,p,r代表下标{ if (r<=p) return; int len_L = q-p+1+...原创 2018-07-08 16:12:20 · 1350 阅读 · 0 评论