葫芦与瓢的博客

横看成岭侧成峰 远近高低各不同

在线编译C++程序、java api、python

arxiv文章查询: https://arxiv.org/find 中文数学网站: https://zh.numberempire.com/ 英文数学网站: 算法可视化: https://algorithm-visualizer.org/ http://www.3blue...

2016-06-13 16:09:24

阅读数 2470

评论数 0

对keras训练过程中loss,val_loss,以及accuracy,val_accuracy的可视化

hist = model.fit_generator(generator=data_generator_reg(X=x_train, Y=[y_train_a,y_train_g], batch_size=batch_size), ...

2019-04-18 17:09:15

阅读数 659

评论数 0

价值网络和策略网络的简单融合

最近alphazero都已经出来了,貌似比alphago zero更厉害,在alphazero和alphago zero中使用了比较新的策略,将价值网络和策略网络进行了融合,即同一个网络,产生两个不同的输出,让两个网络的权重进行共享,同时进行更新,为了加深理解,在最简单的游戏cartpole上进行...

2017-12-07 15:27:05

阅读数 2967

评论数 0

Deep Q Learning 笔记

alphago 基础之DQN Q learning: 1 主要用在解是离散时 2 主要是利用值函数,即,直接由值函数来推策略 3 其核心在于bellman方程和代价函数 bellman的核心在于使用reward的时候要考虑到将来的情况,而不是只考虑现在的情况,否则的话,只考虑到当前的re...

2017-11-29 10:46:00

阅读数 545

评论数 0

Policy Gradient笔记

policy_gradient,主要包括两个网络: 价值网络和策略网络: 价值网络,主要用于评估基于当前状态下能够得到的最大reward(或者叫胜率),该最大reward包括该状态下的reward,以及后面几步的reward,只是后面几步的reward的权重系数更小 策略网络:主要用于评估在...

2017-11-28 16:08:26

阅读数 778

评论数 0

拉格朗日乘子法及KKT条件

拉格朗日乘子的引入: 1 对于求极值和有等式约束的优化问题,例如: 假设有自变量x和y,给定约束条件g(x,y)=c,要求f(x,y)在约束g下的极值。我们可以画出f的等高线图,如下图。此时,约束g=c由于只有一个自由度,因此也是图中的一条曲线(红色曲线所示)。显然地,当约束曲线g=c与某一条...

2017-10-25 17:53:28

阅读数 752

评论数 0

核稀疏表示公式推导

本文是对文章kernel sparse representation with local patterns for face recognition中2.2节公式的推导 在优化求解中,很多人可能都会见过这个公式: 而根据正则项的不同,l1正则项,l2正则项,可以进行细分: http...

2017-10-20 09:29:55

阅读数 934

评论数 0

梯度下降法,牛顿法,坐标下降法

自己简单整理了梯度下降法,牛顿法,坐标下降法的理论,为了自己以后查看方便,时间有限,因此格式还有待改进! 梯度下降法 梯度下降法化算法是常见的优梯度,现在一般使用效果应该不怎么好,但是却是非常基础的理论 在微积分里面,对多元函数的参数求∂偏导数,把求得的各个参数的偏导数以向量的形式写出来,就...

2017-10-19 10:56:49

阅读数 2661

评论数 0

牛顿法与拟牛顿法学习笔记(一)牛顿法

机器学习算法中经常碰到非线性优化问题,如 Sparse Filtering 算法,其主要工作在于求解一个非线性极小化问题。在具体实现中,大多调用的是成熟的软件包做支撑,其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理,这几天做了一些调研,现把学习过程中理解的一些东西整理出来。 ...

2017-10-19 10:33:31

阅读数 311

评论数 0

SVD在稀疏表示中的应用

SVD:singular value decomposition奇异值分解在认识SVD之前,先来学习两个相关的概念:正交矩阵和酉矩阵。如果,则n阶实矩阵A称为正交矩阵。而酉矩阵是正交矩阵往复数域上的推广。 判断正交矩阵和酉矩阵的充分必要条件是:。或者说正交矩阵和酉矩阵的共轭转置和它的逆矩阵相等。...

2017-10-18 16:00:50

阅读数 1429

评论数 0

稀疏编码中的正交匹配追踪(OMP)与代码

最近在看有关匹配追踪与相关优化的文章,发现了这篇http://blog.csdn.net/scucj/article/details/7467955,感觉作者写得很不错,这里也再写写自己的理解。文中有Matlab的代码,为了方便以后的使用,我顺便写了一个C++版本的,方便与OpenCV配合。 ...

2017-09-30 17:28:39

阅读数 545

评论数 0

Training Neural Networks with Very Little Data -- A Draft径向变换

最近有一篇针对数据增强的文章比较有意思:这里只讲一下核心的代码实现以及实现细节,原文可以自行查阅: Training Neural Networks with Very Little Data – A Draft 文章的大概意思就是通过某种变换,将笛卡尔坐标系的图像通过坐标变换,变换成极坐标系...

2017-09-18 12:10:02

阅读数 1195

评论数 6

文章Super-Convergence记录

Super-Convergence: Very Fast Training of Residual Networks Using Large Learning Rates 在这篇文章中,作者针对现在训练较慢,超参数学习率比较难找,给出了自己的解决方案,周期学习率: 将学习率设置一个最大值,和最...

2017-08-31 11:26:02

阅读数 633

评论数 0

Joint Cascade Face Detection and Alignment流程

论文Joint Cascade Face Detection and Alignment记录前言 现在人脸检测用深度学习甩传统方法一大截,但是记录下这篇文章,主要是看看思想(看文章时间较短,只有一天,有些地方可能有误): 这篇文章,使用级联树,将分类与回归都完成,使用的是局部二值特征,loca...

2017-08-24 17:40:07

阅读数 1232

评论数 0

最陌生的老朋友Softmax Loss

Softmax Loss Max Margin

2017-08-11 17:12:43

阅读数 6732

评论数 0

SVM公式推导

时间有限,markdown编辑公式不熟悉,全当是自己理理svm的公式了 支持向量机 SVM出发点: 1 对于二维平面,给定平面上的任何一个直线: 直线1 (1)对于平面上的任何一点,与直线的关系为:要么在直线上,要么在直线外,在直线上就是y(x)= 0 对于不在直线上...

2017-08-08 15:59:05

阅读数 675

评论数 0

softmaxwithloss入门及88.3365解决之道

softmax with loss: softmax从名字上看就是软最大,其做法其实很简单: 前提:最后输出向量长度为N,与要区分的类别个数一致 1 第一步,取向量的最大值,将每个值减去最大值,这样就会将所有的数都变成非正数 2 求softmax: 3 经过第二步就会将向量变成全部小于1,...

2017-08-03 15:06:15

阅读数 1059

评论数 0

python脚本生成caffe train_list.txt

首先给出代码: import os path = "/home/data//" path_exp = os.path.expanduser(path) classes = [int(p) for p in os.listdir(path_exp)] class...

2017-07-10 17:56:49

阅读数 1643

评论数 0

caffe 下一些参数的设置

weight_decay,lr_mult,decay_mult,use_global_stats

2017-07-05 16:25:27

阅读数 3918

评论数 0

caffe常见优化器使用参数

caffe中solver不同优化器的一些使用方法(只记录一些常用的) 下面是一些公用的参数 测试时需要前向传播的次数,比如你有1000个数据,批处理大小为10,那么这个值就应该是100,这样才能够将所有的数据覆盖 test_iter: 100 每多少次迭代进行一次测试. test_inte...

2017-07-05 16:04:03

阅读数 2268

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭