2016年11月_三更灯火五更鸡

转载牛顿法与拟牛顿法学习笔记（五）L-BFGS 算法

机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。目录链接(1) 牛顿法(2) 拟牛顿条件(3

2016-11-18 22:38:23 537

转载牛顿法与拟牛顿法学习笔记（四）BFGS 算法

机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。目录链接(1) 牛顿法(2) 拟牛顿条件(3

2016-11-18 22:37:31 1435

转载牛顿法与拟牛顿法学习笔记（三）DFP 算法

机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。目录链接(1) 牛顿法(2) 拟牛顿条件(3

2016-11-18 22:36:55 493

转载牛顿法与拟牛顿法学习笔记（二）拟牛顿条件

机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。目录链接(1) 牛顿法(2) 拟牛顿条件(3

2016-11-18 22:36:18 484

转载牛顿法与拟牛顿法学习笔记（一）牛顿法

机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。目录链接(1) 牛顿法(2) 拟牛顿条件(3

2016-11-18 22:35:18 519

转载 Wolfe和Armijo准则之Matlab实现

Wolfe准则function [alpha, newxk, fk, newfk] = wolfe(xk, dk)rho = 0.25; sigma = 0.75;alpha = 1; a = 0; b = Inf; while (1) if ~(fun(xk+alpha*dk)'*dk) b = alpha; alpha = (alpha+a)/2;

2016-11-17 16:25:37 10225 2

转载最优化之路

进入算法研发部，在大致了解部门的项目构成，主要职责之后，我意识到最优化算法在各个项目组中都具有重要的作用，例如CTR预估、排序等。然而，由于自己在读博期间除了“逻辑回归”以外，没有系统参与过涉及最优化的项目，因此在还没有分配到具体任务的情况下，首先自发地对最优化算法的发展历程进行了调研。心得体会如下：最优化领域中的方法虽然“多如牛毛”，但是总体上还是沿着一条“主线”发展的。这里按照时间顺序

2016-11-17 11:23:58 640

转载 Cartesian k-means论文理解

1.普通k-means给定n个p维数据点，D≡{Xj}nj=1，普通Kmeans算法将它们分成k个类别，每个类别有个类中心。目标函数是：其中矩阵C的第i列是ci，分成m个类别，那么矩阵就有m列，b∈{0,1}k，且b 的模长为1，即b只有一个分量值为1，其余分量值为0。K-means算法之所以很难，其中一个原因是存在一个assignment过程，需要将数据集中每

2016-11-14 09:58:17 1009

原创 Learning to Hash

Learning to HashPaper, Code and DatasetTable of ContentIntroductionTutorial SlidesData-Independent MethodLearning to Hash Method (Da

2016-11-10 15:19:39 2112

转载 Define a model in Python

Define a model in PythonIt is also possible to define the net model directly in Python, and save it to a prototxt files. Here are the commands :from caffe import layers as Lfrom caffe imp

2016-11-08 23:11:02 463

转载 Deep learning tutorial on Caffe technology : basic commands, Python and C++ code.

UPDATE! : my Fast Image Annotation Tool for Caffe has just been released ! Have a look !Caffe is certainly one of the best frameworks for deep learning, if not the best.Let’s try to put things

2016-11-08 23:10:28 712

转载 caffe python layer

caffe的大多数层是由c++写成的，借助于c++的高效性，网络可以快速训练。但是我们有时候需要自己写点输入层以应对各种不同的数据输入，比如你因为是需要在图像中取块而不想写成LMDB，这时候可以考虑使用python直接写一个层。而且输入层不需要GPU加速，所需写起来也比较容易。python层怎么用先看一个网上的例子吧（来自http://chrischoy.github.io/res

2016-11-08 23:07:24 861

转载 caffe python layer

caffe的大多数层是由c++写成的，借助于c++的高效性，网络可以快速训练。但是我们有时候需要自己写点输入层以应对各种不同的数据输入，比如你因为是需要在图像中取块而不想写成LMDB，这时候可以考虑使用Python直接写一个层。而且输入层不需要GPU加速，所需写起来也比较容易。python层怎么用先看一个网上的例子吧（来自http://chrischoy.github.io/res

2016-11-08 23:03:56 458

转载在Caffe中使用Python Layer

Caffe通过Boost中的Boost.Python模块来支持使用Python定义Layer：使用C++增加新的Layer繁琐、耗时而且很容易出错开发速度与执行速度之间的trade-off编译支持Python Layer的Caffe如果是首次编译，修改Caffe根目录下的Makefile.cinfig，uncomment1W

2016-11-08 23:01:43 10095 2

转载如何在caffe中添加新的Layer

本文分为两部分，先写一个入门的教程，然后再给出自己添加maxout与NIN的layer的方法（一）其实在Github上已经有答案了（https://github.com/BVLC/caffe/issues/684）Here's roughly the process I follow.Add a class declaration for your la

2016-11-08 22:48:39 502

转载 Caffe for Python 官方教程(翻译)

导言本教程中，我们将会利用Caffe官方提供的深度模型——CaffeNet（该模型是基于Krizhevsky等人的模型的）来演示图像识别与分类。我们将分别用CPU和GPU来进行演示，并对比其性能。然后深入探讨该模型的一些其它特征。1、准备工作 1.1 首先，安装Python，numpy以及matplotlib。 #安装Python环境、nump

2016-11-08 11:45:57 906

转载 Caffe源码（一）：math_functions 分析

目录主要函数caffe_cpu_gemm 函数caffe_cpu_gemv 函数caffe_axpy 函数caffe_set 函数caffe_add_scalar 函数caffe_copy 函数caffe_scal 函数caffeine_cup_axpby 函数caffe_add caffe_sub caffe_mul caffe_div 函数caffe_powx caffe_sq

2016-11-07 20:29:48 446

转载 caffe源码解析-/tools/caffe.cpp（caffe程序入口）

见代码及其注释（ps：：个人理解，如有误，欢迎指正）#ifdef WITH_PYTHON_LAYER#include "boost/python.hpp"namespace bp = boost::python;#endif#include #include #include #include #include #include #include "boost/alg

2016-11-07 11:45:00 1183

转载牛人主页（主页有很多论文代码）【真的好强大】

转自：http://blog.sina.com.cn/s/blog_6833a4df01012bcf.html牛人主页（主页有很多论文代码）Serge Belongie at UC San DiegoAntonio Torralba at MITAlexei Ffros at CMUCe Liu at Microsoft Research N

2016-11-07 10:12:45 2687

转载 caffe+VS2013+Windows无GPU快速配置教程

前言首先来一波地址：happynear大神的第三方caffe：http://blog.csdn.net/happynear/article/details/45372231Neil Z大神的第三方caffe：https://initialneil.wordpress.com/2015/01/11/build-caffe-in-windows-with-visual-stud

2016-11-07 10:10:39 557

转载 windows caffe（编译微软自己port的caffe）

在尝试了编译官方的之后，我算是彻底放弃了，安装完依赖后，发现vs有些特性不支持。。。搞到要彻底崩溃，可能是刚接触这玩意，后续如果可以应该还是可以编译出来（以后再给出编译过程，这里只介绍如何编译微软移植的caffe的编译过程）。当然微软自己移植了自己的caffe，所以就不用尝试编译官方的caffe了，编译确实很方便。废话少说直接到官方下载：https://github.c

2016-11-07 10:06:08 303

转载 caffe caffe.cpp 程序入口分析

caffe.cpp 程序入口分析，（1）main()函数中，输入的train，test，device_query，time。通过下面两行进入程序。 if (argc == 2) { return GetBrewFunction(caffe::string(argv[1]))(); （2）GetBrewFunction（）函数定义如下，其返回Br

2016-11-05 16:09:21 465

转载改变Eclipse提示框的墨色背景

改变Eclipse提示框的黑色背景最新版的Eclipse 3.6跟最新版的Ubuntu主题（我现在是用11.04，不知道是从哪个版本开始换了这个主题）相遇的时候，就会出现一点点问题：在编辑框中弹出的自动工具提示（tooltip）背景是纯黑色，结果提示中的文字也是黑色，根本看不清。如下图所示：　　　　变成这样的原因是：Ubuntu的主题中Tooltip的背景是黑色，但是前景色是白色；这

2016-11-04 14:54:27 1904

原创 Makefile 教程

详细的makefile 教程，请参考：http://wiki.ubuntu.org.cn/%E8%B7%9F%E6%88%91%E4%B8%80%E8%B5%B7%E5%86%99Makefile

2016-11-04 00:00:25 396

转载 linux下使用rdesktop连接远程windows

1。通过rdesktop工具连接Windows远程桌面没有安装用命令：sudo apt-get install rdesktop安装后，可以用如下命令：rdesktop -f -a 16 -u administrator -p passwrod feelamcheung 192.168.0.2:8080 -u 和 -p: 指定用户名和密码

2016-11-03 22:25:50 946

转载（Caffe，LeNet）IDE单步调试（一）

本文地址：http://blog.csdn.net/mounty_fsc/article/details/510898641 运行范例脚本train_lenet.shUbuntu下终端行执行train_lenet.sh可训练lenet-5（详细情况参考其他教程），能直观地看到lenet训练起来带情况。 train_lenet.sh中内容为：./build/too

2016-11-03 21:27:41 551

转载 caffe调试 ubuntu1404+eclipse

首先确保你caffe编译成功，而且makefile.config中将DEBUG：=1那一行取消注释，我的caffe根目录为 caffe-master。你也可以在Eclipse中编译caffe，我是先编译好caffe，然后进入Eclipse中调试1、eclipse 下载网址http://www.eclipse.org/downloads/下载eclipse IDE for

2016-11-03 21:26:54 415

转载一步步将vim改造成C/C++开发环境(IDE)

转载请注明出处lingdxuyan.blog.chinaunix.net 一步步将vim改造成C/C++开发环境(IDE)原文地址http://blog168.chinaunix.net/space.php?uid=23089249&do=blog&id=2855999【参考资料】吴垠的“手把手教你把Vim改装成一个IDE编程环境”在Fedora下成功将Vim打造成适用于C

2016-11-03 16:59:43 463

转载如何在caffe中增加layer以及caffe中triplet loss layer的实现

关于triplet loss的原理，目标函数和梯度推导在上一篇博客中已经讲过了，具体见：triplet loss原理以及梯度推导，这篇博文主要是讲caffe下实现triplet loss，编程菜鸟，如果有写的不优化的地方，欢迎指出。1.如何在caffe中增加新的layer新版的caffe中增加新的layer，变得轻松多了，概括说来，分四步：1）在./src/caffe/prot

2016-11-03 15:25:27 446 1

转载 triplet loss 原理以及梯度推导

【前言】最近，learning to rank 的思想逐渐被应用到很多领域，比如google用来做人脸识别（faceNet），微软Jingdong Wang 用来做 person-reid 等等。learning to rank中其中重要的一个步骤就是找到一个好的similarity function，而triplet loss是用的非常广泛的一种。【理解triplet】如上图所

2016-11-03 15:24:24 2314

转载 linux查找目录下的所有文件中是否含有某个字符串

查找目录下的所有文件中是否含有某个字符串 find .|xargs grep -ri "IBM" 查找目录下的所有文件中是否含有某个字符串,并且只打印出文件名 find .|xargs grep -ri "IBM" -l 1.正则表达式（1）正则表达式一般用来描述文本模式的特殊用法，由普通字符（例如字符a-z）以及特殊字符（称为元字符，如/、*、?等）组成。（

2016-11-03 14:53:59 364

转载【面向代码】学习 Deep Learning（一）Neural Network

==========================================================================================最近一直在看Deep Learning，各类博客、论文看得不少但是说实话，这样做有些疏于实现，一来呢自己的电脑也不是很好，二来呢我目前也没能力自己去写一个toolbox只是跟着Andrew Ng的

2016-11-03 10:08:57 328

转载 Deep learning：四十一(Dropout简单理解)

前言　　训练神经网络模型时，如果训练样本较少，为了防止模型过拟合，Dropout可以作为一种trikc供选择。Dropout是hintion最近2年提出的，源于其文章Improving neural networks by preventing co-adaptation of feature detectors.中文大意为：通过阻止特征检测器的共同作用来提高神经网络的性能。本篇博文就是按

2016-11-03 10:03:57 498

转载如何在caffe中自定义网络层

如何在caffe中自定义网络层尽管Caffe已经为用户提供了相当多的可用的层，但是面对各种各样的深度学习应用，这些层是远远不够的，为此，我们可能需要定义自己的层来达到特定的功能。一般情况下，如果仅仅需要对某个层进行少量的修改，可以直接修改源码中对应的层，然后重新编译。这种方法好处就是不需要去建立新的文件，也不需要修改proto等，但是坏处也很明显，你无法再使用原来的这个层，如果你确

2016-11-02 21:46:32 543

转载如何使用Google日志库 (glog)

如何使用Google日志库 (glog)http://google-glog.googlecode.com/svn/trunk/doc/glog.html介绍Google glog是一个应用层的库. 它提供基于C++风格的流和多种宏接口.例如: #include int main(int argc, char* argv[]) { // Initiali

2016-11-02 20:32:11 1360

转载 Google gflags使用说明

gflags是什么：gflags是google的一个开源的处理命令行参数的库，使用c++开发，具备python接口，可以替代getopt。gflags使用起来比getopt方便，但是不支持参数的简写（例如getopt支持--list缩写成-l，gflags不支持）。如何安装使用gflags：安装：请访问地址https://code.google.com/p/gflags/，下载

2016-11-02 20:29:35 395

转载大端与小端存储模式详解

端模式（Endian）的这个词出自JonathanSwift书写的《格列佛游记》。这本书根据将鸡蛋敲开的方法不同将所有的人分为两类，从圆头开始将鸡蛋敲开的人被归为Big Endian，从尖头开始将鸡蛋敲开的人被归为Littile Endian（这句话最为形象）。小人国的内战就源于吃鸡蛋时是究竟从大头（Big-Endian）敲开还是从小头（Little-Endian）敲开。在计算机业Big

2016-11-02 20:28:48 531

转载低秩矩阵在机器视觉中的理解--Low-Rank representations

阅读论文Learning Structured Low-rank Representations for Image Classification文章主要有两个创新点1.在普通的低秩表示外另外加了对低秩表示的系数需要稀疏，这个的物理意义就是使得得出的低秩表示矩阵更有有分类性，更加表征它属于哪一类。2。加入了一个低秩的约束，先给出了一个理想化的低秩表示的形式，再使得我们求解的低秩表示接近

2016-11-02 16:02:54 1841

转载 "error while loading shared libraries: xxx.so.x" 错误的原因和解决办法

一般我们在Linux下执行某些外部程序的时候可能会提示找不到共享库的错误, 比如:tmux: error while loading shared libraries: libevent-1.4.so.2: cannot open shared object file: No such file or directory原因一般有两个, 一个是操作系统里确实没有包含该共

2016-11-02 14:48:50 606

转载 linux查找目录下的所有文件中是否含有某个字符串

查找目录下的所有文件中是否含有某个字符串 find .|xargs grep -ri "IBM" 查找目录下的所有文件中是否含有某个字符串,并且只打印出文件名 find .|xargs grep -ri "IBM" -l 1.正则表达式（1）正则表达式一般用来描述文本模式的特殊用法，由普通字符（例如字符a-z）以及特殊字符（称为元字符，如/、*、?等）组成。（

2016-11-02 14:44:08 352

中国科学院大数据机器学习课程作业

Multithreaded Ray Tracing from the Ground Up Skeleton Framework by Daniel Rosser

图形学光线追踪

中科院Matlab课件

facebook Faiss

Fast Exact Search in Hamming Space with Multi-Index Hashing

k-means hashing

hashing-baseline-for-image-retrieval-master

tensorflow学习书籍

Visual Assist X 10.8.2007.0（支持2013RTM） 完美破解版.zip

Windows下yael kmea的matlab和c代码，c代码可以mex在matlab中使用

product quantization IVFADC算法在Windows下的实现

product quantization ADC算法在Windows下的实现

product quantization SDC算法在Windows下的实现

空空如也

Visual Assist X 10.8.2007.0（支持2013RTM）完美破解版.zip