- 博客(45)
- 收藏
- 关注
RSS订阅转载 [Math] 常见的几种最优化方法
转载链接：http://www.cnblogs.com/maybe2030/p/4751804.html阅读目录 具体步骤： 我们每个人都会在我们的生活或者工作中遇到各种各样的最优化问题，比如每个企业和个人都要考虑的一个问题“在一定成本下，如何使利润最大化”等。最优化方法是一种数学方法，它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些)指标达到最优的一些学科的总称。随...
2019-04-29 15:28:29
357
转载 CVPR 2018：十大最酷论文
转载链接：https://zhuanlan.zhihu.com/p/39049009 Training Deep Networks with Synthetic Data: Bridging the Reality Gap by Domain Randomization这篇论文来自英伟达，核心思想是用合成数据训练卷积神经网络（CNNs）。研究人员为Unreal Engine 4创造了一...
2019-01-29 14:08:32
501
转载 计算机视觉常见领域问题概要（深度学习）
转载地址：https://zhuanlan.zhihu.com/p/32237866 首先，当前CV领域主要包括两个大的方向，”低层次的感知” 和 “高层次的认知”。主要的应用领域：视频监控、人脸识别、医学图像分析、自动驾驶、 机器人、AR、VR。主要的技术：分类、目标检测（识别)、分割、目标追踪、边缘检测、姿势评估、理解CNN、超分辨率重建、序列学习、特征检测与匹配、图像标定，视...
2019-01-29 13:36:55
2004
原创 小白搞 python 虚拟环境搭建
啥啥也不是很懂的小白在大神的知道下装好了环境，凡事不要怕，马上开始做，也不会很难的！ windows下搭建虚拟环境 命令: virtualenv 虚拟环境文件目录名 eg: virtualenv [name] Ps：先进入virtualenv 所在的文件夹，利用上面命令建好 进入虚拟环境：virtualenv\...
2018-10-30 10:22:09
300
原创 Mac 自带中文输入法提示框找回攻略
很奇怪，用着用着输入法提示框就消失了... 解决办法如下：1.进入Mac的Launchpad找到“其他”文件夹2.打开活动监视器3.找到简体中文输入法4.双击，强制退出 ...
2018-10-11 10:10:09
1210
原创 李宏毅机器学习笔记
2018.10.09开始看李宏毅的机器学习课，把重要的笔记记下来 各种模型之间的关系 10月10日 为什么要使用Regulation 正则项目的：使目标函数尽可能的平滑，尽量使Wi小一点 Wi小的比较好（因为输入值有很大变化，对输出的影响相对没有那么大） λ越大，函数越平滑...
2018-10-09 09:10:06
332
原创 Latex 常用语句
因为论文只能用Latex格式写，所以记一些简单的语法以防忘记，感觉用Latex写论文真实麻烦，改起来会不会看的眼睛都花了。。。一级标题：\section{一级标题}二级标题：\subsection{二级标题}加粗命令： \textbf{文本}换行：\\下一段：\par...
2018-05-03 17:42:15
5548
转载 Tucker 分解
张量分解-Tucker分解 2016.06.19Tucker分解Tucker的1966年文章中第一次提到了Tucker分解。一个三阶张量的Tucker分解的图示如下图所示。对于一个三阶张量∈ℝI×J×KXRIJK, 由Tucker分解可以得到A∈ℝI×PARIP,B∈ℝJ×QBRJQ,C∈ℝK×RCRKR三个因子矩阵和一个核张量 ∈ℝP×Q×RGRPQR,每个mode上
2018-01-27 17:10:20
22094
1
转载 张量分解总览
一般一维数组，我们称之为向量（vector）,二维数组，我们称之为矩阵（matrix）;三维数组以及多位数组，我们称之为张量（tensor）。 在介绍张量分解前，我们先看看矩阵分解相关知识概念。一、基本概念矩阵补全（Matrix Completion）目的是为了估计矩阵中缺失的部分（不可观察的部分），可以看做是用矩阵X近似矩阵M，然后用X中的元素作为矩阵M
2018-01-27 17:10:10
2407
原创 Batch Normalization
每个batch中的元素单位大小相同，有点像归一化优点：because of less covariate shift, learning rate可以设大一点less vanishing gradient problemsless sensitive to initialization
2018-01-25 14:56:03
194
原创 ［论文笔记］ Learning to Read Chest X-Rays Recurrent Neural Cascade Model for Automated Image Annotation
2016 CVPR可借鉴部分：处理uneven分类问题：1. Batch－normalization2. data-dropout 去掉一部分无病样本的数据这片文章主要还是讲如何对chest X-ray 自动标注，使用 CNN训练出来的特征初始化RNN，描述疾病信息以下内容为转载总结这是篇文章属于“老方法+新问题”，其实也不算新问题，只不过用在医学图像里很少，我对医学图像处理并不太
2018-01-24 15:40:15
480
转载 Caffe 入门（训练mnist）
使用caffe训练模型只需要以下几个步骤：（1）准备好数据；（2）写好模型配置文件；（3）写好优化配置文件；（4）命令行执行；这样就可以得到训练的模型.caffemodel文件了1.caffe的下载与安装：（1）下载（2）安装（3）caffe的下载与安装以及一些基本的介绍官网已经描述地比较详细，这里不再重复；
2018-01-17 14:24:00
2406
转载 A Powerful Generative Model Using Random Weights for the Deep Image Representation笔记
论文确认了这些网络的局部极小值是不同的：实验表明，不同的最优化方法会找到不同的极小值，即使在训练过程中非常靠后的阶段，从一种方法切换至另一种方法，也同样如此。此外，我们发现，不同最优化方法找到的极小值具有不同的形状，但这些极小值在最重要的度量——泛化精度上是相似的。这表明，你对学习算法的选择“操纵”着算法如何得出最终结果。随机性是无所不在的，无论你如何规范自己的网络或者使用何种SGD变种算
2017-11-16 17:46:49
379
转载 （2017 ICLR）OPTIMIZATION AS A MODEL FOR FEW-SHOT LEARNING笔记
论文训练了一个长短期记忆网络（LSTM）你可以训练一个神经网络，让它学会如何学习（即元学习）。具体来说，已经有一些研究团队训练出了能够执行随机梯度下降（SGD）的神经网络。不仅这些研究团队可以证明他们的神经网络能够学习SGD，而且这种网络的效果比任何人工调试的方法都要好。与《Deep Reinforcement Learning for Accelerating the Converg
2017-11-16 17:42:33
2673
转载 Understanding Deep Learning required Rethinking Generalization 笔记
以下是他们论文中的一部分发现：1.神经网络的有效容量是足够大的，甚至足够使用暴力记忆的方式记录整个数据集。2.即便使用随机标签，进行优化仍然是很容易的。实际上，与使用真实标签进行训练相比，随机标签的训练时间仅仅增长了一个小的常数因子。3.标签随机化仅仅是一种数据转换，学习问题的其他性质仍保持不变。那个令人震惊的真相显现出来了。深度学习网络仅仅是大规模的关联记忆存储。深度学习网络即使
2017-11-16 17:36:15
369
转载 （2017 ICML）Learning to learn without gradient descent by gradient descent笔记
无需梯度下降的梯度下降，学会一个会学习的模型论文作者：Yutian Chen, Matthew Hoffman, Sergio Gomez, Misha Denil, Timothy Lillicrap, Matthew Botvinick , Nando de Freitas（全部都是 DeepMind 英国团队成员）论文简介：借助梯度下降的方法，可以用简单的生成函数训练
2017-11-16 16:28:33
1272
转载 （2017ICML Bestpaper）Understanding Black-box Predictions via Influence Functions 笔记
我们先讨论了模型是如何做出预测的。我们知道模型是通过训练数据得到的，我们将其写成公式，然后就知道改变训练数据以后模型会如何变化，而且我们还能通过它偏离训练数据的程度更好地理解模型的预测结果。影响函数为这些事情提供了一种高效的手段。如何解释黑箱模型的预测呢？这篇论文利用影响函数（稳健统计学中的经典技术），通过学习算法跟踪模型的预测并追溯到训练数据，从而确定对给定预测影响最大训练点。为了将影响函数扩展到现代机器学习中，论文中设计了一个简单，高效的实现，仅需梯度oracle访问和Hessian矢量积。而且即使在
2017-11-16 16:24:33
1863
转载 Learning to learn by gradient descent by gradient descent 笔记
转载地址：https://zhuanlan.zhihu.com/p/21362413什么意思呢？就是用梯度下降的方法学会了梯度下降的学习方法。用一个神经网络来调控另一个神经网络！怎么做？如上图，一个是神经网络优化器，一个是被优化的神经网络，也就是我们平时都用的神经网络。这里我们把数据输入到被优化的神经网络中，然后输出误差，把误差信号传给神经网络优化器，这个优化器就自己计算输出参
2017-11-16 15:33:49
2503
转载 泊松分布and指数分布
一、泊松分布日常生活中，大量事件是有固定频率的。某医院平均每小时出生3个婴儿某公司平均每10分钟接到1个电话某超市平均每天销售4包xx牌奶粉某网站平均每分钟有2次访问它们的特点就是，我们可以预估这些事件的总数，但是没法知道具体的发生时间。已知平均每小时出生3个婴儿，请问下一个小时，会出生几个？有可能一下子出生6个，也有可能一个都不出生
2017-11-06 17:27:04
11070
转载 beta分布介绍
作者：小杰链接：https://www.zhihu.com/question/30269898/answer/123261564来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。beta分布介绍相信大家学过统计学的都对 正态分布 二项分布 均匀分布 等等很熟悉了，但是却鲜少有人去介绍beta分布的。用一句话来说，beta分布可以看作一个概率的
2017-11-06 13:08:00
1066
转载 tensor toolbox 处理稀疏张量
1张量的定义在维基百科上，张量被定义为“一个多重线性映射”：这个可以理解为一个多维数组，当变换坐标或者变换基底的时候，其分量会按照一定的规则变换。2.张量的模展开矩阵在实际运算当中，我们有时需要对张量按照模展开矩阵。目的是对高维张量进行降阶，转换为矩阵进行运算。在张量的矩阵展开过程中，是对组成张量的所有阶按交错次序采样，并非简单地先采取某一阶的特征值在采取另一阶的特征值，而
2017-10-19 21:36:41
3068
1
转载 bandit regret
机器学习主要分为三大类，有监督学习、无监督学习和增强学习，其中前两大类大家已经很熟悉了，第三类增强学习是指如何在得到临时性的反馈下学习，bandit问题就是增强学习领域一个热门的研究方向。而我目前就在做这部分的研究，所以先从这个问题讲起。我们一般考虑的bandit(强盗)带有K个arm，每个回合拨动一个arm，得到一个奖励，bandit问题就是研究如何使这些奖励最大化。但由于通常回合数是不固定
2017-10-02 12:28:01
1545
原创 NIPS2017 论文汇总
NIPS 2017https://nips.cc/Conferences/2017/AcceptedPapersInitial
2017-09-28 16:22:05
4752
转载 python 画图 例子
Python画图主要用到matplotlib这个库。具体来说是pylab和pyplot这两个子库。这两个库可以满足基本的画图需求，而条形图，散点图等特殊图，下面再单独具体介绍。首先给出pylab神器镇文：pylab.rcParams.update(params)。这个函数几乎可以调节图的一切属性，包括但不限于：坐标范围，axes标签字号大小，xtick,ytick标签字号，图线宽，lege
2017-09-25 17:24:11
1666
转载 python画图：线条和颜色
转载请注明出处：http://www.cnblogs.com/darkknightzh/p/6117528.html参考网址：http://stackoverflow.com/questions/22408237/named-colors-in-matplotlibhttp://stackoverflow.com/questions/8409095/matplotlib-set-m
2017-09-25 17:22:25
38137
转载 python 简单画图
一、环境准备 linux ubuntu 下需安装下面三个包： Numpy, Scipy,Matplotlib 分别输入下面的代码进行安装：[plain] view plain copypip install numpy pip install scipy
2017-09-17 12:55:08
509
转载 UCB算法升职记——LinUCB算法
UCB再回顾上回书说到，UCB这个小伙子在做EE(Exploit-Explore)的时候表现不错，只可惜啊，是一个不关心组织的上下文无关(context free)bandit算法，它只管埋头干活，根本不观察一下面对的都是些什么样的arm。进一步送UCB去深造之前，我们再把UCB算法要解决的问题描述一下：面对固定的K个item（广告或推荐物品），我们没有任何先验知识，每
2017-09-12 18:09:41
2158
转载 bandit算法原理及Python实现
Bandit算法是在线学习的一种，一切通过数据收集而得到的概率预估任务，都能通过Bandit系列算法来进行在线优化。这里的“在线”，指的不是互联网意义上的线上，而是只算法模型参数根据观察数据不断演变。以多臂老虎机问题为例，首先我们假设每个臂是否产生收益，其背后有一个概率分布，产生收益的概率为p我们不断地试验，去估计出一个置信度较高的概率p的概率分布就能近似解决这个问题了。怎
2017-09-12 17:46:31
432
原创 bandit 算法资料大全
算法介绍：1.课程两节 Tutorial: Introduction to Bandits: Algorithms and Theory http://techtalks.tv/talks/54451/ http://techtalks.tv/talks/54455/2.博文介绍 Multi_armed bandit https:/
2017-09-08 11:06:51
1682
转载 ［python］ logging模块
1、日志级别日志一共分成5个等级，从低到高分别是：DEBUG INFO WARNING ERROR CRITICAL。DEBUG：详细的信息,通常只出现在诊断问题上INFO：确认一切按预期运行WARNING：一个迹象表明,一些意想不到的事情发生了,或表明一些问题在不久的将来(例如。磁盘空间低”)。这个软件还能按预期工作。ERROR：更严重的问题,软件没能执行一些功能
2017-08-30 15:28:10
309
转载 [python] 命令行解析argparse
python中的命令行解析最简单最原始的方法是使用sys.argv来实现，更高级的可以使用argparse这个模块。argparse从python 2.7开始被加入到标准库中，所以如果你的python版本还在2.7以下，那么需要先手动安装。基本使用import argparseparser=argparse.ArgumentParser()parser.add_argument("
2017-08-29 23:08:44
224
转载 Cython三分钟入门
作者：perrygeo译者：赖勇浩（http://laiyonghao.com）原文：http://www.perrygeo.net/wordpress/?p=116我最喜欢的是Python，它的代码优雅而实用，可惜纯粹从速度上来看它比大多数语言都要慢。大多数人也认为的速度和易于使用是两极对立的——编写C代码的确非常痛苦。而 Cython 试图消除这种两重性，并让你同时拥有 p
2017-08-22 16:26:11
252
转载 Python2与Python3共存的环境配置
转载地址：https://zhuanlan.zhihu.com/p/21261875Python中Python 2与Python 3的关系一直很让人头疼，本文主要讲述如何在Windows系统中配置两个版本共存的环境。随着越来越多的人使用Python 3，很多程序都在考虑移植到Python 3，一个共存的环境非常必要。而另一方面，许多程序目前却也仅有Python 2的版本，让安装
2017-08-22 14:55:08
281
转载 广义线性模型（Generalized Linear Models, GLM）
转载地址：http://lib.csdn.net/article/machinelearning/396011. 指数分布族 首先，我们先来定义指数分布族（exponential family），如果一类分布可以写成如下的形式，那么它就是属于指数分布族的： p(y;η)=b(y)exp(ηTT(y)−a(η))这里η叫做分布的自然参数（natura
2017-08-15 19:41:43
2275
原创 斯坦福大学《机器学习》笔记
[第1集] 机器学习的动机与应用 [第2集] 监督学习应用.梯度下降 [第3集] 欠拟合与过拟合的概念 第一集，比较基础，没听。[第2集] 监督学习应用.梯度下降 梯度下降（对所有样本求一遍偏导）随机梯度下降（从样本集合里，随机选取一个样本，求偏导）最小二乘算法推导
2017-08-14 15:29:16
493
原创 Python学习笔记
学习教程：廖雪峰python零基础教程https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000
2017-08-01 11:17:32
409
转载 （Distance Metric Learning）度量学习学习资料
原文链接：http://blog.csdn.net/lzt1983/article/details/7884553度量学习学习资料1. Wikipedia2. CMU的Liu Yang总结的关于DML的综述页面。对DML的经典算法进行了分类总结，其中她总结的论文非常有价值，也是我的入门读物。3. ECCV 2010的turorial。
2017-07-31 18:11:23
934
转载 协方差与协方差矩阵
统计学的基本概念学过概率统计的孩子都知道，统计里最基本的概念就是样本的均值，方差，或者再加个标准差。首先我们给你一个含有n个样本的集合X={X1,…,Xn}XX1Xn，依次给出这些概念的公式描述，这些高中学过数学的孩子都应该知道吧，一带而过。均值：X¯=∑ni=1XinXi1nXin标准差：s=∑ni=1(Xi−X¯)2n−1−−−−−−−−−−−−−√si1n
2017-07-25 10:19:14
390
转载 KL散度(Kullback-Leibler divergence)
KL散度(Kullback-Leibler_divergence)一. 概念KL-divergence，俗称KL距离，常用来衡量两个概率分布的距离。根据shannon的信息论，给定一个字符集的概率分布，我们可以设计一种编码，使得表示该字符集组成的字符串平均需要的比特数最少。假设这个字符集是X，对x∈X，其出现概率为P(x)，那么其最优编码平均需要的比特数等于
2017-07-24 19:42:53
648
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人