2017年07月_This is bill

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 01月

转载 CMake与Make

大家都知道，写程序大体步骤为：1.用编辑器编写源代码，如.c文件。2.用编译器编译代码生成目标文件，如.o。3.用链接器连接目标代码生成可执行文件，如.exe。但如果源文件太多，一个一个编译时就会特别麻烦，于是人们想到，为什么不设计一种类似批处理的程序，来批处理编译源文件呢，于是就有了make工具，它是一个自动化编译工具，你可以使用一条命令实现完全编译。但是你需要编写一个规则文件，make依据它来

2017-07-28 16:02:50 488

原创 LARC DL笔记（一）: Caffe Setup

采用杂记的形式从查找到知乎页面开始：https://www.zhihu.com/question/27982282 到mnist example页面：http://caffe.berkeleyvision.org/gathered/examples/mnist.html 到caffe installation页面：http://caffe.berkeleyvision.org/installat

2017-07-28 11:42:43 880

转载 Linux下用户组、文件权限详解

用户组在linux中的每个用户必须属于一个组，不能独立于组外。在linux中每个文件有所有者、所在组、其它组的概念- 所有者- 所在组- 其它组- 改变用户所在的组所有者一般为文件的创建者，谁创建了该文件，就天然的成为该文件的所有者用ls ‐ahl命令可以看到文件的所有者也可以使用chown 用户名文件名来修改文件的所有者文件所在组当某个用户创建了一个文件后，这个文件的所在组就是该用户所在的

2017-07-28 11:00:52 699

转载 CS231n课程笔记翻译9：卷积神经网络笔记

译者注：本文翻译自斯坦福CS231n课程笔记ConvNet notes，由课程教师Andrej Karpathy授权进行翻译。本篇教程由杜客和猴子翻译完成，堃堃和李艺颖进行校对修改。原文如下内容列表：结构概述用来构建卷积神经网络的各种层卷积层汇聚层归一化层全连接层将全连接层转化成卷积层卷积神经网络的结构层的排列规律层的尺寸设置规律案例学习（LeNet / AlexNet / ZFNet / Goo

2017-07-27 19:51:05 2112

转载 CS231n课程笔记翻译8：神经网络笔记 part3

译者注：本文智能单元首发，译自斯坦福CS231n课程笔记Neural Nets notes 3，课程教师Andrej Karpathy授权翻译。本篇教程由杜客翻译完成，堃堃和巩子嘉进行校对修改。译文含公式和代码，建议PC端阅读。原文如下内容列表：梯度检查合理性（Sanity）检查检查学习过程损失函数训练集与验证集准确率权重：更新比例每层的激活数据与梯度分布可视化译者注：上篇翻译截止处参数更新一阶

2017-07-27 19:49:55 1587

转载 CS231n课程笔记翻译7：神经网络笔记 part2

译者注：本文智能单元首发，译自斯坦福CS231n课程笔记Neural Nets notes 2，课程教师Andrej Karpathy授权翻译。本篇教程由杜客翻译完成，堃堃进行校对修改。译文含公式和代码，建议PC端阅读。原文如下内容列表：设置数据和模型数据预处理权重初始化批量归一化（Batch Normalization）正则化（L2/L1/Maxnorm/Dropout）损失函数小结设置数据和模

2017-07-27 19:47:59 1303

转载 CS231n课程笔记翻译6：神经网络笔记 part1

译者注：本文智能单元首发，译自斯坦福CS231n课程笔记Neural Nets notes 1，课程教师Andrej Karpathy授权翻译。本篇教程由杜客翻译完成，巩子嘉和堃堃进行校对修改。译文含公式和代码，建议PC端阅读。原文如下内容列表：不用大脑做类比的快速简介单个神经元建模生物动机和连接作为线性分类器的单个神经元常用的激活函数译者注：上篇翻译截止处神经网络结构层组织前向传播计算例子表达

2017-07-27 19:41:58 1319

转载 CS231n课程笔记翻译5：反向传播笔记

译者注：本文智能单元首发，译自斯坦福CS231n课程笔记Backprop Note，课程教师Andrej Karpathy授权翻译。本篇教程由杜客翻译完成，堃堃和巩子嘉进行校对修改。译文含公式和代码，建议PC端阅读。原文如下：内容列表：简介简单表达式和理解梯度复合表达式，链式法则，反向传播直观理解反向传播模块：Sigmoid例子反向传播实践：分段计算回传流中的模式用户向量化操作的梯度小结简介目标：

2017-07-27 19:39:40 768

转载 CS231n课程笔记翻译4：最优化笔记

译者注：本文智能单元首发，译自斯坦福CS231n课程笔记Optimization Note，课程教师Andrej Karpathy授权翻译。本篇教程由杜客翻译完成，堃堃和李艺颖进行校对修改。译文含公式和代码，建议PC端阅读。原文如下内容列表：简介损失函数可视化最优化策略#1：随机搜索策略#2：随机局部搜索策略#3：跟随梯度译者注：上篇截止处梯度计算使用有限差值进行数值计算微分计算梯度梯度下降小结

2017-07-27 19:37:53 706

转载 CS231n课程笔记翻译3：线性分类笔记

译者注：本文智能单元首发，译自斯坦福CS231n课程笔记Linear Classification Note，课程教师Andrej Karpathy授权翻译。本篇教程由杜客翻译完成，巩子嘉和堃堃进行校对修改。译文含公式和代码，建议PC端阅读。原文如下内容列表：线性分类器简介线性评分函数阐明线性分类器译者注：上篇翻译截止处损失函数多类SVMSoftmax分类器SVM和Softmax的比较基于Web

2017-07-27 19:21:31 1380

转载 CS231n课程笔记翻译2：图像分类笔记

译者注：本文智能单元首发，译自斯坦福CS231n课程笔记image classification notes，由课程教师Andrej Karpathy授权进行翻译。本篇教程由杜客翻译完成。ShiqingFan对译文进行了仔细校对，提出了大量修改建议，态度严谨，帮助甚多。巩子嘉对几处术语使用和翻译优化也提出了很好的建议。张欣等亦有帮助。原文如下这是一篇介绍性教程，面向非计算机视觉领域的同学。教程将向

2017-07-27 18:57:32 915

转载 CS231n课程笔记翻译1：Python Numpy教程

译者注：本文智能单元首发，翻译自斯坦福CS231n课程笔记Python Numpy Tutorial，由课程教师Andrej Karpathy授权进行翻译。本篇教程由杜客翻译完成，Flood Sung、SunisDown、巩子嘉和一位不愿透露ID的知友对本翻译亦有贡献。原文如下这篇教程由Justin Johnson创作。我们将使用Python编程语言来完成本课程的所有作业。Python是一门伟大的

2017-07-27 18:56:15 963

转载 CS231n官方笔记授权翻译总集篇发布

学习了cs231n，课程很良心，好文要转！哈哈哈！我们也是不谦虚，几个“业余水平”的网友，怎么就“零星”地把这件事给搞完了呢！总之就是非常开心，废话不多说，进入正题吧！CS231n简介CS231n的全称是CS231n: Convolutional Neural Networks for Visual Recognition，即面向视觉识别的卷积神经网络。该课程是斯坦福大学计算机视觉实验室推出的课程

2017-07-27 18:55:03 1500

转载卷积神经网络CNN经典模型整理Lenet，Alexnet，Googlenet，VGG，Deep Residual Learning

看到好文还是忍不住想转关于卷积神经网络CNN，网络和文献中有非常多的资料，我在工作/研究中也用了好一段时间各种常见的model了，就想着简单整理一下，以备查阅之需。如果读者是初接触CNN，建议可以先看一看“Deep Learning（深度学习）学习笔记整理系列”中关于CNN的介绍[1]，是介绍我们常说的Lenet为例，相信会对初学者有帮助。Lenet，1986年Alexnet，2012年Googl

2017-07-27 16:58:23 677

原创 Deep Learning 资料库

一、文章来由网络好文章太多，而通过转载文章做资料库太麻烦，直接更新这个博文。二、汇总1、台大李宏毅老师的课正片：http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17.html http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS17.html 深入浅出讲解deep learning 顺带附上李老师的《一天搞

2017-07-20 18:25:43 1767

转载【286页干货】一天搞懂深度学习（台湾资料科学年会课程）

1新智元编译1来源：Linkedin译者：胡祥杰【新智元导读】本文是2016 台湾资料科学年会前导课程“一天搞懂深度学习”的全部讲义PPT（共268页），由台湾大学电机工程学助理教授李宏毅主讲。作者在文中分四个部分对神经网络的原理、目前存在形态以及未来的发展进行了介绍。深度学习的每一个核心概念在文中都有相关案例进行呈现，通俗易懂。一天的时间搞懂深度学习？其实并不是没有可能。关注新智元，在公众号后台

2017-07-19 19:42:26 21470 1

转载监督学习、无监督学习、半监督学习、强化学习

图：pixabay「机器人圈」导览：一般说来，训练深度学习网络的方式主要有四种：监督、无监督、半监督和强化学习。在接下来的文章中，机器人圈将逐个解释这些方法背后所蕴含的理论知识。除此之外，机器人圈将分享文献中经常碰到的术语，并提供与数学相关的更多资源。本文编译自硅谷著名的风险投资机构安德森•霍洛维茨基金，作者是Frank Chen。有关数学相关问题，请参阅这个斯坦福大学的教程，其中包含监督和无监督

2017-07-19 19:23:46 2889

转载 Deep Reinforcement Learning 基础知识（DQN方面）

Introduction深度增强学习Deep Reinforcement Learning是将深度学习与增强学习结合起来从而实现从Perception感知到Action动作的端对端学习的一种全新的算法。简单的说，就是和人类一样，输入感知信息比如视觉，然后通过深度神经网络，直接输出动作，中间没有hand-crafted工作。深度增强学习具备使机器人实现完全自主的学习一种甚至多种技能的潜力。虽然将深度

2017-07-19 18:59:59 517

转载浅谈深度学习中的激活函数 - The Activation Function in Deep Learning

2017-07-19 09:24:09 1930

转载神经网络中的激活函数

最近在看深度学习的东西，激活函数是其中的一个环节，就从网上的一搜寻关于激活函数的介绍激活函数是用来加入非线性因素的，因为线性模型的表达能力不够。常用激活函数激活函数的选择是构建神经网络过程中的重要环节，下面简要介绍常用的激活函数。(1) 线性函数 ( Liner Function ) (2) 斜面函数 ( Ramp Function ) (3) 阈值函数 ( Threshold F

2017-07-19 09:20:50 1158

转载 [work] Softmax 函数的特点和作用

作者：忆臻链接：https://www.zhihu.com/question/23765351/answer/240869755来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。答案来自专栏：机器学习算法与自然语言处理详解softmax函数以及相关求导过程这几天学习了一下softmax激活函数，以及它的梯度求导过程，整理一下便于分享和交流。so...

2017-07-17 19:41:00 1709 1

原创 Deep Learning 学习笔记

一、文章来由好久没写原创博客了，一直处于学习新知识的阶段。来新加坡也有一个星期，搞定签证、入学等杂事之后，今天上午与导师确定了接下来的研究任务，我平时基本也是把博客当作联机版的云笔记~~如果有写的不对的地方，欢迎批评指正。二、《一天搞懂深度学习》300多页的PPT，台大教授写的好文章。对应的视频地址1、Lecture I: Introduction of Deep Learning（1）mach

2017-07-17 19:26:09 4317 2

转载深度学习中的激活函数

深度学习大讲堂致力于推送人工智能，深度学习方面的最新技术，产品以及活动。请关注我们的知乎专栏！摘要近年来，深度学习在计算机视觉领域取得了引人注目的成果，其中一个重要因素是激活函数的发展。新型激活函数ReLU克服了梯度消失，使得深度网络的直接监督式训练成为可能。本文将对激活函数的历史和近期进展进行总结和概括。激活函数的定义与作用在人工神经网络中，神经元节点的激活函数定义了对神经元输出的映射，简单来说

2017-07-17 19:06:02 2267

转载大牛deep learning入门教程

雷锋网(搜索“雷锋网”公众号关注)按：本文由Zouxy责编，全面介绍了深度学习的发展历史及其在各个领域的应用，并解释了深度学习的基本思想，深度与浅度学习的区别和深度学习与神经网络之间的关系。深度学习，即Deep Learning,是一种学习算法（Learning algorithm）,亦是人工智能领域的一个重要分支。从快速发展到实际应用，短短几年时间里，深度学习颠覆了语音识别、图像分类、文本理解等

2017-07-17 17:00:44 969

转载 Deep Learning深入浅出

作者：Jacky Yang链接：https://www.zhihu.com/question/26006703/answer/129209540来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。关于深度学习，网上的资料很多，不过貌似大部分都不太适合初学者。这里有几个原因：1.深度学习确实需要一定的数学基础。如果不用深入浅出地方法讲，有些读者就会有畏难的情绪，因而容易过

2017-07-17 15:55:14 1010

转载在线机器学习FTRL(Follow-the-regularized-Leader)算法介绍

看到好文章，坚决转载！哈哈，学术目的~~最近几个同事在做推荐平台的项目，都问到怎么实现FTRL算法，要求协助帮忙实现FTRL的算法模块。今天也是有空，赶紧来做个整理。明天还要去上海参加天善智能组织的FLY BI大数据分享会。有兴趣参加线下活动的可以多关注下微博和微信的信息。没事可以多参加分享分享。现在特别是像做在线学习和CTR这块，应用LR是最广泛的。但是批量处理超大规模的数据集和在线数据流时就遇

2017-07-15 17:08:01 7196 1

转载 5天突击GRE（155+170+4.0）

个人认为最靠谱GRE经验，没有之一虽然分数并不高（V 155 + Q 170 + AW 4.0），但是自认为有很多很多可以拿来给短期突击同学的宝贵经验。首先是自己的背景，交大英语教改实验班（交大同学应该都懂），四级653分，六级621分，（四六级是裸考的因为没时间准备）；托福115；英语上自己一直还算是有些自信的，没有用过单词书背过单词，所以当知道GRE要背大量的单词的时候我是拒绝的，这也是一直迟

2017-07-14 19:56:58 3193

转载通俗易懂地讲解牛顿迭代法求开方

五次及以上多项式方程没有根式解（就是没有像二次方程那样的万能公式），这个是被伽罗瓦用群论做出的最著名的结论。但是，没有王屠夫难道非得吃带毛猪？工作生活中还是有诸多求解高次方程的真实需求（比如行星的轨道计算，往往就是涉及到很复杂的高次方程），这日子可怎么过下去啊？没有根式解不意味着方程解不出来，数学家也提供了很多方法，牛顿迭代法就是其中一种。1 切线是曲线的线性逼近要讲牛顿迭代法之前我们先说一个关键

2017-07-11 15:43:14 10976

转载机器学习正则化

模式识别理论中，常提到的正则化到底是干什么的？渐渐地，听到的多了，看到的多了，再加上平时做东西都会或多或少的接触，有了一些新的理解。1. 正则化的目的：防止过拟合！2. 正则化的本质：约束（限制）要优化的参数。关于第1点，过拟合指的是给定一堆数据，这堆数据带有噪声，利用模型去拟合这堆数据，可能会把噪声数据也给拟合了，这点很致命，一方面会造成模型比较复杂（想想看，本来一次函数能够拟合的数据，现在由于

2017-07-10 11:01:55 891

转载简单易懂的例子解释隐马尔可夫模型

作者：Yang Eninala链接：https://www.zhihu.com/question/20962240/answer/33438846来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。×××××11月22日已更新×××××隐马尔可夫（HMM）好讲，简单易懂不好讲。我认为 @者也的回答没什么错误，不过我想说个更通俗易懂的例子。我希望我的读者不是专家，而是对这个

2017-07-09 10:06:46 1186

转载 UCB算法

前言：来万物花开这家创业公司实习，也真是一波三折。先实习了三天，每天下午到公司工作到晚上。工作时间是每天下午到晚上9.30。结果每天上午没法用心干实验室的活了，下午在公司工作的时候，总是提心吊胆，手机震动一下就会立刻拿出来看看是不是老师找我了。这样的日子感觉没法持续下去，想找导师谈谈之前，就从实验室同学那儿知道了老师对我最近的出勤率太低很不高兴。想着还是找找导师谈一谈实习的问题吧，然后

2017-07-09 10:01:47 25382 5

转载 online learning，batch learning&批量梯度下降，随机梯度下降

以上几个概念之前没有完全弄清其含义及区别，容易混淆概念，在本文浅析一下：一、online learning vs batch learningonline learning强调的是学习是实时的，流式的，每次训练不用使用全部样本，而是以之前训练好的模型为基础，每来一个样本就更新一次模型，这种方法叫做OGD（online gradient descent）。这样做的目的是快速地进行模型的更新，提升模型

2017-07-06 23:24:36 715

转载 Bandit:一种简单而强大的在线学习算法

假设我有5枚硬币，都是正反面不均匀的。我们玩一个游戏，每次你可以选择其中一枚硬币掷出，如果掷出正面，你将得到一百块奖励。掷硬币的次数有限（比如10000次），显然，如果要拿到最多的利益，你要做的就是尽快找出“正面概率最大”的硬币，然后就拿它赚钱了。这个问题看起来很数学化，其实它在我们的生活中经常遇见。比如我们现在有很多在线场景，遇到一个相同的问题：一个平台这么多信息，该展示什么给用户，才能有最好的

2017-07-06 22:20:44 1901