咚咚锵的博客

但行好事,莫问前程

排序:
默认
按更新时间
按访问量

Fast.ai Machine Learning for coders - Lesson 1

  之前一直在吴恩达的公开课那块学习,一方面学习了一些算法以及思想,另一方面也了解了一些理论。现在开始看 fast.ai,以实践著称。作者Jeremy Howard并不是学术圈的人,是工业界的人,在Kaggle 2010和2011上得了冠军。其实有的时候啊,学术圈总是弄个准确率增加了0.1%啥的,...

2018-11-04 23:01:42

阅读数:9

评论数:0

吴恩达Deeplearning.ai 知识点梳理(course 5,week 3)

  本周主要讲了多种sequence to sequence结构,包括conditional language model,beam searching,bleu,attention,speech recognition,以及trigger word detection。 目录Basic Mode...

2018-09-23 10:19:55

阅读数:83

评论数:0

吴恩达Deeplearning.ai 知识点梳理(course 5,week 2)

  本周主要讲Word Embeddings, Word Embedding Intro Word Representation   之前我们表示word,都是采用one-hot进行表示。这种方式有一个缺点,就是词和词之间是正交的。但是事实上词和词之间是有关系的。举个例子来说,I w...

2018-09-15 23:19:44

阅读数:21

评论数:0

What are good ways to handle discrete and continuous inputs together?

Rescale bounded continuous features: All continuous input that are bounded, rescale them to [-1, 1] through x = (2x - max - min)/(max - min). Standa...

2018-09-09 17:29:56

阅读数:38

评论数:0

吴恩达Deeplearning.ai 知识点梳理(course 5,week 1)

本周主要讲的是基本的RNN。包括:序列的例子,RNN,根据输入输出的情况对RNN分类,为了解决记忆问题的GRU和LSTM,为了解决前后依赖关系的Bidirectional RNN,以及Deep RNN。

2018-09-09 17:28:37

阅读数:39

评论数:0

吴恩达机器学习笔记week11

  本周主要是讲了一个OCR的案例。主要内容是machine learning pipeline, text detection,character segmentation,data synthesis,以及ceiling analysis。 Machine Learning Pipeline...

2018-09-02 12:05:22

阅读数:33

评论数:0

吴恩达机器学习笔记week10

  本周主要讲的是大规模的机器学习。其实里边很多内容在deeplearning.ai里边都讲过了。所以这里就把之前没有的部分做个总结。 大规模数据的意义   Banko and Brill, 2001发表的一个文章发现,只要数据规模变大,那么很多的算法表现得都很好。所以其实数据是机器学习里边非...

2018-09-02 11:39:58

阅读数:53

评论数:0

吴恩达机器学习笔记week9

本周主要讲异常检测和协同过滤算法。 异常检测 Motivation   异常检测主要的motivation是我们可能有很多正常的样本,异常样本很少,然而异常样本才是业务中感兴趣的正样本,这个时候我们无法使用分类。一方面是因为正样本太少了,另一方面,其实我们也不知道异常样本到底都有那些...

2018-09-01 22:29:40

阅读数:100

评论数:0

吴恩达机器学习笔记week 8

本周主要讲的是聚类和降维。

2018-08-27 22:26:59

阅读数:49

评论数:0

吴恩达机器学习课笔记week 6

  其实这节课主要还是再将ML Strategy,但是我觉得有几个点很好,总结在这里: 评价模型时: 首先有一个对Hypothesis的评价指标,错误率啊,正确率啊,等等。 然后肯定也得有train/val/test数据集了。这里是小数据集划分方法60/20/20这种。 然后就是训练和c...

2018-08-15 16:26:59

阅读数:49

评论数:0

DNN反向传播推导的严格表述

  近期把DNN的反向传播由好好的研究了一下。之前一直有疑虑是因为很多文档里边出现∂z(l+1)∂z(l)∂z(l+1)∂z(l)\frac{\partial z^{(l+1)}}{\partial z^{(l)}}这种表达式,然后z(l+1)z(l+1) z^{(l+1)}和z(l)z(l) z...

2018-08-07 21:05:48

阅读数:103

评论数:2

吴恩达机器学习课笔记week 4

本周将的是非线性Hypothesis。

2018-07-21 22:46:08

阅读数:38

评论数:0

吴恩达机器学习课笔记week 3

本周主要讲分类、逻辑回归以及正则化

2018-07-15 19:27:52

阅读数:59

评论数:0

深度学习中的Matrix Calculus (3): Kronecker Product

  Kronector积+向量化是向量对矩阵求导,矩阵对矩阵求导的重要利器,主要思想就是将矩阵按列排成一一个列向量,然后求导,通过kronector积进行化简。需要注意的是,最后得到的矩阵其实是行向量,或者雅克比矩阵,需要再按照反vector化回去。 ...

2018-06-28 10:33:33

阅读数:88

评论数:0

深度学习中的Matrix Calculus (2): Trace And Matrix Differential

  本篇主要内容就是矩阵标量函数的求导,基本思路就是: 给标量函数套上迹trace; 利用迹和矩阵微分的性质进行化简,化简到df=tr((∂f∂x)Tdx)df=tr((∂f∂x)Tdx)df=\rm{tr} \left(\left(\frac{\partial f}{\partia...

2018-06-28 10:09:26

阅读数:39

评论数:0

深度学习中的Matrix Calculus (1): Jacobian And Chain Rule

  在深度学习里边,一个最重要的过程是Back Propagation,也就是计算梯度用于做梯度下降优化。然而在BP中,充斥着大量的矩阵微分运算以及各种转化技巧,导致没有学过矩阵论或者矩阵分析的童鞋感到压力山大,所以《深度学习反向求导》这个系列文章主要用最简洁的内容把Matrix Calculus...

2018-06-26 16:13:18

阅读数:49

评论数:0

Matrix Calculus Reference Links

http://explained.ai/matrix-calculus/index.html 基本的内容,主要涵盖多元微积分的Jacobian矩阵等。 https://www.comp.nus.edu.sg/~cs5240/lecture/matrix-differentiation.pdf...

2018-06-26 11:57:28

阅读数:41

评论数:0

基本产品与商业逻辑

  这是一个随笔。   周末开车出去玩,途中一直在听刘润《五分钟商学院》,听到一个案例,觉得不错,记录在这里。   产品,或者说基本的商业逻辑其实很简单,总结成几句话就是:人无我有,人有我优,人优我廉。这个可以说是高度精炼了整个产品/服务的战略逻辑。然后讲了一个案例。一个公司的产品是玉米种子。...

2018-06-04 10:28:38

阅读数:137

评论数:0

Nvidia GPU架构 - Cuda Core,SM,SP等等傻傻分不清?

背景   在深度学习大热的年代,并行计算也跟着火热了起来。深度学习变为可能的一个重要原因就是算力的提升。作为并行计算平台的一种,GPU及其架构本身概念是非常多的。下面就进行一个概念阐述,以供参考。 GPU:显存+计算单元   GPU从大的方面来讲,就是由显存和计算单元组成: ...

2018-05-25 12:02:27

阅读数:2112

评论数:0

一些开源数据集

http://web.inf.ufpr.br/vri/databases/ Brazilian Forensic Letter (V1.0 – 2008) Authorship Attribution Database (V1.0 – 2011) Forest Species Recogni...

2018-05-25 09:26:26

阅读数:249

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭