咚咚锵的博客

但行好事,莫问前程

商业与机器学习

目录背景ML SurpriseML的10大陷阱业务中ML从无到有的5个阶段 背景 关于机器学习(Machine Learning,ML)技术方面的文章和书籍已经非常多了。但是关于企业、商业和ML结合的一些思路方法却非常少。最近看了Coursera上How Google Does ML的课程,刚好可...

2019-03-31 22:57:45

阅读数 54

评论数 0

Fast.ai Machine Learning for coders - Lesson 1

  之前一直在吴恩达的公开课那块学习,一方面学习了一些算法以及思想,另一方面也了解了一些理论。现在开始看 fast.ai,以实践著称。作者Jeremy Howard并不是学术圈的人,是工业界的人,在Kaggle 2010和2011上得了冠军。其实有的时候啊,学术圈总是弄个准确率增加了0.1%啥的,...

2018-11-04 23:01:42

阅读数 62

评论数 0

吴恩达Deeplearning.ai 知识点梳理(course 5,week 3)

  本周主要讲了多种sequence to sequence结构,包括conditional language model,beam searching,bleu,attention,speech recognition,以及trigger word detection。 目录Basic Mode...

2018-09-23 10:19:55

阅读数 108

评论数 0

吴恩达Deeplearning.ai 知识点梳理(course 5,week 2)

  本周主要讲Word Embeddings, Word Embedding Intro Word Representation   之前我们表示word,都是采用one-hot进行表示。这种方式有一个缺点,就是词和词之间是正交的。但是事实上词和词之间是有关系的。举个例子来说,I w...

2018-09-15 23:19:44

阅读数 82

评论数 0

What are good ways to handle discrete and continuous inputs together?

Rescale bounded continuous features: All continuous input that are bounded, rescale them to [-1, 1] through x = (2x - max - min)/(max - min). Standa...

2018-09-09 17:29:56

阅读数 63

评论数 0

吴恩达Deeplearning.ai 知识点梳理(course 5,week 1)

本周主要讲的是基本的RNN。包括:序列的例子,RNN,根据输入输出的情况对RNN分类,为了解决记忆问题的GRU和LSTM,为了解决前后依赖关系的Bidirectional RNN,以及Deep RNN。

2018-09-09 17:28:37

阅读数 114

评论数 0

吴恩达机器学习笔记week11

  本周主要是讲了一个OCR的案例。主要内容是machine learning pipeline, text detection,character segmentation,data synthesis,以及ceiling analysis。 Machine Learning Pipeline...

2018-09-02 12:05:22

阅读数 86

评论数 0

吴恩达机器学习笔记week10

  本周主要讲的是大规模的机器学习。其实里边很多内容在deeplearning.ai里边都讲过了。所以这里就把之前没有的部分做个总结。 大规模数据的意义   Banko and Brill, 2001发表的一个文章发现,只要数据规模变大,那么很多的算法表现得都很好。所以其实数据是机器学习里边非...

2018-09-02 11:39:58

阅读数 397

评论数 0

吴恩达机器学习笔记week9

本周主要讲异常检测和协同过滤算法。 异常检测 Motivation   异常检测主要的motivation是我们可能有很多正常的样本,异常样本很少,然而异常样本才是业务中感兴趣的正样本,这个时候我们无法使用分类。一方面是因为正样本太少了,另一方面,其实我们也不知道异常样本到底都有那些...

2018-09-01 22:29:40

阅读数 179

评论数 0

吴恩达机器学习笔记week 8

本周主要讲的是聚类和降维。

2018-08-27 22:26:59

阅读数 85

评论数 0

吴恩达机器学习课笔记week 6

  其实这节课主要还是再将ML Strategy,但是我觉得有几个点很好,总结在这里: 评价模型时: 首先有一个对Hypothesis的评价指标,错误率啊,正确率啊,等等。 然后肯定也得有train/val/test数据集了。这里是小数据集划分方法60/20/20这种。 然后就是训练和c...

2018-08-15 16:26:59

阅读数 104

评论数 0

DNN反向传播推导的严格表述

  近期把DNN的反向传播由好好的研究了一下。之前一直有疑虑是因为很多文档里边出现∂z(l+1)∂z(l)∂z(l+1)∂z(l)\frac{\partial z^{(l+1)}}{\partial z^{(l)}}这种表达式,然后z(l+1)z(l+1) z^{(l+1)}和z(l)z(l) z...

2018-08-07 21:05:48

阅读数 154

评论数 2

吴恩达机器学习课笔记week 4

本周将的是非线性Hypothesis。

2018-07-21 22:46:08

阅读数 73

评论数 0

吴恩达机器学习课笔记week 3

本周主要讲分类、逻辑回归以及正则化

2018-07-15 19:27:52

阅读数 170

评论数 0

深度学习中的Matrix Calculus (3): Kronecker Product

  Kronector积+向量化是向量对矩阵求导,矩阵对矩阵求导的重要利器,主要思想就是将矩阵按列排成一一个列向量,然后求导,通过kronector积进行化简。需要注意的是,最后得到的矩阵其实是行向量,或者雅克比矩阵,需要再按照反vector化回去。 ...

2018-06-28 10:33:33

阅读数 311

评论数 0

深度学习中的Matrix Calculus (2): Trace And Matrix Differential

  本篇主要内容就是矩阵标量函数的求导,基本思路就是: 给标量函数套上迹trace; 利用迹和矩阵微分的性质进行化简,化简到df=tr((∂f∂x)Tdx)df=tr((∂f∂x)Tdx)df=\rm{tr} \left(\left(\frac{\partial f}{\partia...

2018-06-28 10:09:26

阅读数 63

评论数 0

深度学习中的Matrix Calculus (1): Jacobian And Chain Rule

  在深度学习里边,一个最重要的过程是Back Propagation,也就是计算梯度用于做梯度下降优化。然而在BP中,充斥着大量的矩阵微分运算以及各种转化技巧,导致没有学过矩阵论或者矩阵分析的童鞋感到压力山大,所以《深度学习反向求导》这个系列文章主要用最简洁的内容把Matrix Calculus...

2018-06-26 16:13:18

阅读数 153

评论数 0

Matrix Calculus Reference Links

http://explained.ai/matrix-calculus/index.html 基本的内容,主要涵盖多元微积分的Jacobian矩阵等。 https://www.comp.nus.edu.sg/~cs5240/lecture/matrix-differentiation.pdf...

2018-06-26 11:57:28

阅读数 80

评论数 0

基本产品与商业逻辑

  这是一个随笔。   周末开车出去玩,途中一直在听刘润《五分钟商学院》,听到一个案例,觉得不错,记录在这里。   产品,或者说基本的商业逻辑其实很简单,总结成几句话就是:人无我有,人有我优,人优我廉。这个可以说是高度精炼了整个产品/服务的战略逻辑。然后讲了一个案例。一个公司的产品是玉米种子。...

2018-06-04 10:28:38

阅读数 429

评论数 0

Nvidia GPU架构 - Cuda Core,SM,SP等等傻傻分不清?

背景   在深度学习大热的年代,并行计算也跟着火热了起来。深度学习变为可能的一个重要原因就是算力的提升。作为并行计算平台的一种,GPU及其架构本身概念是非常多的。下面就进行一个概念阐述,以供参考。 GPU:显存+计算单元   GPU从大的方面来讲,就是由显存和计算单元组成: ...

2018-05-25 12:02:27

阅读数 6942

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭