学习笔记
文章平均质量分 75
asasasaababab
这个作者很懒,什么都没留下…
展开
-
为什么神经网络无法用解析解来解?
这个是面试是遇到的这个问题。说对于线性回归,可以用normal equation来解,但是为何deep learning没法用解析解?当时答得略差。从网上找答案暂时也没有特别好的答案,因此我自己想了一下,总结在这里。对于类似于sigmoid、tanh还有什么softplus之类奇奇怪怪的激活函数来说,以及类似交叉熵之类的损失函数来说,前向推断直接求导之后等于0,求极值,这个方程是超越方程,没有解析解。事实上人类能解的方程很少的。即使是最简单的多项式方程来说,大于等于5次的,都没有解析解求解( Abel原创 2021-07-30 15:54:37 · 1236 阅读 · 0 评论 -
深度学习中的Matrix Calculus (1): Jacobian And Chain Rule
在深度学习里边,一个最重要的过程是Back Propagation,也就是计算梯度用于做梯度下降优化。然而在BP中,充斥着大量的矩阵微分运算以及各种转化技巧,导致没有学过矩阵论或者矩阵分析的童鞋感到压力山大,所以《深度学习反向求导》这个系列文章主要用最简洁的内容把Matrix Calculus这块的所需内容阐述一遍。背景:以DNN为例 DNN,也就是隐含层基本上都是全连接这种神经...原创 2018-06-26 16:13:18 · 1359 阅读 · 0 评论 -
深度学习中的Matrix Calculus (2): Trace And Matrix Differential
本篇主要内容就是矩阵标量函数的求导,基本思路就是: 给标量函数套上迹trace; 利用迹和矩阵微分的性质进行化简,化简到df=tr((∂f∂x)Tdx)df=tr((∂f∂x)Tdx)df=\rm{tr} \left(\left(\frac{\partial f}{\partial x}\right)^Td\mathbf{x}\right)就可以了 然后就可以得到∂f∂x∂...原创 2018-06-28 10:09:26 · 565 阅读 · 0 评论 -
深度学习中的Matrix Calculus (3): Kronecker Product
Kronector积+向量化是向量对矩阵求导,矩阵对矩阵求导的重要利器,主要思想就是将矩阵按列排成一一个列向量,然后求导,通过kronector积进行化简。需要注意的是,最后得到的矩阵其实是行向量,或者雅克比矩阵,需要再按照反vector化回去。 ...原创 2018-06-28 10:33:33 · 3183 阅读 · 0 评论 -
吴恩达机器学习课笔记week 3
本周主要讲分类、逻辑回归以及正则化原创 2018-07-15 19:27:52 · 461 阅读 · 0 评论 -
吴恩达机器学习课笔记week 4
本周将的是非线性Hypothesis。原创 2018-07-21 22:46:08 · 370 阅读 · 0 评论 -
DNN反向传播推导的严格表述
近期把DNN的反向传播由好好的研究了一下。之前一直有疑虑是因为很多文档里边出现∂z(l+1)∂z(l)∂z(l+1)∂z(l)\frac{\partial z^{(l+1)}}{\partial z^{(l)}}这种表达式,然后z(l+1)z(l+1) z^{(l+1)}和z(l)z(l) z^{(l)}还是矩阵,这下就变得非常烦人了,因为没有哪本数学书定义了矩阵对矩阵的导数。只有标量函数对矩...原创 2018-08-07 21:05:48 · 326 阅读 · 2 评论 -
吴恩达机器学习课笔记week 6
其实这节课主要还是再将ML Strategy,但是我觉得有几个点很好,总结在这里:评价模型时:首先有一个对Hypothesis的评价指标,错误率啊,正确率啊,等等。然后肯定也得有train/val/test数据集了。这里是小数据集划分方法60/20/20这种。然后就是训练和cross validation了。诊断bias vs viarance 这个已经说过很多次了。 截...原创 2018-08-15 16:26:59 · 455 阅读 · 0 评论 -
吴恩达机器学习笔记week 8
本周主要讲的是聚类和降维。原创 2018-08-27 22:26:59 · 296 阅读 · 0 评论 -
吴恩达机器学习笔记week9
本周主要讲异常检测和协同过滤算法。异常检测Motivation 异常检测主要的motivation是我们可能有很多正常的样本,异常样本很少,然而异常样本才是业务中感兴趣的正样本,这个时候我们无法使用分类。一方面是因为正样本太少了,另一方面,其实我们也不知道异常样本到底都有那些类,在这种情况下,我们就会使用异常检测这种方式进行。主要思路 主要思路就是负样本有一个分布,...原创 2018-09-01 22:29:40 · 501 阅读 · 0 评论 -
吴恩达机器学习笔记week10
本周主要讲的是大规模的机器学习。其实里边很多内容在deeplearning.ai里边都讲过了。所以这里就把之前没有的部分做个总结。大规模数据的意义 Banko and Brill, 2001发表的一个文章发现,只要数据规模变大,那么很多的算法表现得都很好。所以其实数据是机器学习里边非常重要的一个部分。 但是呢,这个argument成立的前提条件是所选的算法是一个bias很小...原创 2018-09-02 11:39:58 · 978 阅读 · 0 评论 -
吴恩达机器学习笔记week11
本周主要是讲了一个OCR的案例。主要内容是machine learning pipeline, text detection,character segmentation,data synthesis,以及ceiling analysis。Machine Learning Pipeline 数据集比较多的时候,可能端到端训练更好,但是数据集比较少的时候,可能PipeLine更有效一些...原创 2018-09-02 12:05:22 · 469 阅读 · 0 评论 -
吴恩达Deeplearning.ai 知识点梳理(course 5,week 1)
本周主要讲的是基本的RNN。包括:序列的例子,RNN,根据输入输出的情况对RNN分类,为了解决记忆问题的GRU和LSTM,为了解决前后依赖关系的Bidirectional RNN,以及Deep RNN。原创 2018-09-09 17:28:37 · 510 阅读 · 0 评论 -
What are good ways to handle discrete and continuous inputs together?
Rescale bounded continuous features: All continuous input that are bounded, rescale them to [-1, 1] through x = (2x - max - min)/(max - min). Standardize all continuous features: All continuous input...转载 2018-09-09 17:29:56 · 253 阅读 · 0 评论 -
吴恩达Deeplearning.ai 知识点梳理(course 5,week 2)
本周主要讲Word Embeddings,Word Embedding IntroWord Representation 之前我们表示word,都是采用one-hot进行表示。这种方式有一个缺点,就是词和词之间是正交的。但是事实上词和词之间是有关系的。举个例子来说,I want a glass of orange ( ),一般就填juice,现在就算我们的languag...原创 2018-09-15 23:19:44 · 293 阅读 · 0 评论 -
吴恩达Deeplearning.ai 知识点梳理(course 5,week 3)
本周主要讲了多种sequence to sequence结构,包括conditional language model,beam searching,bleu,attention,speech recognition,以及trigger word detection。目录Basic ModelPick The Most Likely SentenceBeam SearchRefinement...原创 2018-09-23 10:19:55 · 370 阅读 · 0 评论 -
Fast.ai Machine Learning for coders - Lesson 1
之前一直在吴恩达的公开课那块学习,一方面学习了一些算法以及思想,另一方面也了解了一些理论。现在开始看 fast.ai,以实践著称。作者Jeremy Howard并不是学术圈的人,是工业界的人,在Kaggle 2010和2011上得了冠军。其实有的时候啊,学术圈总是弄个准确率增加了0.1%啥的,类似于通信圈写了8页纸然后增加0.1 dB。所以想看看这种实践性的人是怎么考虑问题的。 因为是实践...原创 2018-11-04 23:01:42 · 586 阅读 · 0 评论 -
商业与机器学习
目录背景ML SurpriseML的10大陷阱业务中ML从无到有的5个阶段背景关于机器学习(Machine Learning,ML)技术方面的文章和书籍已经非常多了。但是关于企业、商业和ML结合的一些思路方法却非常少。最近看了Coursera上How Google Does ML的课程,刚好可以总结一下这方面的内容。ML Surprise所谓的surprise是这样的:如果我们把企业使用M...原创 2019-03-31 22:57:45 · 515 阅读 · 0 评论 -
Matrix Calculus Reference Links
http://explained.ai/matrix-calculus/index.html 基本的内容,主要涵盖多元微积分的Jacobian矩阵等。https://www.comp.nus.edu.sg/~cs5240/lecture/matrix-differentiation.pdf 很有用的ppt,把基本的一些东西讲清楚了,还有一些公式列表。https://www.math....原创 2018-06-26 11:57:28 · 447 阅读 · 0 评论 -
一些开源数据集
http://web.inf.ufpr.br/vri/databases/ Brazilian Forensic Letter (V1.0 – 2008) Authorship Attribution Database (V1.0 – 2011) Forest Species Recognition (Macroscopic Images) (V2.0 2012) Forest Speci...原创 2018-05-25 09:26:26 · 2476 阅读 · 0 评论 -
机器学习中对矩阵的迹(trace)求导的一些操作
机器学习中经常涉及到一些优化工作,尤其是对F-Norm转化成矩阵的迹(trace)来求导的,这里写一下常用的情况,供参考原创 2018-05-10 09:43:12 · 19378 阅读 · 14 评论 -
Coursera 斯坦福 算法课 Course 1 Week 1
本节课主要讲了大OO,大Θ\Theta,小oo的概念。 然后讲了时间复杂度的分析方法,以及分治法。作业题是: 使用karatsuba算法计算大数乘法: So: what’s the product of the following two 64-digit numbers? 31415926535897932384626433832795028841971693993751058209749原创 2017-10-22 21:08:21 · 2297 阅读 · 0 评论 -
路径规划Dijkstra算法
Dijkstra搜索最短路径:从起始节点开始,将邻域节点进行遍历,标注好邻域节点最小的累计路径长度,直到遍历到终止节点。原创 2017-12-10 10:18:32 · 6534 阅读 · 0 评论 -
路径规划A*算法
A*算法是在Dijkstra算法上进行改进,毕竟,我们是知道终点和起点的位置信息的,Dijkstra算法完全是四面八方全都找,然而我们既然已经知道,比方说重点在起点的北方,那么完全可以直接往北方搜索。所以算法综合了Best-First Search和Dijkstra算法的优点:在进行启发式搜索提高算法效率的同时,可以保证找到一条最优路径(基于评估函数)。在此算法中,如果以g(n)表示从起点到任意顶点原创 2017-12-10 11:42:17 · 12081 阅读 · 4 评论 -
Coursera UPenn 机器人学课程笔记 - Course 1 Aerial Robotics Week 1
无人机的基本背景和主要概念原创 2017-12-03 20:52:35 · 2028 阅读 · 0 评论 -
吴恩达Deeplearning.ai 知识点梳理(course 4,week 1)
CNN基础知识原创 2017-12-15 16:47:52 · 1153 阅读 · 0 评论 -
吴恩达Deeplearning.ai 知识点梳理(course 4,week 2)
Classic NetworkLeNet - 5LeNet-5是1998年的,非常早期,总共有60k个parameter,有如下几个特点: 1. 结构已经是conv pool conv pool FC FC Output 这种架构,可以看出来当年使用的还是avg pool,现在经常用的是max pool; 2. 随着层次增加nH,nWnH,nWn_H, n_W下降,nCnCn_C上...原创 2017-12-26 19:03:28 · 637 阅读 · 0 评论 -
吴恩达Deeplearning.ai 知识点梳理(course 4,week 4)
本周是Special ApplicationFace RecognitionFace问题有两种,一种是Face Verification,另一种是Face Recognition。 问题定义如下 Verification 输入是Image+name/ID 输出是这个Image和name/ID是否匹配 Recoginition原创 2018-01-10 15:33:43 · 573 阅读 · 0 评论 -
吴恩达Deeplearning.ai 知识点梳理(course 4,week 3)
Object Localization问题的描述Object Classification是指一张图片,里边有一个车,判断是不是车的图片Object Classification with Localization,是指判断出来这个是车的图片,同时框出车的位置Object Detection是指图片里有多个目标,然后把他们都检测出来并给出它们的位置。 一般来说,Classifi原创 2018-01-04 15:25:45 · 358 阅读 · 0 评论 -
吴恩达Deeplearning.ai 知识点梳理(course 2,week 1)
Course 2主要讲的是实践,以及让神经网络工作的更好。Traing/Dev/Test Set 在Machine Learning中,一般会将数据集分成Training Set,Develop Set以及Test Set。Training Set用于训练模型,Develop Set用于评估不同模型的性能(hold out/cross validation),Test Set用于最终...原创 2018-02-12 12:32:51 · 564 阅读 · 0 评论 -
吴恩达Deeplearning.ai 知识点梳理(course 2,week 2)
本周内容主要讲的是加速训练优化。Mini-BatchMini-Batch主要是为了解决训练神经网络时如下问题: 一方面,神经网络需要大量的数据,计算量就比较大。如果每次计算数百万个样本,然后得到一个梯度,然后下降一步,那么整个过程就会很慢。 另一方面,深度学习需要大量尝试,所以如果每做一次训练,速度很慢,那么调参过程就很慢了。 Mini-Batch如何做呢?...原创 2018-02-15 16:33:20 · 449 阅读 · 0 评论 -
吴恩达Deeplearning.ai 知识点梳理(course 2,week 3)
这周主要讲的是超参数的调试、Batch Norm以及多分类。Hyperparameter TuningTuning Process 一般来说,最重要的就是那个Learning_rate,也就是αα\alpha。第二重要的一般是动量参数ββ\beta以及Hidden Units的数量,还有mini-batch的大小。第三是层数以及learning_rate decay,最后是a...原创 2018-02-19 11:21:50 · 299 阅读 · 0 评论 -
吴恩达Deeplearning.ai 知识点梳理(course 3,week 1)
这周主要讲的是ML StrategyWhy ML Strategy? 为什么要有ML Strategy呢?所谓战略,就是指通往目标的正确路径。(使命、愿景、战略:CEO最重要的三项工作)因为ML尤其是DeepLearning,有太多东西太多方向可以选择了,那么究竟哪一条路才是最高效的通向目标的呢?这就是本周要说的。Orthogonalization 首先要有一个概念,就...原创 2018-02-22 16:42:39 · 340 阅读 · 0 评论 -
吴恩达Deeplearning.ai 知识点梳理(course 3,week 2)
本周主要讲的是Error Analysis、Mismatched Training and dev/test set,transfer learning,End to end learning几个话题。Error AnalysisCarrying out error analysis 在做错误分析的时候,最好是从错误的分类结果里边拿出100个左右的样本,做一个统计,究竟是那些...原创 2018-02-23 13:48:03 · 786 阅读 · 0 评论 -
目标检测(Object Detection)中性能衡量指标mean Average Precision(mAP)的含义与计算
背景 之前在研究Object Detection的时候,只是知道Precision这个指标,但是mAP(mean Average Precision)具体是如何计算的,暂时还不知道。最近做OD的任务迫在眉睫,所以仔细的研究了一下mAP的计算。其实说实话,mAP的计算,本身有很多现成的代码可供调用了,公式也写的很清楚,但是我认为仔细的研究清楚其中的原理更重要。 AP这个概念,其实主要是在...原创 2018-04-18 18:36:59 · 42244 阅读 · 8 评论 -
Single Bounding Box Regression(转载)
转载出处:https://blog.csdn.net/weixin_35653315/article/details/54571681转载 2018-04-20 10:54:49 · 262 阅读 · 1 评论 -
吴恩达Deeplearning.ai 知识点梳理(course 1,week 1)
吴恩达Deeplearning.ai 知识点梳理(course 1,week 1)吴恩达Deeplearningai 知识点梳理course 1week 1背景深度学习和神经网络概念两个神经网络的例子用神经网络进行监督学习概念例子结构化数据和非结构化数据概念例子为何最近一段时间深度学习火起来大规模数据的作用计算力提升的作用练习题精选背景 深度学习在过去的几年里,已经极大原创 2017-10-07 09:38:50 · 794 阅读 · 0 评论