关注
分享
我是个粉刷匠
专注于深度学习和机器学习等算法领域，拥有kaggle项目经验，目前主要从事语音处理和图像处理在深度学习技术方面的研究与应用，熟悉Keras、Matlab、TensorFlow、Linux等。邮箱：tanghaitao_ape@163.com
展开
-
What is Machine Learning, Deep Learning and Structured Learning?
目录机器学习框架Deep learning什么是深度学习？Deep v.s. Shallow深度学习的大起大落世人都道深度好，为啥深度好？Structured Learning链接：http://speech.ee.ntu.edu.tw/~tlkagk/courses/MLDS_2015_2/Lecture/Brief%20ML%20(v2).pdf首先我们在学...原创 2018-07-18 13:08:23 · 730 阅读 · 0 评论 -
Neural Network(Basic Ideas)
目录A layer of NeuronLimitation of Single LayerWhat is the model?公式字母统一Relations between Layer OutputsWhat is the “best” function?How to pick the “best” function?Gradient Descent的研究Pra...原创 2018-07-18 15:01:37 · 256 阅读 · 1 评论 -
Neural Network with Memory
目录Vanilla Recurrent Neural Network (RNN)RNNCostApplicationVariants of RNNLong Short-term Memory (LSTM)链接：http://speech.ee.ntu.edu.tw/~tlkagk/courses/MLDS_2015_2/Lecture/RNN%20(v4).pdfV...原创 2018-07-24 19:04:53 · 484 阅读 · 0 评论 -
Training Recurrent Neural Network
目录ProblemClipping the gradientsAdvanced optimization technologyNAG (NAG是Momentum的进化版)RMSprop (RMSprop是Adagrad进化版)Try LSTM (or other variants)Better initialization链接：http://speech.ee....原创 2018-07-24 20:07:03 · 456 阅读 · 0 评论 -
Backpropagation
目录残差的计算前向传播与反向传播比较神经网络全程回顾链接：http://speech.ee.ntu.edu.tw/~tlkagk/courses/MLDS_2015_2/Lecture/DNN%20backprop.pdf今天我还是比较开心，因为解决了屯了很久的问题，即BP反向传播。很多人会觉得奇怪，它不就是链式法则、求偏导和梯度下降法更新吗？是的，确实知识点就这么多，但是这个...原创 2018-07-19 13:54:23 · 2244 阅读 · 0 评论 -
Sequence Labeling Problem
目录Hidden Markov Model (HMM)HMM缺点Conditional Random Field (CRF)CRF v.s. HMMStructured Perceptron/SVMTowards Deep Learning小结链接：http://speech.ee.ntu.edu.tw/~tlkagk/courses/MLDS_2015_...原创 2018-07-28 22:21:08 · 1264 阅读 · 1 评论 -
Tips for Training Deep Neural Network
目录Activation FunctionReLU激活函数梯度消失问题ReLU的缺点及其解决方法MaxoutCost FunctionSoftmaxCross EntropyData PreprocessingOptimizationLearning RateMomentumGeneralizationEarly StoppingWeig...原创 2018-07-22 21:13:19 · 425 阅读 · 0 评论 -
Structured Support Vector Machine
目录Structured LearningSeparable caseNon-separable caseConsidering ErrorsRegularizationStructured SVMMulti-class and binary SVM小结链接：http://speech.ee.ntu.edu.tw/~tlkagk/courses/MLDS_2...原创 2018-07-27 15:57:04 · 866 阅读 · 0 评论