![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
Sakura_gh
这个作者很懒,什么都没留下…
展开
-
机器学习系列全集,301页PDF精心整理!
机器学习笔记PDF版本合集原创 2020-08-05 16:02:28 · 9166 阅读 · 6 评论 -
机器学习系列27-循环神经网络RNN(Ⅱ)
Recurrent Neural Network(Ⅱ)上一篇文章介绍了RNN的基本架构,像这么复杂的结构,我们该如何训练呢?Learning TargetLoss Function依旧是Slot Filling的例子,我们需要把model的输出yiy^iyi与映射到slot的reference vector求交叉熵,比如“Taipei”对应到的是“dest”这个slot,则reference vector在“dest”位置上值为1,其余维度值为0RNN的output和reference vec原创 2020-08-05 12:19:10 · 1874 阅读 · 1 评论 -
机器学习系列26-循环神经网络(Ⅰ)
Recurrent Neural Network(Ⅰ)RNN,或者说最常用的LSTM,一般用于记住之前的状态,以供后续神经网络的判断,它由input gate、forget gate、output gate和cell memory组成,每个LSTM本质上就是一个neuron,特殊之处在于有4个输入:zzz和三门控制信号ziz_izi、zfz_fzf和zoz_ozo,每个时间点的输入都是由当前输入值+上一个时间点的输出值+上一个时间点cell值来组成IntroductionSlot Filli原创 2020-07-30 16:29:32 · 2522 阅读 · 0 评论 -
机器学习系列25-支持向量机
Support Vector Machine支持向量机(SVM)有两个特点:SVM=铰链损失(Hinge Loss)+核技巧(Kernel Method)注:建议先看这篇博客了解SVM基础知识后再看本文的分析Hinge LossBinary Classification先回顾一下二元分类的做法,为了方便后续推导,这里定义data的标签为-1和+1当f(x)>0f(x)>0f(x)>0时,g(x)=1g(x)=1g(x)=1,表示属于第一类别;当f(x)<0f(x)&l原创 2020-07-30 16:27:36 · 1180 阅读 · 0 评论 -
机器学习系列24-迁移学习
Transfer Learning如果本文对你有帮助,请给我的github打个star叭,上面附有全系列目录和内容!更多优质内容欢迎关注我的微信公众号“Sakura的知识库”:迁移学习,主要介绍共享layer的方法以及属性降维对比的方法Introduction迁移学习,transfer learning,旨在利用一些不直接相关的数据对完成目标任务做出贡献not directly related以猫狗识别为例,解释“不直接相关”的含义:input domain是类似的,但task是无原创 2020-07-12 21:03:04 · 1811 阅读 · 0 评论 -
机器学习系列23-无监督学习之生成模型
Unsupervised Learning: Generation如果本文对你有帮助,请给我的github打个star叭,上面附有全系列目录和内容!更多优质内容欢迎关注我的微信公众号“Sakura的知识库”:本文将简单介绍无监督学习中的生成模型,包括PixelRNN、VAE和GAN,以后将会有一个专门的系列介绍对抗生成网络GANIntroduction正如Richard Feynman所说,“What I cannot create, I do not understand”,我无法创造的东原创 2020-07-12 21:02:02 · 2049 阅读 · 0 评论 -
机器学习系列22-无监督学习之自编码器
Unsupervised Learning: Deep Auto-encoder如果本文对你有帮助,请给我的github打个star叭,上面附有全系列目录和内容!更多优质内容欢迎关注我的微信公众号“Sakura的知识库”:文本介绍了自编码器的基本思想,与PCA的联系,从单层编码到多层的变化,在文字搜索和图像搜索上的应用,预训练DNN的基本过程,利用CNN实现自编码器的过程,加噪声的自编码器,利用解码器生成图像等内容IntroductionAuto-encoder本质上就是一个自我压缩和解压的原创 2020-07-12 21:00:23 · 1772 阅读 · 0 评论 -
机器学习系列21-无监督学习之近邻嵌入
Unsupervised Learning: Neighbor Embedding如果本文对你有帮助,请给我的github打个star叭,上面附有全系列目录和内容!更多优质内容欢迎关注我的微信公众号“Sakura的知识库”:本文介绍了非线性降维的一些算法,包括局部线性嵌入LLE、拉普拉斯特征映射和t分布随机邻居嵌入t-SNE,其中t-SNE特别适用于可视化的应用场景PCA和Word Embedding介绍了线性降维的思想,而Neighbor Embedding要介绍的是非线性的降维Manif原创 2020-07-12 20:58:39 · 804 阅读 · 0 评论 -
机器学习系列20-无监督学习之词嵌入
Unsupervised Learning: Word Embedding如果本文对你有帮助,请给我的github打个star叭,上面附有全系列目录和内容!更多优质内容欢迎关注我的微信公众号“Sakura的知识库”:本文介绍NLP中词嵌入(Word Embedding)相关的基本知识,基于降维思想提供了count-based和prediction-based两种方法,并介绍了该思想在机器问答、机器翻译、图像分类、文档嵌入等方面的应用Introduction词嵌入(word embedding原创 2020-07-06 21:15:27 · 1816 阅读 · 0 评论 -
机器学习系列19-矩阵分解&推荐系统初步
Matrix Factorization如果本文对你有帮助,请给我的github打个star叭,上面附有全系列目录和内容!辛苦整理码字不易,免费分享给大家,也希望大家能帮忙点一点链接,给我更多的更新动力!本文介绍矩阵分解思想及其在推荐系统上的应用,分析用户背后的隐藏属性并预测其行为Introduction接下来介绍矩阵分解的思想:有时候存在两种object,它们之间会受到某种共同潜在因素(latent factor)的操控,如果我们找出这些潜在因素,就可以对用户的行为进行预测,这也是推荐系统原创 2020-07-03 10:11:02 · 808 阅读 · 0 评论 -
机器学习系列18-无监督学习之PCA深入探讨(Ⅱ)
Unsupervised Learning: PCA(Ⅱ)如果本文对你有帮助,请给我的github打个star叭,上面附有全系列目录和内容!辛苦整理码字不易,免费分享给大家,也希望大家能帮忙点一点下图链接,给我更多的更新动力!本文主要从组件和SVD分解的角度介绍PCA,并描述了PCA的神经网络实现方式,通过引入宝可梦、手写数字分解、人脸图像分解的例子,介绍了NMF算法的基本思想,此外,还提供了一些PCA相关的降维算法和论文Reconstruction Component假设我们现在考虑的是手原创 2020-07-02 13:46:52 · 2769 阅读 · 0 评论 -
机器学习系列17-无监督学习之PCA推导(Ⅰ)
Unsupervised Learning: PCA(Ⅰ)如果本文对你有帮助,请给我的github打个star叭,上面附有全系列目录和内容!辛苦整理码字不易,免费分享给大家,也希望大家能帮忙点一点链接,给我更多的更新动力叭!本文将主要介绍PCA算法的数学推导过程上一篇文章提到,PCA算法认为降维就是一个简单的linear function,它的input x和output z之间是linear transform,即z=Wxz=Wxz=Wx,PCA要做的,就是根据xxx把W给找出来(zzz未知原创 2020-07-02 13:43:54 · 1160 阅读 · 0 评论 -
机器学习系列16-无监督学习引言
Unsupervised Learning: Introduction如果本文对你有帮助,请给我的github打个star叭,上面附有全系列目录和内容!辛苦整理码字不易,免费分享给大家,也希望大家能帮忙点一点链接,给我更多的更新动力叭!Unsupervised Learning无监督学习(Unsupervised Learning)可以分为两种:化繁为简聚类(Clustering)降维(Dimension Reduction)无中生有(Generation)对于无监督学习(Un原创 2020-06-29 22:02:54 · 1064 阅读 · 0 评论 -
机器学习系列15-半监督学习
如果本文对你有帮助,请给我的github打个star叭辛苦整理码字不易,免费分享给大家,也希望大家能帮忙点一点下面的图片,给我更多的更新动力叭!半监督学习(semi-supervised learning)1、introduction2、Semi-supervised Learning for Generative Model3、Low-density Separation Assumption:非黑即白4、Smoothness Assumption:近朱者赤,近墨者黑5、Better R原创 2020-06-28 08:24:13 · 2485 阅读 · 1 评论 -
机器学习前沿算法介绍
上一篇推文介绍了机器学习领域比较常见的几种算法,除此之外,随着人工智能深度学习技术的飞速发展,也涌现了不少前沿研究和新的算法,本文会对上一篇推文进行简要回顾,并扩展介绍一些前沿算法机器学习算法回顾机器学习的本质就是寻找一个函数,它根据某种统计意义来预测现实中已发生或即将发生的现象,这个函数可以相当复杂,它也许具有上千万个参数,以至于根本没有人能够把这个函数的数学表达式给手写出来,但幸运的是,机器可以。给机器指定明确的任务当然机器是很笨的,你要给机器指派任务,首先要做的就是明确自己要找什么样的函.原创 2020-06-03 22:22:17 · 4189 阅读 · 0 评论 -
机器学习实战项目汇总
ML assignments, about Regression, Classification, CNN, RNN, Explainable AI, Adversarial Attack, Network Compression, Seq2Seq, GAN, Transfer Learning, Meta Learning, Life-long Learning, Reforcement Learning. It will be challenge but cheerful work!Learnin.原创 2020-05-29 13:01:40 · 1876 阅读 · 0 评论 -
机器学习笔记汇总
ML-notesnotes about machine learning很喜欢一句话:应用之道,存乎一心,与大家共勉ps:如果我的笔记对你有帮助,给个star叭!ML配套Assignments (ppt+code):https://github.com/Sakura-gh/ML-assignments内容包括:Regression, Classification, CNN, RNN, Explainable AI, Adversarial Attack, Network Compression,原创 2020-05-29 12:58:31 · 2204 阅读 · 0 评论 -
机器学习系列14-为什么要做“深度”学习
Why Deep?如果本文对你有帮助,请给我的github打个star叭,上面附有全系列目录和内容!本文主要围绕Deep这个关键词展开,重点比较了shallow learning和deep learning的区别:shallow:不考虑不同input之间的关联,针对每一种class都设计了一个独立的model检测deep:考虑了input之间的某些共同特征,所有class用同个model...原创 2020-02-22 23:26:19 · 2209 阅读 · 4 评论 -
机器学习系列13-深度学习的技巧和优化方法
Tips for Deep Learning本文共12829字,手打不易,如果对你有帮助,请给我的github打个star吧,上面附有全系列文章和目录本文会顺带解决CNN部分的两个问题:1、max pooling架构中用到的max无法微分,那在gradient descent的时候该如何处理?2、L1 的Regression到底是什么东西本文的主要思路:针对training set和t...原创 2020-02-21 16:58:56 · 2390 阅读 · 6 评论 -
机器学习系列12-卷积神经网络CNN part2
Convolutional Neural Network part2如果本文对你有帮助,请给我的github打个star叭,上面附有全系列目录和内容!人们常常会说,deep learning就是一个黑盒子,你learn完以后根本就不知道它得到了什么,所以会有很多人不喜欢这种方法,这篇文章就讲述了三个问题:What does CNN do?Why CNN?How to design CNN?...原创 2020-02-19 14:30:28 · 2420 阅读 · 1 评论 -
机器学习系列11-卷积神经网络CNN part1
Convolutional Neural network(part 1)CNN常常被用在影像处理上Why CNN for Image?CNN V.s. DNN我们当然可以用一般的neural network来做影像处理,不一定要用CNN,比如说,你想要做图像的分类,那你就去train一个neural network,它的input是一张图片,你就用里面的pixel来表示这张图片,也就是...原创 2020-02-18 10:39:59 · 5568 阅读 · 4 评论 -
机器学习系列10-手写数字识别(Keras2.0)
Keras2.0Why Keras你可能会问,为什么不学TensorFlow呢?明明tensorflow才是目前最流行的machine learning库之一啊。其实,它并没有那么好用,tensorflow和另外一个功能相近的toolkit theano,它们是非常flexible的,你甚至可以把它想成是一个微分器,它完全可以做deep learning以外的事情,因为它的作用就是帮你算微分,...原创 2020-02-15 15:41:21 · 2848 阅读 · 4 评论 -
机器学习系列9-反向传播
BackpropagationBackpropagation(反向传播),就是告诉我们用gradient descent来train一个neural network的时候该怎么做,它只是求微分的一种方法,而不是一种新的算法Gradient Descentgradient descent的使用方法,跟前面讲到的linear Regression或者是Logistic Regression是...原创 2020-02-14 13:43:32 · 2574 阅读 · 1 评论 -
机器学习系列8-深度学习简介
Deep LearningUps and downs of Deep Learning1958:Perceptron(linear model),感知机的提出和Logistic Regression类似,只是少了sigmoid的部分1969:Perceptron has limitation,from MIT1980s:Multi-layer Perceptron,多层感知机...原创 2020-02-13 18:05:48 · 2906 阅读 · 1 评论 -
机器学习系列7-逻辑回归
Logistic RegressionReview在classification这一章节,我们讨论了如何通过样本点的均值uuu和协方差Σ\SigmaΣ来计算P(C1),P(C2),P(x∣C1),P(x∣C2)P(C_1),P(C_2),P(x|C_1),P(x|C_2)P(C1),P(C2),P(x∣C1),P(x∣C2),进而利用P(C1∣x)=P(C1)P(x∣C1)P(C1)P...原创 2020-02-12 23:23:09 · 3438 阅读 · 1 评论 -
机器学习系列6-分类问题(概率生成模型)
Classification: Probabilistic Generative ModelClassification概念描述分类问题是找一个function,它的input是一个object,它的输出是这个object属于哪一个class还是以宝可梦为例,已知宝可梦有18种属性,现在要解决的分类问题就是做一个宝可梦种类的分类器,我们要找一个function,这个function的inp...原创 2020-02-11 23:32:38 · 5917 阅读 · 4 评论 -
机器学习系列5-梯度下降法
Gradient DescentReview前面预测宝可梦cp值的例子里,已经初步介绍了Gradient Descent的用法:In step 3, we have to solve the following optimization problem:θ∗=argminθL(θ)\theta^{*}=\arg \underset{\theta}{\min} L(\theta) \q...原创 2020-02-10 22:21:25 · 3563 阅读 · 2 评论 -
机器学习系列4-模型的误差来源及减少误差的方法
Where does the error come from?Review之前有提到说,不同的function set,也就是不同的model,它对应的error是不同的;越复杂的model,也许performance会越差,所以今天要讨论的问题是,这个error来自什么地方error due to biaserror due to variance了解error的来源其实是很重要的...原创 2020-01-26 18:44:41 · 5025 阅读 · 2 评论 -
梯度下降代码举例:Gradient Descent Demo(Adagrad)
Regression:linear model这里用的是 Adagrad ,接下来的课程会再细讲,这里只是想显示 gradient descent 实作起来没有想像的那么简单,还有很多小技巧要注意这里采用最简单的linear model:y_data=b+w*x_data我们要用gradient descent把b和w找出来当然这个问题有closed-form solution,这个b...原创 2020-01-23 15:17:09 · 4845 阅读 · 6 评论 -
机器学习系列2-回归案例研究
Regression:Case Study回归-案例研究问题的导入:预测宝可梦的CP值Estimating the Combat Power(CP) of a pokemon after evolution我们期望根据已有的宝可梦进化前后的信息,来预测某只宝可梦进化后的cp值的大小确定Senario、Task和ModelSenario首先根据已有的data来确定Senario,我...原创 2020-01-22 16:43:30 · 7823 阅读 · 10 评论 -
机器学习系列1-机器学习概念及介绍
Introductiondefine a set of function(model) -> goodness of function -> pick the best functionLearning Map下图中,同样的颜色指的是同一个类型的事情蓝色方块指的是scenario,即学习的情境。通常学习的情境是我们没有办法控制的,比如做reinforcement Learn...原创 2020-01-21 12:05:09 · 14096 阅读 · 0 评论