机器学习
文章平均质量分 75
你看起来很好吃
这个作者很懒,什么都没留下…
展开
-
delta法则(梯度下降)
背景:尽管当训练样例线性可分时,感知器法则可以成功地找到一个权向量,但如果样例不是线性可分时它将不能收敛。因此,人们设计了另一个训练法则来克服这个不足,称为 delta 法则(delta rule)。如果训练样本不是线性可分的,那么 delta 法则会收敛到目标概念的最佳 近似。 delta 法则的关键思想是使用梯度下降(gradient descent)来搜索可能转载 2016-09-19 11:32:41 · 11082 阅读 · 1 评论 -
朴素贝叶斯NB
1、分类原理简单的说就是利用了概率论的两个公式:全概率公式、贝叶斯公式。假设我们有两个特征X1、X2和一个目标分类Y(0或1)。已知新的样本特征值,预测其分类。这个可以看作是求条件概率P(y|x=(x1,x2)) = P(x,y) / P(x) = P(y)P(x|y) / [ P(y=0)P(x|y=0) + P(y=1)P(x|y=1)]我们可以通过极大似然估计出先验概率P(y原创 2017-03-17 11:34:23 · 361 阅读 · 0 评论 -
神经网络细节与训练注意事项
主要内容:神经网络训练注意事项:1、权重初始化2、Batch Normalization3、正则化和Dropout4、训练状态监控5、最优化与参数更新方法深层CNN与ResNet:1、ResNet结构浅析2、Mxnet与简单ResNet实现最常见的训练过程:站在巨人的肩膀上---做fine-tuning caffe下面的Model转载 2017-03-25 20:55:02 · 4594 阅读 · 0 评论 -
神经网络(ANN)
先抛出几个问题:1、怎么求解2、优缺点3、反向传播,梯度为什么会弥散4、激活函数怎么选取5、几个优化方案?一、神经元模型神经网络中最基本的成分就是神经元模型:神经元接收到来自n个其他神经元传递过来的输入信号,这些输入信号通过带权重的连接进行传递,神经元收到的总输入值将与神经元的阈值(又叫偏置)进行比较,然后通过“激活函数”处理以产生神经元的输出。原创 2017-03-17 22:21:41 · 4173 阅读 · 0 评论 -
GBDT
一、理论训练流程:1 估计初值2 按如下方式构造M颗树 2.1 随机选取部分样本作为本颗树的训练数据 2.2 按如下方式寻找最优分裂点,进行N次叶子节点的分裂 2.2.1 对当前所有叶子节点 2.2.1.1转载 2016-09-19 11:26:59 · 811 阅读 · 1 评论 -
SoftMax回归
我是在学习TensorFlow第一个实践案例《识别手写数字》里面发现简单的多分类问题解决办法SoftMax回归,这一名词的。为什么对多分类算法如此寡闻?因为我们大多学习了二分类之后,就想当然的觉得,可以构建多个二分类模型,比如A、B、C三类,建立A|其他类;B|其他类;C|其他类;来进行多分类预测。拿A|其他类 这个二分类问题来说,可能更加适合 类别B与类别C有种相关性的场景(原创 2017-03-13 16:19:57 · 327 阅读 · 0 评论 -
NLP、词嵌入与相关应用
NLP常见任务:自动摘要指代消解 小明放学了,妈妈去接他机器翻译词性标注分词(中文,日文等) 大水沟/很/难/过主题识别文本分类转载 2017-03-29 15:47:03 · 640 阅读 · 0 评论 -
CNN与迁移学习
图像相关任务:1、物体识别(faster R-CNN)2、图片识别+定位3、物体检测4、图像分割图片定位:输入:image输出:物体边界框(x,y,w,h);x,y是左上角坐标,w是宽度,h是高度。评价准则:交并准则思路1:看成回归问题。因为有四个数字步骤1: 先解决简单问题,搭一个识别图像的神经网络。在经典CNN上进行fin转载 2017-03-29 13:47:15 · 5449 阅读 · 0 评论 -
Adaboost算法
我们之前学习的一些算法都是单挑类型的,即一个算法直接拿来分类和预测。但有时候一个人的力量是有限的,可能准确率只比50%高一点点,这样的学习器,我们称为弱学习器。相应的,如果一个算法正确率很高,则称为强学习器。今天我们要说的就是一个强学习算法,Adaboost算法,他由多个弱学习器进行加权组合而成,每个弱学习器之间还有着紧密联系(这区别于bagging方法),且损失函数是以指数级下降。可以说,三原创 2017-03-04 17:31:40 · 210 阅读 · 0 评论 -
支持向量机
背景知识:我们拿到一个有标记的数据集后,会想,如果我能有个数学公式来预测lable就好了。这个数学公式可能长这样:wTx。 接下来我们就想,我们预测的准确吗?于是我们想到了一些验证准确性的函数,或者换句话,预测结果与真实结果误差的函数,也就是损失函数。我们可能会找到很完美的数学公式,让损失函数最小,但是这仅仅是训练集上的。。。可能在测试集或其他数据集上就会表现很差,这个现象就是过拟原创 2017-02-19 20:55:32 · 483 阅读 · 0 评论 -
最优化算法
http://spark.apache.org/docs/1.6.3/mllib-optimization.htmlMathematical descriptionGradient descentStochastic gradient descent (SGD)Update schemes for distributed SGDLimited-memory BF原创 2017-02-19 20:36:15 · 379 阅读 · 0 评论 -
线性回归
单变量线性回归:前阵子,一个学生从波特兰俄勒冈州的研究所收集了一些房价的数据。你把这些数据画 出来,看起来是这个样子:横轴表示房子的面积,单位是平方英尺,纵轴表示房价,单位是 千美元。那基于这组数据,假如你有一个朋友,他有一套 750 平方英尺房子,现在他希望把 房子卖掉,他想知道这房子能卖多少钱。 线性回归 > image2016-7-16 16:36:29.png转载 2016-09-19 11:39:22 · 222 阅读 · 0 评论 -
模型评估方法
分类模型:1、准确率、覆盖率(召回)、命中率、Specificity(负例的覆盖率)先看一个混淆矩阵:实际\预测10 1(正例)ab(弃真)a+b0(负例)c(取伪)dc+d a+cb+da+b+c+d转载 2016-09-19 11:36:52 · 11336 阅读 · 0 评论 -
感知器法则
感知器以一个实数值向量作为输入,计算这些输入的线性组合,然后如果结果大于某个阈值就输出 1,否则输出-1。更精确地,如果输入为 x1 到 xn,那么感知器计算的输出为: 感知器法则 > image2016-7-16 18:15:44.png" src="http://wiki.sankuai.com/download/attachments/550800419/image2016-7-16%转载 2016-09-19 11:33:52 · 1694 阅读 · 1 评论 -
6、卷积神经网络CNN
我们知道多层神经网络(DNN)有很强的特征学习能力,但是他有一些局限:1、因为全连接,所以权重参数特别多,且对参数初始化很敏感2、正是因为参数很多,所以很容易过拟合。以上这两点在进行图像分类时,尤为严重。卷积神经网络大大缓解了DNN参数多的问题,主要有以下几点:1、全连接,改为局部连接,借鉴猫眼的感受野思想。2、同一个滑动窗口,从左上角滑至右下角的过程中,权重是共享转载 2017-03-22 21:20:05 · 1283 阅读 · 0 评论