机器学习
文章平均质量分 71
hwcj2009
这个作者很懒,什么都没留下…
展开
-
机器学习系列 - 入门
机器学习的整体框架1.有监督的机器学习整体架构,总共分为是哪个步骤 Step1 挑选一系列的方程,称之为模型 Step2 将方程带入训练集进行好坏的判定 Step3 挑选最好的方程来对测试数据进行测试学习曲线图我理解的对于机器学习的定义:机器学习就是用Linear Model \ Deep Learning \ SVM \ decision tree \ K-NN ..... 等...原创 2018-04-17 15:18:48 · 172 阅读 · 0 评论 -
机器学习系列 九 -3. Tips for Deep Learning - for testing data
下图所说的testing data 不是真正的testing data, 而是我们已经labeled 数据,是validation set一. Early Stopping理想情况下,在training set上如果leraning rate 调的对的话,total loss 会越来越小;但我们也知道在testing set 和training set 上他们的distribution 分布 不...原创 2018-04-18 13:38:54 · 179 阅读 · 0 评论 -
机器学习系列 九 - 2. Tips for Deep Learning - adaptive learning rate
下图所说的testing data 不是真正的testing data, 而是我们已经labeled 数据,是validation setAdaptive Learning Rate之前再讲gradient descent的时候已经讲过adaptive learning rate了。在那个时候,我们会用一次微分来估算二次微分的值,那是在假设说二次微分很固定的情况。在·但是实际上,我们真正面对问题的...原创 2018-04-18 13:38:28 · 660 阅读 · 0 评论 -
机器学习系列 九 - 1. Tips for Deep Learning - new activation function
下图所说的testing data 不是真正的testing data, 而是我们已经labeled 数据,是validation set产生的问题如果在training data得到了好的结果,在testing data上没有得到好的结果 一般我们认为这是产生了 overfitting但是,得到的结果不好并不一定总是overfitting。这就是deep learning 和其他机器学习算法的不...原创 2018-04-18 13:38:01 · 212 阅读 · 0 评论 -
机器学习系列 八 - 3.How can I save a Keras model
如何在Keras中保存一个模型?保存/加载整个模型(结构 + 权重 + 优化器状态)保存Keras 模型不推荐使用pickle 或者cPickle你可以使用 model.save(filepath) 来保存一个Keras 模型到一个单独的HDF5文件中,它将包含如下:模型的结构, 允许重新创建模型模型的权重training的配置(loss function, 优化器optimizer)优化器状态,...原创 2018-04-18 13:37:33 · 343 阅读 · 0 评论 -
机器学习系列 八 - 2.使用Keras build一个网络 Keras 2.0 版本语法
还是手写数字辨识问题第一步,设计架构(模型)老版本中,我们每一层的输出,在1.0版本里面参数名字是output,而在Keras2.0里面,改成了units,这个看上去更为直观,表明下一层我要输出多少个节点。并制定激活函数。然后,因为下一层的输入就是上市上一层的输出,所以下一层里面不需要在生命input dimension了,input就是500。那直接定义units,就是输出到下一层的节点数。并指...原创 2018-04-18 13:37:00 · 896 阅读 · 0 评论 -
机器学习系列 八 - 1. Hello World of Deep Learning
Hello World of Deep Learning使用KerasKeras其实呢就是TensorFlow或者theano 的一个接口,只是已经进过一些封装是底层更为简单易用。后台的ThensoFlow和theano是可以进行修改实现的。我们开始做第一个例子,手写字识别Keras中mnist数据集测试 下载Keras开发包>>> conda install git>&...原创 2018-04-18 13:36:26 · 271 阅读 · 0 评论 -
机器学习系列 七 - 延展 Back Propagation
回顾微分链式求导法则那么,我们把L可以看做是多个 l 的偏微分的求和我们某一个neural 单独拿出来看看。向前计算,可以容易计算z对w的偏微分,后向计算,可以容易计算l对z的偏微分。开始计算:1,计算z分别对于weight的偏微分,当然根据 z= x1w1 + x2w2 + b,容易分别的大x1和x2Forward Pass那结论其实就是, z 对于weight求微分的结果就是他对应的输入的值。...原创 2018-04-17 16:08:39 · 226 阅读 · 0 评论 -
机器学习系列 七 Deep Learning
Deep Learning在google 内部的应用,呈指数及成长DL简史:1980年代的多层感知机跟2006年的RBM initialization到底有什么区别?答案是没有区别,唯一的差别就是使用了RBM的就叫做Deep Learning,没使用RBM的就叫做多层感知机。但是得到的效果是一样的......但是从2009年GUP计算出来之后,对于deep learning的计算速度有了翻天覆地的...原创 2018-04-17 16:08:10 · 717 阅读 · 0 评论 -
机器学习系列 六 Logistic Regression逻辑回归
逻辑回归如果用图像化表示:Logistical Regression的模型就是这样Z = 求和WiXi + b现在,来按照机器学习的三部曲来一步一步的进行。第一步,选择模型 也就是function set我们从这里可以看出,LR 是在线性回归的model前面加入了sigmod的function,好让线性模型的输出是介于0和1之间。他的输出就是概率。possibility第二步,判断function...原创 2018-04-17 16:06:43 · 213 阅读 · 0 评论 -
机器学习系列 五 Classification 分类
分类的问题:1. 信用卡借贷判断input: 收入、存款、职业、年龄、过去的财务历史等等....output: 借钱 或 不借钱2.医疗诊断input: 某个人的症状、年龄、性别、旧病史等等....output: 他生的是哪一种病3.手写文字辨识input:手写字图片output: 属于哪个字(中文有8000个字)那就是要做test 的classification4.人脸识别inp...原创 2018-04-17 16:03:36 · 824 阅读 · 0 评论 -
机器学习系列 四 Gradient Descent以及升级内容
前情回顾回顾上节课中涉及到的Gradient Descent 内容:现在假设θ就是一个模型的参数集合,我们使用loss function 来更新参数集合的变化。然后我们使用如下式子来代表Loss function对于参数的偏微分:那我们用可视化的方式来看这个问题:目前假设只有两个参数,我们随机选一个初始位置θ0,我们一步一步按照graident descent的方式,红色代表gradient,就是...原创 2018-04-17 16:03:04 · 337 阅读 · 0 评论 -
机器学习系列 三 - 延伸 方差和样本方差
课堂上的出来的结论:样本方差的和总体方差是不等的,而是存在一个无偏估计的系数(N-1)/N先给出概念定义和公式:设样本均值为,样本方差为,总体均值(期望)为,总体方差为,那么样本方差有如下公式:样本方差用来表示一列数的变异程度。样本均值又叫样本均数。即为样本的均值。样本方差的公式为 其中 为样本均值。如果已知随机变量 的期望为 ,那么可以如下计算总体方差 :这是方差的定义,使用随机一个样本...原创 2018-04-17 16:01:48 · 445 阅读 · 0 评论 -
机器学习系列 三 误差从何而来
使用普通的gradient descent 来进行更新参数,经过1万次后的成果:距离最佳解依然非常遥远看样子可能是learning rate 不够大,把learning rate 调大10倍后:虽然距离最佳解近了一点,但是有一个剧烈的震荡会不会是learning rate还不够大呢,再次调大10倍:参数飞出范围了....不好!!gradient descent 无法解决这个问题,竟然只有两个参数都...原创 2018-04-17 16:00:23 · 610 阅读 · 0 评论 -
机器学习系列 二 Regression 回归
案例举例1. 股票市场预估2. 无人车3. 商品推荐系统实际案例:用回归预估宝可梦的cp值(战斗值)野外找到一只妙蛙种子, 喂一些糖,让他成长找一个function 来对改宝可梦得各种特性x进行进化,输出一个cp值Xcp, Xw, Xh,Xhp第一步,给出一些模型,比如带入b和w的值,如下有n多个可能性,有的带入值合理,有的值不合理。这样的一个模型,我们称之为线性模型,那么w的权重乘上输入的不同的...原创 2018-04-17 15:58:56 · 241 阅读 · 0 评论 -
Optimization Method 简易进化论
原创 2018-05-08 11:22:10 · 444 阅读 · 0 评论