fxlou-CSDN博客

原创 Holt-Winters 季节方法

Holt (1957)和Winters (1960) 扩展了Holt的方法来捕捉季节性变化，该方法分为预测方程和三个平滑方程，一个是水平ltltl_t，一个是趋势btbtb_t，一个是季节性成分ststs_t，采用平滑参数α,β∗α,β∗\alpha,\beta^*和γγ\gamma，用mmm代表季节性周期，例如一年中季节的数量，季的数量m=4m=4m=4，月的数量m=12m=12m=12。该...

2018-03-25 22:44:26 6056

原创 Holt 线性趋势模型，指数趋势模型和阻尼形式

1 Holt线性趋势模型 Holt 在1957年把简单的指数平滑模型进行了延伸，能够预测包含趋势的数据，该方法包含一个预测方程和两个平滑方程（一个用于水平，另一个用于趋势）： Forecast equationLevel equationTrend equationy^t+h|tℓtbt=ℓt+hbt=αyt+(1−α)(ℓt−1+bt−1)=β∗(ℓt−ℓt−1)+(1−β∗)bt−1For...

2018-03-24 22:20:28 12136 2

原创简单指数平滑

简单指数平滑简单指数平滑法（SES）适用于预测没有趋势和季节性的模型。 y^T+1|T=αyT+α(1−α)yT−1+α(1−α)2yT−2+⋯,y^T+1|T=αyT+α(1−α)yT−1+α(1−α)2yT−2+⋯,\hat{y}_{T+1|T} = \alpha y_T + \alpha(1-\alpha) y_{T-1} + \alpha(1-\alpha)^2 y_{T-2}+ \...

2018-03-24 15:51:38 8624

原创《统计学习方法》读书笔记-----决策树：CART算法

0. 概述分类与回归树（classification and regression tree, CART）模型由Breiman等人在1984年提出，是应用广泛的决策树学习方法，既可以用于分类也可以用于回归。 CART是在给定输入随机变量XXX条件下输出随机变量YYY的条件概率分布的学习方法。主要由以下两步组成：（1）决策树生成：基于训练数据集生成决策树，生成的决策树要尽量大。（2）决...

2018-03-18 09:44:30 807 1

原创《统计学习方法》读书笔记-----决策树：ID3，C4.5生成算法和剪枝

1. ID3算法 ID3算法的核心是在决策树各个节点上应用信息增益准则选择特征，递归地构建决策树。具体方法是：从根节点开始，对结点计算所有可能的特征的信息增益，选择信息增益最大的特征作为结点的特征，由该特征的不同取值建立子节点；再对子节点递归地调用以上方法构建决策树；直到所有的信息增益均很小或没有特征可以选择为止。最后得到一个决策树。ID3相当于用极大似然法进行概率模型的选择。2. ...

2018-03-17 17:21:26 333

原创《统计学习方法》读书笔记-----决策树：特征选择

特征选择特征选择就是选取对训练数据具有分类能力的特征，这样可以提高决策树学习的效率。通常特征选择的准则是信息增益或信息增益比。 1. 熵和条件熵在信息论与概率统计中，熵（entropy）是表示随机变量不确定性的度量。设XXX是一个取有限个值的离散随机变量，其概率分布为 P(X=xi)=pi,i=1,2,...,nP(X=xi)=pi,i=1,2,...,nP(X=x_i)=p_i,...

2018-03-17 16:28:43 376

原创《统计学习方法》读书笔记-----决策树：模型概述

0.简介决策树是一种基本的分类与回归方法。决策树呈树形结构，分类问题的决策树可以认为是if-then规则地集合，也可以认为是定义在特征空间和类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快，学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对于新的数据，利用决策树模型进行分类。决策树学习通常分为3个步骤：特征选择、决策树的生成和决策树的修剪。1.决策树...

2018-03-17 11:14:56 424

原创 prophet模型小结

1. Introduction 在许多自然科学或商业活动中，对于时间序列的预测起着非常重要的作用。但是，做出高精度的预测无论对计算机还是对人类分析师来说都不是一个简单的事情。主要有两个原因：1.完全自动化的预测模型灵活性很差，很难考虑到一些有用的假设或一些具有启发性的条件。2.分析师一般对本领域有深刻的理解，但是对于时间序列的预测往往经验不足。本研究要做的是为不同情况下的预测行为提供一些有用...

2018-03-16 08:47:27 21701 1

原创王燕《应用时间序列分析》学习笔记2

平稳时间序列分析一个序列经过预处理被识别为平稳非白噪声序列，就说明该序列是一个蕴含着相关信息的平稳序列。在统计上，我们通常是建立一个线性模型来拟合该序列的发展，借此提取该序列中的有用信息。ARMA(auto regression moving average)模型是目前最常采用的平稳序列拟合模型。1.方法性工具 1.1 差分运算一阶差分： ∇xt=xt−xt−1∇xt=xt−xt−...

2018-03-15 20:28:35 5683 1

原创王燕《应用时间序列分析》学习笔记1

1.时间序列的定义在统计研究中，常用按时间顺序排列的一组随机变量 ...,X1,X2,...,Xt,......,X1,X2,...,Xt,......,X_1,X_2,...,X_t,...来表示一个随机时间的时间序列，简记为Xt,t∈TXt,t∈TX_t,t\in T或XtXt{X_t}。在拿到一个观察值序列之后，首先要对它的平稳性和纯随机性进行检验，称之为序列的预处理。2.平稳...

2018-03-14 22:28:24 9284

原创吴恩达《深度学习工程师》课程笔记--章节目录

第 1 门课程：神经网络和深度学习（Neural Networks and Deep Learning）第一周深度学习概论（Introduction to deep learning）学习驱动神经网络兴起的主要技术趋势，了解现今深度学习在哪里应用、如何应用。1.1 欢迎来到深度学习工程师微专业（Welcome） 1.2 什么是神经网络？（What is a neural net...

2018-03-05 11:40:54 1567

原创吴恩达《深度学习工程师》Part3.Week2 机器学习策略（二）

2.1 进行误差分析如果你构建的神经网络模型不能达到人类的水平，你可以手工查看模型错误的地方，这有助于你确定下一步如何进行改进。例如在猫的二分类模型中，出现了不少把狗认为是猫的错误判断，那么是不是应该建立一个专门判别狗的模型或者在训练集中增加狗的图片来减少把狗的错判率呢？可以这样做，找出100个错误判断的训练集，看里面有多少个是狗的图片，如果狗的图片只占5%，那么即使你专门针对狗的分类...

2018-02-27 19:51:02 423

原创吴恩达《深度学习工程师》Part3.Week1 机器学习策略（一）

1.1 为什么要选择ML策略当你想要对一个神经网络模型进行改进时，调整方法可能会很多，比如： 1.扩增训练集的数目 2.增加训练集的多样性 3.用梯度下降法训练模型更长的时间 4.尝试新的梯度下降法策略，比如Adam 5.增大或减小网络规模的大小 6.尝试dropout 7.填加L2L2L2正则化 8.改变网络的算法结构，例如改变激活函数、改变隐藏节点的数目等。如果按照不合...

2018-02-23 23:16:23 409

原创吴恩达《深度学习工程师》Part2.Week3 超参数调试、Batch正则化及程序框架

3.1 调试处理在训练神经网络模型时，超参数的选取是一个非常麻烦且费时的过程。主要的超参数包括： 1.α 1.α 1.\alpha\ 学习率 2.β1 momentum2.β1 momentum2.\beta_1\ momentum梯度下降法参数 3.#hiddien units 3.#hiddien units&n...

2018-02-22 23:24:51 443

原创吴恩达《深度学习工程师》Part2.Week2 优化算法

2.1 Mini-batch梯度下降法机器学习的应用是高度依赖经验的过程，伴随着大量的迭代过程，需要训练大量的模型才能找到最合适那个。Mini-batch梯度下降法是一种有效的能够提升计算效率的优化算法。假如你的模型有5,000,000个样本，如果直接对整个样本集（batch）进行训练的话，过程将会非常缓慢。因此，可以将大样本划分为许多小样本，分别对每个小样本进行训练。例如可以划分出500...

2018-02-21 23:31:23 407

原创吴恩达《深度学习工程师》Part2.Week1 深度学习的实用层面

1.1 训练/开发/测试集在构建一个机器学习模型时，需要将数据分配为训练（training）集、开发（development）集、测试集（test）集，合理的分配将会显著提高模型训练的效率。图1 训练/开发/测试集分配如图1所示，训练集用于开展对模型的训练，开发集用于选择最好的模型，当模型确定好以后，在测试集上来进行无偏评估。在机器学习时代，常见的数据划分做法是训练集70%测试集30%...

2018-02-21 01:28:46 1551

原创吴恩达《深度学习工程师》Part1.Week4 深层神经网络

4.1深层神经网络图1 不同深度的神经网络图1是神经网络从浅层到深层的过渡过程，logistic回归过程可以看作单层的神经网络，2层或3层神经网络是较浅层的神经网络，最后一个神经网络层数已经达到6层，可以认为是深层的神经网络。图2 深层神经网络中的符号 n[l]n[l]n^{[l]}表示第lll层的节点数，a[l]a[l]a^{[l]}表示第lll层的活化值，w[l]w[...

2018-02-18 23:21:34 413

原创吴恩达《深度学习工程师》Part1.Week3 浅层神经网络

3.1 神经网络概览第2周的课程重点讲解了logistic回归模型，这周开始学习神经网络模型。神经网络的原理与logistic类似，只不过节点更多，且会重复多层。图1 logistic模型和神经网络模型图1上面两个图是logistic模型，样本数据x1,x2,x3x1,x2,x3x_1,x_2,x_3输入到一个节点中，前向传播分别计算z,az,az,a以及损失函数L(a,y)L(a...

2018-02-18 20:23:00 552

原创吴恩达《深度学习工程师》Part1.Week2 神经网络基础

2.1 二分分类二分分类问题是根据输入XXX来判断其是否属于某种类型，用1和0来表示。图1 判断图片中是否有猫的二分类问题图1为一个典型的二分类问题。输入为一张RGB图片的三个通道亮度值，将这三个通道的亮度值依次排列出来构成了输入XXX，目标是判断图片中是否有猫，用输出y=1y=1y=1或000来表示。当输入图片数量为m个，纬度为nxnxn_x时，X∈Rnx×mX∈Rnx×mX\i...

2018-02-17 23:11:30 524

原创吴恩达《深度学习工程师》Part1.Week1 深度学习概论

1.2 什么是神经网络本节从房价预测的例子讲起，如图1所示。图1 房屋价格预测模型—单个神经元已知几组房屋面积和价格之间的对应关系，想要构建一个根据房屋面积预测房屋价格的模型。最简单的模型是用一条直线进行拟合，由于房价不能为负数，所以在负值阶段取0值，这就是著名的”ReLU”函数。以上构建出的模型就是一个最简单的神经元（neuron）模型：给定一个输入x（房屋面积），喂给神经元后...

2018-02-17 00:53:17 539

原创吴恩达《深度学习工程师》Part4.Week2 深度卷积网络：实例探究

2.1 为什么要进行实例探究过去的卷积神经网络研究很多都集中在如何设计不同的卷积层、池化层等部件来实现最佳效果。在构建自己的卷积神经网络时，参考别人已经构建好的模型，是一个很好的方法，因为很多模型在一个领域表现良好，也可以迁移到其他领域。2.2 经典网络 1. LeNet-5网络 Lécun Y, Bottou L, Bengio Y, et al. Gradient-based...

2018-02-15 23:31:51 468

原创吴恩达《深度学习工程师》Part4.Week1 卷积神经网络

1.1 计算机视觉本节介绍了深度学习在另一个重要领域的应用：计算机视觉(Computer Vision)。列举了三个典型的使用案例：图像分类、目标识别以及图片的风格转换。由于全连接神经网络在直接处理图片样本时，输入空间的纬度太大，会造成模型参数数量太大，很难获得足够的样本数据来防止模型过拟合，另外，巨大的模型也会过度占用内存，成本过高。最后，引出了卷积神经网络的概念，这种包含卷积处...

2018-02-14 23:58:38 612

原创统计学习三要素------《统计学习方法》读书笔记

名词解释 1. 输入空间：所有输入可能取值的集合，{X" role="presentation">XXX}； 2. 输出空间：所有输出可能取值的集合，{Y" role="presentation">YYY}； 3. 假设空间：由输入空间到输出空间的所有可能的映射的集合，可以为决策函数的集合：F={f|Y=f(x)}" role="presentation">F={f|Y=f(

2018-02-04 20:30:33 513

转载《一个著名的日志系统是怎么设计出来的？》

在学习python的logging模块时看到一篇好文，虽然讲的是Java，但其原理与Python通用。赶紧转过来，以备不时之需。 https://mp.weixin.qq.com/s/XiCky-Z8-n4vqItJVHjDIg

2018-02-03 10:31:42 642

转载 python之配置日志的几种方式

转自云游道士 http://www.cnblogs.com/yyds/p/6885182.html python之配置日志的几种方式作为开发者，我们可以通过以下3种方式来配置logging:1）使用Python代码显式的创建loggers, handlers和form

2018-02-02 11:01:06 3159

转载 Python之日志处理（logging模块）

转自云游道士 http://www.cnblogs.com/yyds/p/6901864.html Python之日志处理（logging模块）本节内容日志相关概念logging模块简介使用logging提供的模块级别的函数记录日志logging模块日志

2018-02-02 10:55:38 248

原创基于Keras搭建用于MNIST手写数字识别的CNN

说明以下代码引自Keras的Github网站： https://github.com/keras-team/keras/blob/master/examples/mnist_cnn.py为了学习Keras 平台进行深度学习建模的过程，我加入了一些备注和说明。代码from __future__ import print_functionimport

2018-01-29 11:34:01 933

原创 Sklearn的train_test_split用法

用途在机器学习中，该函数可按照用户设定的比例，随机将样本集合划分为训练集和测试集，并返回划分好的训练集和测试集数据。语法X_train,X_test, y_train, y_test =cross_validation.train_test_split(X,y,test_size, random_state)参数说明 Code Text X 待划分的样本特征集合 y 待划分的

2018-01-28 20:17:15 81994 12

fxlou的博客