gaochang21-CSDN博客

原创组合模型——Tree models、Boosting、 Committee

组合模型简介组合模型产生的原因组合模型产生的原因是现有的简单的模型的表达能力不够，不能对复杂的问题进行很好的建模（拟合），比如简单的线性模型很难对复杂的非线性函数进行拟合。组合模型的作用组合模型的作用就是通过“组合”的方式把模型变得更为复杂（增加模型复杂度），从而能够有更好的表达能力。组合模型的作用方式组合模型的主要形式有tree model、boosting以及models av

2017-11-10 21:01:00 2456 1

原创贝叶斯线性回归

本文主要是根据笔者对@Duaaxx关于贝叶斯回归的博客的笔记。建议阅读原文，质量非常高。最大似然与最大后验确定概率密度分布需要知道两个参数：概率密度模型以及模型参数。也即在估计概率密度分布的时候不仅仅是对参数的估计，首先需要确定模型，然后才是参数估计。最大似然与最大后验的区别：最大似然把模型参数θ作为一个位置且固定的数，我们需要做的是算出这个固定的值，这里的θ本身不是一个概率分布。最

2017-11-08 16:08:40 423

转载神经元细节

单个神经元的模型如下图所示：在右图中，神经元的激励反应可分为两大部分： 1、神经元接受刺激，并对所有的刺激进行加权求和，然后加上偏置，得到激励值； 2、将激励值作为输入，输入到激活函数，最后通过激励函数的作用得到最后的响应；注意：这里总共分为两个过程，不能忽视最后激活函数的作用。一个线性分类器就可以看作是一个单个神经元，其中的线性指对各个刺激Xi的线性加权，激活函数f将刺激映射到各个分类区间

2017-11-04 10:44:59 560

转载机器学习/深度学习小问题

数据预处理1、为什么数据进行零中心化处理？2、为什么数据进行归一化处理？答：在一些实际问题中，我们得到的样本数据都是多个维度的，即一个样本是用多个特征来表征的。比如在预测房价的问题中，影响房价 Y 的因素有房子面积X1、卧室X2数量等，我们得到的样本数据就是这样一些样本点，这里的(X1,X2)又被称为特征。很显然，这些特征的量纲和数值得量级都是不一样的，在预测房价时，如果直接使用原始的数据值，那

2017-11-04 10:02:13 394

原创 caffe文件配置

solver.prototxttest_interval 假设训练样本121368个，batch_size为256；测试样本为1000个，batch_size为25。对于训练样本，由于batch_size为256，所以需要121368/256=475次迭代才能遍历所有的训练样本；另一方面，我们希望在所有训练样本都经过训练后再进行测试，所以将test_interval设置为475（或更大），这是

2017-10-27 16:53:47 192

原创先验概率、后验概率、似然函数

以下以因果关系来刻画先验概率、后验概率以及似然概率的关系。先验概率：根据经验得到的结果的概率（已知结果）；后验概率：在知道原因的情况下，求结果发生的概率（执因求果）；似然概率：知道结果的情况下，求最可能导致结果发生的原因（知果求因）；举个例子：已知车祸有一定概率会导致堵车，此处车祸是因，堵车是果。 P(堵车) 是先验概率。 P(堵车|车祸)是后验概率。我们有以下三个随机事件

2017-10-24 21:37:59 2004

原创梯度下降法

梯度下降分类批梯度下降法（BGD)：使用整个数据集所有的样本得到的loss对每个参数进行更新；随机梯度下降法（SGD)：使用一个数据样本得到loss对每个参数更新；小批量梯度下降法（MBGD)：使用M个样本得到的loss对每个参数更新；注意：对于所有的梯度下降方法，如果问题不是凸问题那么所有的方法都有可能陷入局部最小值，不一定能得到全局最优值。批梯度下降法定义：批梯度下降法首先对数据集

2017-10-24 20:53:11 267

为什么有了神经网络还会有RNN，这是因为传统神经网络没有考虑每次输入之间的相关性以及输出之间的相关性，它只对每次输入进行同样的运算并得到结果，没有考虑到连续的输入之间本身存在一种相关性，也就是说每次输入都是独立的。基于每次输入都是独立的假设，每次输出都只与当前输入有关，不能从之前的输入以及输出中得到有效的信息，这在许多情况下不是我们所期望的。RNN就是注意到了这种相关性并利用了这种相关性。RNN在许

2017-10-22 15:02:57 1195

原创初始化总结

初始化定义：初始化不是赋值，初始化是指创建一个变量时赋予其一个初始值，赋值的含义是把对象当前值擦除，以一个新值代替。拷贝初始化：使用等号“=”赋值的初始化为拷贝初始化直接初始化：不使用等号“=”赋值的初始化为直接初始化当初始值只有一个时，拷贝初始化与直接初始化均可用，当初始值有多个时最好使用直接初始化。列表初始化：使用花括号“{}”来进行初始化，初始化的是每个元素的值。与之相反，使用圆括号是

2017-09-08 10:08:37 487

原创 string对象小结

string对象小结#include <iostream>#include <string>using namespace std;int main(){ string str1 = "hello"; //赋值初始化，不包括字面值常量最后的空字符 string str2 = "hello "; string str3("hello"); //直接初

2017-09-07 23:00:54 228

原创 c++ const引用与const指针

本文主要以代码形式阐述C++中const的用法以及const与引用、指针之间的关系。#include "stdafx.h"#include <iostream>using namespace std;void fun(const int &const ref){ cout << ref << endl;}void fun(const int *const point){ co

2017-08-04 15:38:14 372

gaochang21的博客