数据预处理（normalize、scale）

matlab 工具函数（三）—— normalize（归一化数据）

注：待处理的数据 $X\in \mathbb R^{d\times N}$，$N$ 表示样本的个数，$d$ 则是单个样本的维度；

1. 去均值（remove DC）

X = bsxfun(@minus, X, mean(X));

2. 截断标准差

这里比如截断保留 +/- 3 个标准差，并 scale 至 -1/1

xstd = 3*std(X(:));
X = max(min(xstd, X), -xstd)/xstd;

3. 从一个尺度空间，缩放（线性映射）到另一个尺度空间

现考虑将 $[a, b]$ 缩放（map/transform）到另一个尺度空间 $[c, d]$：

$$x\in [a, b] ⇒ x'=(d-c)\cdot \frac{x-a}{b-a}+c,\quad x'\in [c, d]$$

其中 $\frac{x-a}{b-a}$ 将原始数据，缩放到 [0, 1] 区间内；

比如将数据从 [-1, 1] 线性映射到 [0.1, 0.9] 区间：

X = (.9-.1)*(X+1)/2+.1;

再比如对神经网络权值矩阵的 xavier-initializer 初始化方式，服从 (-r, r) 上的均匀分布（$r=\sqrt{\frac{6}{n_{in}+n_{out}}}$），matlab 中的 rand() 生成的是 (0, 1) 上的均匀分布，这里如何从 (0, 1) 上的均匀分布，获取任意区间上的均匀分布（$(-r,r)$），

$$x\sim U[0, 1] ⇒ \quad \frac{x-0}{1-0}\left(r-(-r)\right)-r = x\cdot 2r-r$$

function theta = initializeParameters(visSize, hidSize):
r = sqrt(6/(visSize+hidSize));
W1 = rand(hidSize, visSize)*2*r-r;
b1 = zeros(hidSize, 1);
theta = [W1(:); b1(:)];
end