2018年11月_disasters

原创深度学习笔记-正则化

-通过正则化消除过度拟合，下面为公式介绍和解释J(w,b)=1m∑i=1mL(y^(i),y(i))+λ2m∣∣w∣∣22\frac{1}{m}\sum_{i=1}^{m}L(\hat{y}^{(i)},y^{(i)})+\frac{\lambda}{2m}||w||{^2_2}m1∑i=1mL(y^(i),y(i))+2mλ∣∣w∣∣22L2L_2L2正则化： ∣∣w∣∣22=...

2018-11-26 19:27:21 163

原创深度学习笔记-偏差(Bias)，方差(variance)

若high bias，试着评估训练集或训练数据的性能。如果偏差值实在过高，甚至无法拟合数据，则应该选择一个新的网络(含有更多hidden layer，花费更多时间训练网络，或者more advanced algorithm)，反复尝试，直到bias变小，能拟合数据，这是最低标准一旦偏差值降到了一个可以接受的范围，就要开始考虑方差variance了评估方差通常是看dev set性能。若方差过...

2018-11-26 19:24:34 1586

原创深度学习笔记-训练集，验证集，测试集

验证集是为了验证哪个算法更加高效，选出最好的模型;测试集是为了正确评估模型的性能，在数据量很小的情况下，可以按照60/20/20的比例为训练集，验证集，测试集进行分配在数据量很大的情况下，如百万数据时，比例分配会发生变化，dev和test各给10000个数据就可以，因为验证哪个算法好，顶多不超过10个算法，并且希望尽快验证出好坏，不宜过多数据dev set 和 test set 一定要是...

2018-11-26 19:22:43 1125 3

原创深度学习笔记-参数初始化

Random initialization初始化参数W和b时，通常使用一下代码： W = np.random.randn((2,2)) * 0.01 b = np.zeros((2,1))W是随机生成了符合高斯分布的数，再*0.01，使得W很小，为何要随机生成？因为如果像b一样全赋0值，就会产生对称性，假如hidden layer有两个由输入值产生的神经元，则由于对...

2018-11-26 19:21:43 160

原创机器学习初始化权值W为何要随机生成很小的数字

Random initialization初始化参数W和b时，通常使用一下代码： W = np.random.randn((2,2)) * 0.01 b = np.zeros((2,1))W是随机生成了符合高斯分布的数，再*0.01，使得W很小，为何要随机生成？因为如果像b一样全赋0值，就会产生对称性，假如hidden layer有两个由输入值产生的神经元，则由于对...

2018-11-22 22:26:43 1445

原创在mac上用Virtualenv搭建tensorflow并在sublime3上配置及只能看见Finished时间的问题

这个是我在自己Mac上的sublime3上里面配置的，怎么新增编译系统自己查下，蛮简单的，也可以看文末的网址，我当初也是参考别人的。下面的代码就是新建的文件里面我写的，有一点要根据自己的目录进行修改，也就是下面的 “cmd”: 后面的目录，我的编译脚本是 “/Users/hasq/Documents/sublime-python-tensorflow/pyenv.sh”，改成自己的就好了...

2018-11-14 20:56:38 321

原创阅读论文"A mode of symbol size discrimination in scatterplots

CHI 2010：GraphsAbstractSymbol常被用来编码数据，Symbol size被认为是颜色后的第二主要的视觉通道size的感知被认为是一个快速disvrimination的前导步骤，并且心里物理学准则被用来描述这个感知映射结果表明，在复杂任务中存在近似的大小感知均匀性，可以用指数(exponent)为0.4的幂律变换(power law transform)近似描述。...

2018-11-13 19:43:01 187

disasters的博客