机器学习Tips(待补充)

Tips

一、样本

1.控制样本数

原因：所有样本一起输入，慢且不准：模型复杂时，样本数不足，导致variance不好

方法：随机打散样本 e.g.10000个样本=>100一组，跑完一次全部样本=1个epoch，每6-8个epoch学习率*0.9

2.令样本期望=0，加快收敛

方法：每个样本 - 样本均值

二、各参数初始化

1.学习率α

α = 0.001~0.01

2.正则化参数λ 

λ < 1, 在保持效果的前提下，选用大的λ ，可防止过拟合

3.根据loss修改参数

目标：loss随迭代而变小

注：正则化后，loss一定会变大

A.loss不变

   a.α过小

   b.λ 过大

B.loss抖动

   α过大

C.NaN数据溢出错误

  a.初始化选用样本时，方差过大。e.g.选择高斯分布

  b.α过大

三、不同机器学习方法Tips

1.神经网络

e.g.1个隐含层(100个隐含节点)

if 多层 then 易过拟合（注：神经网络不可避免过拟合，只需保证在一定限度内控制过拟合即可）

注：消除过拟合方法：a.  λ *(参数)^2    b.每次置若干个隐含节点=0