一.解决过拟合的方法(部分)
正则化(包括dropout)
数据增广
二.正则化
1.对于传统方法的正则化(DL(深度学习)里面也会用,但是用的不是很多)
一般就是L1或者L2的正则化,对于这个正则化的里面的theta不是最后的求解预测函数的theta,而应该将他的最开始行的行(应该是行)的theta变为0,在matlab里面索引从1开始,不是从0开始
2.dropout的正则化(DL里面使用的最多的)
就是dropout的方法,也就是在每个迭代过程中,随机选择某些节点,并且删除前向和后向连接