机器学习
Efan_w
雄关漫道真如铁,而今迈步从头越
展开
-
非线性激励函数sigmoid,tanh,softplus,Relu
目前有四种常见的非线性激励函数:sigmoid函数:tanh函数:softplus函数:Relu函数:其对应得函数图像如下:函数种类优点缺点sigmoid函数在整个定义域内可导gradient在饱和区域非常平缓,接近于0,很容易造成vanishing gradient的问题,减缓收敛速度。算激活函数时(指数运算),计算量大,反向传播求误差梯度时,求导涉及除法,计算量相对大tanh函数在整个定义域内...原创 2018-06-12 09:37:47 · 8223 阅读 · 0 评论 -
对迁移学习的初步理解
新手上路,不足之处欢迎大家指正错误 迁移学习(Transfer learning) 顾名思义就是就是把已学训练好的模型参数迁移到新的模型来帮助新模型训练。考虑到大部分数据或任务是存在相关性的,所以通过迁移学习我们可以将已经学到的模型参数(也可理解为模型学到的知识)通过某种方式来分享给新模型从而加快并优化模型的学习效率不用像大多数网络那样从零学习(starting fr...原创 2018-06-11 10:31:43 · 1624 阅读 · 0 评论