机器学习
机器学习相关知识,资料分享
加大码先生
AI数据,纯手工智能,分享一路的成长,思考,总结。
展开
-
机器学习中的线性和非线性判断
说到线性和非线性,你的理解是不是这样: 但这种直观理解其实不能回答下面这个问题: 那么为什么卷积操作是线性的,而ReLU是非线性的? 很多人对线性的定义不是很清楚。 实际上,线性的定义是: F(ax+y) = aF(x) + F(y),其中x、y为变量而a为常数。 卷积操作满足上面的式子,所以是线性操作。下面可以快速判断是为非线性的三种常见情况: (变量)^n,且n不为1 |变量|原创 2016-10-11 11:28:55 · 9520 阅读 · 1 评论 -
learning rate 和weight decay
首先,假设我们有loss function为 E(w)E(\mathbf{w})梯度下降告诉我们在 EE的最快速下降的方向修改权值: wi←wi−η∂E∂wi,\begin{equation} w_i \leftarrow w_i-\eta\frac{\partial E}{\partial w_i}, \end{equation} 这里η\eta为学习率,学习率越大则对应的权重原创 2016-10-08 10:28:57 · 3714 阅读 · 0 评论