数学基础
zchang81
1、熟悉C/C++、python编程语言;
2、熟悉高性能io框架,如intel dpdk、spdk等;
3、熟悉计算机视觉库opencv;
4、熟悉深度学习框架Tensorflow,caffe;
5、熟悉CNN在图像分类、检测等领域的应用;
6、熟悉RNN、强化学习等深度学习相关技术;
展开
-
最小二乘法
普通最小二乘法( Ordinary Least Square,OLS):所选择的回归模型应该使所有观察值的残差平方和达到最小。转载 2017-08-22 10:52:05 · 986 阅读 · 0 评论 -
Focal Loss for Dense Object Detection
针对类别不均衡问题,作者提出一种新的损失函数:focal loss,这个损失函数是在标准交叉熵损失基础上修改得到的。这个函数可以通过减少易分类样本的权重,使得模型在训练时更专注于难分类的样本。翻译 2017-10-25 10:56:47 · 815 阅读 · 0 评论 -
自门控激活函数Swish
Swish 是一种新型激活函数,公式为: f(x) = x · sigmoid(x)。Swish 具备无上界有下界、平滑、非单调的特性。翻译 2017-10-24 09:03:31 · 5255 阅读 · 0 评论 -
深度神经网络中的数学
深度神经网络中的数学,对你来说会不会太难?转载 2017-09-11 14:52:36 · 1530 阅读 · 0 评论 -
深度学习——激活函数Sigmoid/Tanh/ReLU
一般情况下,使用ReLU会比较好1、使用 ReLU,就要注意设置 learning rate,不要让网络训练过程中出现很多 “dead” 神经元;2、如果“dead”无法解决,可以尝试 Leaky ReLU、PReLU 、RReLU等Relu变体来替代ReLU;3、不建议使用 sigmoid,如果一定要使用,也可以用 tanh来替代。原创 2017-04-18 09:38:37 · 85475 阅读 · 12 评论 -
ROC曲线与AUC值
ROC的全名叫做Receiver Operating Characteristic,其主要分析工具是一个画在二维平面上的曲线——ROC curve。AUC(Area Under roc Curve)是一种用来度量分类模型好坏的一个标准。转载 2017-08-24 11:26:17 · 1201 阅读 · 0 评论 -
Xavier初始化方法
“Xavier”初始化方法是一种很有效的神经网络初始化方法,方法来源于2010年的一篇论文《Understanding the difficulty of training deep feedforward neural networks》,可惜直到近两年,这个方法才逐渐得到更多人的应用和认可。转载 2017-08-14 15:05:19 · 994 阅读 · 0 评论 -
深度学习——L0、L1及L2范数
L1范数和L2范数的差别一个是绝对值最小,一个是平方最小:L1会趋向于产生少量的特征,而其他的特征都是0,而L2会选择更多的特征,这些特征都会接近于0。原创 2017-04-17 10:12:02 · 32659 阅读 · 4 评论 -
矩阵运算的概念和代码实现
本文从向量的概念与运算扩展到矩阵运算的概念与代码实现,对机器学习或者是深度学习的入门者提供最基础,也是最实用的教程指导,为以后的机器学习模型开发打下基础。在我们学习机器学习时,常常遇到需要使用矩阵提高计算效率的时候。如在使用批量梯度下降迭代求最优解时,正规方程会采用更简洁的矩阵形式提供权重的解析解法。而如果不了解矩阵的运算法则及意义,甚至我们都很难去理解一些如矩阵因子分解法和反向传播算法之转载 2017-08-07 10:45:09 · 5543 阅读 · 2 评论