上帝的筛子的博客

原创 深度学习思维导图

在线可以打开看，里面的链接都是我的笔记：ProcessOn版本主要是深度学习的基本概念部分：基本概念模型全连接层反向传播其他层的反向传播POOL层的反向传播BN层的反向传播权重梯度每一层的残差都由后一层的残差乘以两层之间的权重矩阵，再乘以当前层的激活函数的导数得到。权重梯度由前面的激活值和后面的残差乘积得到的梯度消失与梯度爆炸神经网络vs递归神经网络vs玻尔兹曼机vs限...

原创 Softmax交叉熵损失函数反向传播

文章目录模型交叉熵损失函数及softmax计算误差Python代码模型前面得到的Z，然后经过softmax得到输出a，然后根据groud truth y计算损失函数。交叉熵损失函数及softmax计算误差Python代码def delta_cross_entropy(X, y): ''' X: (num_examples * num_classes) out...

原创 人脸识别概述[L-softmax | 人脸验证 | DeepFace | FaceNet | Triplet loss]

文章目录思维导图疑问用softmax分类做人脸识别，怎么应用呀概念区分主流方法损失函数Softmax loss基于欧式距离的损失函数对比损失（Contrastive Loss）三元组损失（Triplet Loss）angular/cosine-margin-based lossL-softmax里程碑的论文DeepFaceDeepIDDeepID2FaceNet参考思维导图在线的导图浏览：人...

原创 考研数学思维导图--微分方程

原创 考研数学思维导图--一元积分

原创 考研数学思维导图--一元微分

原创 考研数学思维导图--极限

原创 2019年书单

自己列的2019年的书单：我的晃荡的青春解忧杂货铺人类简史追风筝的人白夜行平凡的世界大唐王朝的兴亡万历十五年显微镜下的大明清朝十二帝人生的智慧许三观卖血记1984经济学原理杀死一只知更鸟嫌疑人X的献身社会心理学百年孤独社会契约论叔本华思想随笔艺术的故事上帝掷筛子吗局外人自私的基因人性中的善良天使被讨厌的勇气毛选医治受伤的自信吴军的书 浪潮...

原创 一文搞懂反向传播及Python实现

文章目录Model前向传播反向传播计算损失，比如L2损失求${\theta}^3_{11}$对J的影响求${\theta}^2_{11}$对J的影响求${\theta}^1_{11}$对J的影响误差反传计算时的注意事项1.每个权重单独计算 vs 整个权重矩阵一下计算2.只计算一个样本 vs 计算一个batchPYTHON实现偏置项怎么加进去？Model前向传播反向传播计算损失，比如L2...

原创 十分钟搞懂主成分分析PCA

文章目录几个疑问基本思路计算PCA的步骤与SVD的关系几个疑问PCA是干什么的？首先有一组数据蓝色点，PCA所谓的降维操作就是找到一个新的坐标系（旋转的两条直线式垂直的，我们可以用一组标准正交基来指示），然后减掉其中一些维度，使误差足够小。PCA与协方差矩阵的关系PCA与SVD的关系基本思路假设我们有一个数据Xn∗mX_{n*m}Xn∗m​，其中n代表了特征的个数，m代表了...

原创 十分钟搞懂梯度消失与梯度爆炸

文章目录怎么计算的梯度？引起梯度消失与梯度爆炸的原因1. 权重初始化2. 激活函数选择不当3. 神经网络本身的结构问题，如RNN怎么计算的梯度？每一层的残差都由后一层的残差乘以两层之间的权重矩阵，再乘以当前层的激活函数的导数得到。权重梯度由前面的激活值和后面的残差乘积得到的引起梯度消失与梯度爆炸的原因1. 权重初始化因为梯度i,i+1梯度_{i, i+1}梯度i,i+1​是由激活值i...

原创 第一篇

第一篇笔记，以后就走程序员了，写个博客，拥抱一下开源