机器学习
剪刀不加香菜
中科大硕博在读
展开
-
BN(batch normalization)思维导图总结
为了提高学习效率,最近学着用思维导图来总结最近学的知识。这是关于BN的总结原创 2019-04-12 17:12:19 · 858 阅读 · 0 评论 -
ubuntu16.04系统下CUDA8.0和CUDNN6.0和tensorflow(GPU)的安装
寒假一过,由于实验室电脑出了问题,进行了重装一切。当然关键还在tensorflow的安装,要知道第一次摸索了一周才装好的啊。这次特地凭着一个月前的记忆并留心记录下了tensorflow的安装步骤,以供包括我你在内的大家学习~(虽然是第二次仍然有以前没有碰到的问题,难熬啊,安装成功一定要出去浪一波)希望对亲们有帮助~第一步 安装NVIDIA显卡驱动1. 打开terminal(怎...原创 2018-03-18 22:42:00 · 3910 阅读 · 4 评论 -
优化网络方法思维导图总结
最近在学习cs231n相关的课程,在进入下一阶段前,想对学习进行一下归纳整理。一方面强制让自己进行回忆和复习,另一方面从全局上换个角度来学习这些知识,也方便以后查阅。由于思维导图比较大,后文会拆分成不同的部分依次放出。文章目录优化网络方法框图数据预处理部分权重初始化部分批量归一化部分优化方法部分激活函数部分正则化和超参设置部分优化网络方法框图数据预处理部分权重初始化部分批量归一化部...原创 2019-08-05 21:36:30 · 1236 阅读 · 0 评论 -
cs231n第二课SVM课后作业--关于HingeLoss梯度下降的一点解答
在学习cs231n,在做到SVM这一课作业时,被梯度的代码难住了,再次翻看网上的课程笔记,细致推导才逐渐清晰。理解能力有限,这里做个简单的记录,防止以后忘记也便于温习。https://zhuanlan.zhihu.com/p/20945670?refer=intelligentunit线性分类笔记(中)中详细介绍了多累支持向量机损失函数,该函数定义如下:cs231n svm这一课后作业...原创 2019-07-22 22:10:20 · 1326 阅读 · 2 评论 -
不同背景下不同交叉熵公式的异和同
文章目录交叉熵公式的几个问题对上述问题的几点结论对于结论的一些子解答交叉熵公式的几个问题本小白在学习过程中在很多地方都遇到过交叉熵公式,一般我们遇到的是这样的:C1=−1n∑x[ylna+(1−y)ln(1−a)]C1 = -\frac{1}{n}\sum_{x}[y\ln a+(1-y)\ln (1-a)]C1=−n1x∑[ylna+(1−y)ln(1−a)]然而在学习cs2...原创 2019-07-26 15:35:23 · 531 阅读 · 0 评论 -
通过定义推导和代码浅析softmax
文章目录什么是softmaxsoftmax的损失函数softmax反向传播推导以及代码实现什么是softmaxsoftmax不同于sigmoid函数,用softmax后能够将有正有负的输出化为和为1的正数输出,这些输出相互影响,可以认为是概率分布,这就给很多问题的求解提供了便利。顺便一提,softmax函数在神经网络常常当做多分类神经网络输出的激活函数;另外,ReLU和sigmoid激活函数常...原创 2019-07-30 21:52:40 · 339 阅读 · 0 评论 -
Neural Networks and Deep Learning习题解答--改进神经网络的学习方法
神经网络与深度学习习题解答改进神经网络的学习方法最近在看Michael Nielsen的Neural Networks and Deep Learning,这本书是以网页的形式放在网上,非常合适入门,附上传送地址:http://neuralnetworksanddeeplearning.com/chap1.html#learning_with_gradient_descent国内哈工...原创 2019-07-16 17:19:34 · 3781 阅读 · 4 评论 -
Neural Networks and Deep Learning习题解答--反向传播算法
神经网络与深度学习习题解答反向传播算法最近在看Michael Nielsen的Neural Networks and Deep Learning,这本书是以网页的形式放在网上,非常合适入门,附上传送地址:http://neuralnetworksanddeeplearning.com/chap1.html#learning_with_gradient_descent国内哈工大社会计算...原创 2019-07-14 17:18:05 · 1119 阅读 · 0 评论 -
反向传播四个公式的证明
参考https://zhuanlan.zhihu.com/p/25416673https://hit-scir.gitbooks.io/neural-networks-and-deep-learning-zh_cn/content/chap2/c2s4.htmlhttps://blog.csdn.net/lien0906/article/details/79193103...原创 2019-07-14 15:43:13 · 542 阅读 · 2 评论 -
Neural Networks and Deep Learning习题解答--梯度下降
神经网络与深度学习习题解答通过梯度下降法学习参数最近在看Michael Nielsen的Neural Networks and Deep Learning,这本书是以网页的形式放在网上,非常合适入门,附上传送地址:http://neuralnetworksanddeeplearning.com/chap1.html#learning_with_gradient_descent国内哈工...原创 2019-06-20 15:55:04 · 1402 阅读 · 0 评论 -
Neural Networks and Deep Learning习题解答--神经网络结构
神经网络与深度学习习题解答Neural Networks and Deep Learning(作者 Michael Nielsen)书中第二章Using neural nets to recognize handwritten digits的A simple network to classify handwritten digits一节,该节简单说明了神经网络原理并给出一些启发式的思考。该节...原创 2019-06-06 19:10:31 · 3500 阅读 · 8 评论 -
Neural Networks and Deep Learning习题解答--Sigmoid neurons simulating perceptrons
神经网络与深度学习习题解答最近在看Michael Nielsen的Neural Networks and Deep Learning,这本书是以网页的形式放在网上,非常合适入门,附上传送地址:http://neuralnetworksanddeeplearning.com/chap1.html#perceptrons国内哈工大社会计算与信息检索研究中心将这本书翻译成中文版放在网络上,地址...原创 2019-06-06 16:03:33 · 914 阅读 · 0 评论 -
Alexnet论文笔记
文章目录ImageNet Classification with Deep Convolutional介绍主要贡献网络结构细节方法ReLU用 GPU 训练局部响应归一化(LRN: Local Response Normalization)重叠池化数据增强(Data Augmentation)Dropout其他训练细节实验结果没有多少看论文的经验,也知道论文笔记非常重要。但是对于如何看和如何记录没...原创 2019-08-12 17:30:13 · 541 阅读 · 0 评论