2017年12月_Guo_Yaohua

原创 leetcode第一天

leetcode 第一天 2017年12月24日第一次刷leetcode真的是好慢啊，三道题用了三个小时，而且都是简单题。数组 1.（674）Longest Continuous Increasing Subsequence JAVA class Solution { public int findLengthOfLCIS(int[] nums) { int...

2017-12-25 23:05:00 74

原创 tf.variable和tf.get_Variable以及tf.name_scope和tf.variable_scope的区别

在训练深度网络时，为了减少需要训练参数的个数（比如具有simase结构的LSTM模型）、或是多机多卡并行化训练大数据大模型（比如数据并行化）等情况时，往往需要共享变量。另外一方面是当一个深度学习模型变得非常复杂的时候，往往存在大量的变量和操作，如何避免这些变量名和操作名的唯一不重复，同时维护一个条理清晰的graph非常重要。因此，tensorflow中用tf.Variable(),tf...

2017-12-21 16:23:00 69

原创 Tensorflow中实现BN为什么需要加入这个额外依赖？见CS231N作业源码

batch normalization in tensorflow requires this extra dependency 为什么加上这两句？ extra_update_ops = tf.get_collection(tf.GraphKeys.UPDATE_OPS) with tf.control_dependencies(extra_update_ops): train_step...

2017-12-19 14:19:00 68

原创为何神经网络权重初始化要随机初始化，不能以0为初始化

根据deeplearn.ai吴恩达深度学习课程3.11总结因为如果W初始化为0 则对于任何Xi，每个隐藏层对应的每个神经元的输出都是相同的，这样即使梯度下降训练，无论训练多少次，这些神经元都是对称的，无论隐藏层内有多少个结点，都相当于在训练同一个函数。 ...

2017-12-17 20:45:00 229

原创 Batch Normalization&Dropout浅析

一. Batch Normalization 对于深度神经网络，训练起来有时很难拟合，可以使用更先进的优化算法，例如：SGD+momentum、RMSProp、Adam等算法。另一种策略则是高改变网络的结构，使其更加容易训练。Batch Normalization就是这个思想。为什么要做Normalization？神经网络学习过程本质就是为了学习数据分布，一旦训练数据与测试数据的分...

2017-12-15 11:38:00 176

原创 Git版本回退和撤销修改的区别

在阅读廖雪峰git教程时，对版本回退和暂存区撤销修改没太看懂，所以自己测试了一下。版本回退： git reset --hard HEAD 这个命令用于版本回退，就是将已提交的版本覆盖本地工作区的内容。该操作会清空暂存区的内容撤销修改： git checkout -- fil...

2017-12-11 10:30:00 85

原创 linux下安装git提示”无法打开锁文件 /var/lib/dpkg/lock - open (13: 权限不够)“

如图所示，输入命令：apt-get install git后提示权限不够解决方法，在命令前加 sudo即可 sudo apt-get install git sudo是linux系统管理指令，是允许系统管理员让普通用户执行一些或者全部的root命令的一个工具，如halt，reboot，su等等。这样不仅减少了root用户的登录和...

2017-12-10 18:48:00 299

郭耀华's Blog | 人工智能领域技术博客