dbcrk88408-CSDN博客

转载 cross entropy与softmax求导(2) 推导

损失函数为cross entropy, y是预测值，one-hot向量，激活函数为softmax,求函数关于输入向量theta的导数，结果很简单，可以直接记住：因为是输入向量，多输入元素求偏导的过程中，需要考虑两种情况然后log开导，自然底数和log抵消调，然后就得到两种情况的两种导数公式然后合并一下，就得到上面的向量公...

2018-09-13 16:00:00 118

转载 cross entropy与softmax求导(1) 思路

softmax是向量函数，输入向量并输出另一个向量，“对softmax求导”，到底是在对什么求导？对向量函数求导得到的是一个矩阵：(不要在意字母的含义)因为有多个输出，要明确的是：计算哪个输出元素的导数？以及，由于softmax具有多个输入，所以也要明确：计算它(这个输出元素)关于哪个输入元素的偏导数？求导在这里更具体的表述是：求第 i 个输出...

2018-09-13 10:28:00 131

转载在线抽签器 - 可自动设置内容，点击停止

帮女朋友做的小程序在线使用地址预览：也可以下载网页离线使用转载于:https://www.cnblogs.com/yummy-roast-duck/p/7744720.html

2017-10-27 18:27:00 3734

转载生活就是低入尘埃

生活就是两个外卖小哥，在楼下小店，点一瓶酒，吃几份小吃，聊聊生活的琐事，时而眉头紧锁，但是看得出谈得很畅快就像我打开易拉罐的拉环时，咯兹的声音，是平淡、细碎、感动，满足和快乐也许生活就是这样，而不是听到某个，总是不满足、不满意的声音说，谁谁谁又怎么样了。这个声音可能是我自己，也可能是其他人，愿我再也不要听到。这一刻生活就像...

2017-10-17 14:57:00 125

转载效率的探索 - 知识chunk的存放与收拾房间

东西放哪里知识放哪里房间的收拾，能反应一个人的思维能力反应了大脑如何对事物进行分类、分级当我不收拾房间的时候，思维也是僵化的，没有出现创新的思想，无论是哪个层面房间的摆放，不用的东西，不用的知识，占用了大脑的记忆资源，常用的东西，高频的东西，却湮灭在这些没用的东西里面，每时每刻都要时刻思考，分类和分级的优化，什么是重要的，什...

2017-10-14 17:52:00 73

转载 Gradient Check 的原理和意义

求grad有两种方式一种是用微积分的方式(calculus-based) 来求出grad,另一种是使用数值的方式来估计grad (numerically approximating)，即中心差分公式(centered difference formula)[centered difference formula]简单VS复杂在实现神经...

2017-09-28 10:21:00 678

转载用tensorflow搭cnn - notes

一次进步一点点，滴水穿石头...估计我也老了密集连接层就是摊平，reshape然后加上一层w, b , so easy卷积操作先写个定义w和b的函数卷积是已经包装好的函数，只需要传入x和w就可以自动卷了第二层卷积层承接的是第一层的数量如果第一层的shape是[5,5,1,32] ，第三个数是原始图片的通道第二层就该是[5,5,32,64] ， ...

2017-07-30 10:31:00 57

转载使用mnist数据搭建tensorflow神经网络 - notes

计算accuracy的代码# 计算准确率，是拿输出的结果比对一下corre_boolean = tf.equal(tf.argmax(hyp,1),tf.argmax(py,1))accu = tf.reduce_mean(tf.cast(corre_boolean,'float'))print(sess.run(accu, feed_dict={px: Xt, py: yt}...

2017-07-29 11:05:00 93

转载 Coursera - multi regression - notes

下一步plotData一大堆复杂逻辑太复杂我放弃matlab选择列的方法m =5000rand_indices = randperm(m); #从m中随机排index#rand_indices(1:100) 选择前100个，是一个一维数组sel = X(rand_indices(1:100), :);#X矩阵中可以这么选择行的原来...

2017-07-28 18:21:00 66

转载归一化和标准化的差别在哪里？ sklearn api

归一化：对原始数据进行线性变换把数据映射到[0,1]之间标准化：均值为0，标准差为1One disadvantage of normalization over standardization is that it loses some information in the data, especially about outliers.归一化...

2017-07-25 22:31:00 131

转载 logistic regression Tensorflow implement notes

python画散点图和直线for x1p, x2p, yp in zip(x1, x2, y): if yp == 0: plt.scatter(x1p, x2p, marker='x', c='r') else: plt.scatter(x1p, x2p, marker='o', c='g')x = np.lin...

2017-07-24 15:44:00 65

转载 Coursera - logistic regression - notes

mean()平均数double()保留4位小数p = round(sigmoid(X * theta))写了一大堆，人家一句话就做完了，矩阵思想，element-wise思想initial_theta = zeros(n + 1, 1);权重theta加了一列0， X加了一列1，这样就造出了一个bCost Function的理解...

2017-07-24 14:27:00 66

转载 Coursera - linear regression - notes

cost function的表达式batch gradient descent1.**simultaneously update all theta** 2.每次都使用所有都数据Update equation的表达式，就是求导之后的这里，， X0 = 1Intercept term (theta 0)给X增加一列...

2017-07-18 18:20:00 52

转载 linear regression 使用TensorFlow构建 notes [满地都是坑]

Cost = tf.reduce_mean(tf.reduce_sum(tf.square(pY - Hypothesis),reduction_indices=[1]))#reduction_indices是指沿tensor的哪些维度求和因为矩阵乘法之后不是一个数字，是一个多层数组所以要用reduce_sum来求和，mean来求平均tf.matmul(pX,W)...

2017-07-09 10:23:00 75

转载神经网络反向传播的精确数学证明 Back Propagation

为什么要使用Back Propagation？上模型，直接走到Forward Propagation的部分：j 表示当前层的神经元数量， k 表示上一层神经元的数量，大括号是激活函数，下一步，我们要训练神经网络，对每个神经元对参数w、b进行微调，让预测结果更接近真实值，怎么对w和b进行微调？如果是简单的线性模型，先找到cost function, ...

2017-07-06 17:48:00 214