xjcoolice的博客

量化模型（Quantized Model）是一种模型加速（Model Acceleration）方法的总称，包括二值化网络（Binary Network）、三值化网络（Ternary Network），深度压缩（Deep Compression）等， 又可以细分为对称量化、非对称量化。 1、量化的原因 模型量化是由模型、量化两个词组成。我们要准确理解模型量化，要看这两个词分别是什么意思。 在计算机视觉、深度学习的语境下，模型特指卷积神经网络，用于提取图像/视频视觉特征。 量化是指将信号的连续取值近似为有.

1、RNN和传统全连接神经网络的区别 RNN网络在传统全连接神经网络的基础上，新增上一个状态作为输入，展开结构如下： 尤其需要注意的是RNN输入间共享了一套参数（U,W,b) ，这也导致了梯度爆炸和梯度消失的原因，其次缺乏重点，引入attention机制。 2、LSTM的结构 LSTM在RNN的基础上引入了，遗忘门f、输入门i和输出门o 内部记忆单元c， 单独具有单元的(W,U,b) 遗忘门：控制上一状态的遗忘程度 输入门：控制当前输入的更新程度 内部记忆单元： 上一轮记忆和当前候选记忆 c_t

TF 踩坑记录 在调试TF过程种遇到很多奇怪的bug，分别记录原因和解决方案。 最重要的解决方案：1、冷静 2、debug 3、问题排除 训练时is_training=True 验证时is_training=False ，不设置的话，验证过程种参数会发生变化，例如BN的mean和var是统计的均值。 1） 训练过程不收敛或者收敛很慢 a) 检查训练数据是否解析正常 b) 检查网络结构是否正常，例如是否存在重复使用softmax c) loss 设计是否正确 d) BN层以及训练参数是否可训练，检查输入的参

tensorflow的表示类似于numpy，习惯python的表达，容易将向量和矩阵弄混，记录下两者区别 case1: 对于numpy矩阵： numpy和tensor的表达如下： A = np.array([[1,-1,2], [3,2,0]]) A_tf = tf.constan([[1,-1,2], [3,2,0]]) 注意是两对中括号，少了一对则是向量 case2： 单列的数组，构建方法 numpy和tensor的表达如下： A = np.array([[2], [1], [3]]) A_t.