不忘初心，方得始终

在模型训练前，我们往往对数据进行shuffle，即随机打乱数据，为什么要这么做呢？不这么做会出现什么问题？何时应该shuffle，何时不该shuffle呢？下面，本文就以上三个问题发表下自己的拙见。Q1：为什么要进行shuffle？A1：不论是机器学习还是深度学习，我们总是基于数据独立同分布的假设条件，也就是说，数据的出现应该是随机的，而不是按照某种顺序排列好的。以上就是需要shuffle的根本原因。因此，我们需要在每个epoch的开始把数据shuffle一下。Q2：不shuffle会.

为期2周的比赛，最后b榜线上AUC0.7765，排名130，不知道第一名是多少，但看群聊，10名左右的人成绩是0.7842，差一个百分点，就与大奖差之千里啊，我还是太菜了=-=。不过，还是很开心的，以前学了一堆机器学习算法，现在这个比赛正好实战了一下。以前知道特征重要，现在真正体验到特征是多么的重要。话不多说，直入主题了目录一、赛题描述二、方案介绍2.1 EDA2.2 特征工程2.3 构建模型2.4 调参2.5 进阶三、总结3.1 个人参赛总结3.2 赛后学习

目录1 阅前需知2 为什么方差大？3 如何解决方差大问题？3.1 Add a baseline3.2 TD 代替 MC(即Actor-Critic方法)1 阅前需知策略梯度方法(Policy-Based)方法直接学习参数化的策略来进行动作的选择。本文所用符号的习惯与下书一致 此书中将所有符合以下条件的均称为Policy-Based方法，不论这种方法是否学习值函数：①...

一模一样的模型架构，直接用领域数据训练模型，可能生成效果贼差，语句不通也是常事。在预训练的bert上，微调bert权重，生成效果通顺又好~为什么呢？第一，领域数据太少。第二，学习难度大。就像人学习，如果拥有通用知识，比如学过高中语文，在此基础上去学领域知识会更容易，如果连基本造句都不会，就去学专业知识，怕是头都大了。而预训练模型用了大量的维基百科等通用数据来教会模型基础知识...

RNN的结构非常多，论文《An Empirical Exploration of Recurrent Network Architectures》中评估了10000种RNN结构。这里我们仅看一下比较流行的LSTM、GRU和多层RNN结构的源码。本文涉及的源码均在rnn_cell_impl.py文件中。在看源码前，我们首先看下RNN的结构 在源码中，R...

RNN在深度学习中占据重要地位，我们常常调用tensorflow的包就可以完成RNN的构建与训练，但通用的RNN并不总是能满足我们的需求，若要改动，必先知其细。下面我们根据源码对RNN的实现一探究竟。目录1 tensorflow版本2 动态RNN实现“三板斧”1 tensorflow版本import tensorflow as tftf.__version__ # ...

每次debug，都会发出灵魂拷问，“为什么我和别人的代码写的一模一样，但我的就是不对呢？”，每当此时，我的脑海中就会循环播放ykr童鞋的一句话“你以为一样，其实就是不一样，也许是输入格式就错了，也许是API换版本了，也许……”，是的，没错，这次就是输入和人家不一样，还自以为一模一样。问题描述：采用encoder-decoder框架实现基于关键词的文本生成，在训练阶段，decoder...

在开始深度学习之前，需先做好一件小事，那就是配置环境，配环境的烦恼配过的都知道，话不多说，直奔主题……在阅读本文之前需要了解：docker是什么？docker的常用命令有哪些？（当然，不了解也没有关系，按照本文所述步骤一步步来就可以不明觉厉的配好环境了hiahiahia）ufoym/deepo是一个几乎包含所有主流深度学习框架环境的docker镜像：theano, tensorflow, ...