深度学习
降措
这个作者很懒,什么都没留下…
展开
-
使用词向量时如何对数据进行预处理
在使用词向量时,不要使用常用的预处理过程如停用词移除、词干提取等 尽可能地使单词更加得靠近词向量 在某些场景下,如情感分类,标点符号、大小写也可能会包含有用的信息 对于特定的任务,如情感分类来说,一些特殊字符如表情符号往往含有重要的信息,因此不要随便删除 在使用词向量时,要遵循训练词向量时所进行的预处理操作,如谷歌预处理词向量时对数字用"##"替换,训练glove twitter embeddi...原创 2019-06-13 08:57:48 · 869 阅读 · 0 评论 -
花书学习--深度学习中的正则化
7 深度学习中的正则化 机器学习中的一个核心问题是设计不仅在训练数据上表现好,而且能在新的输入上泛化好的算法。在机器学习中,许多策略被显式地设计来减少测试误差,这些策略被统称为正则化。 Q:为什么需要正则化? 在实践中,过于复杂的模型族不一定包括目标函数或真实数据的生成过程,甚至也不包括近似过程。我们很难知道数据的生成过程,所以很难确定模型族是否包含数据的生成过程。 如图像、视频文本等,本质上...原创 2019-06-13 09:02:08 · 400 阅读 · 0 评论 -
花书学习--深度前馈网络
6. 深度前馈网络 6.0 序言 前馈网络 目标:近似某个函数f∗f^{*}f∗ 组成模块:输入层、隐藏层、输出层 模型输出和模型本身之间没有反馈连接 产生背景 传统的线性模型如逻辑回归、线性回归的表达能力有限。为了扩展线性模型来表示xxx的非线性函数,我们可以不把线性函数直接作用在xxx本身,而是作用到xxx的非线性函数ϕ(x)\phi(x)ϕ(x)上。我们可以认为ϕ\phiϕ代表了xxx的...原创 2019-06-06 21:21:27 · 234 阅读 · 0 评论 -
花书学习——深度模型中的优化
8 深度模型中的优化 8.1 学习和纯优化有和不同 机器学习经常是间接作用的 我们关注某些度量PPP,其定义于测试集上并且可能是不可理解的。因此,我们只是间接优化PPP。我们希望通过降低代价函数J(θ)J(\theta)J(θ)来提高PPP。纯优化问题最小化目标本身。 通常 ,代价函数可写为训练集上的平均,如J(θ)=E(x,y)≈p^dataL(f(x;θ),y)J(\theta)=E_...原创 2019-06-14 21:51:13 · 265 阅读 · 0 评论 -
pytorch_bert_pretrained代码学习
配置文件 bert base { "attention_probs_dropout_prob": 0.1, "hidden_act": "gelu", "hidden_dropout_prob": 0.1, "hidden_size": 768, "initializer_range": 0.02, "intermediate_size": 3072, "max_pos...原创 2019-07-02 14:27:23 · 2819 阅读 · 0 评论 -
pytorch用到的函数记录一下(不定更新~)
""" 返回上三角矩阵 diagonal \in [0, min(d_w, d_h)-1] diagonal表示对角线轴,为0表示主对角线(i,i)。大于0往上走,小于0往下走。最后结果会存储在out里面。 当out不等于None时,torch.triu(input, diagonal=0, out=None) is out,貌似用C语言实现的,类似指针的引用 """ torch.triu(in...原创 2019-07-02 14:28:15 · 129 阅读 · 0 评论