- 博客(10)
- 收藏
- 关注
RSS订阅原创 Auto-Augmentation 第一弹: Online Hyper-parameter Learning for Auto-Augmentation Strategy
Online Hyper-parameter Learning for Auto-Augmentation Strategymain contribution架构方法定义算法实验main contribution在线超参学习使用bilevel 框架 训练完不需要retrainOHL-Auto-Aug 和之前的算法相比很快（OHL-Auto-Aug achieves 60× faster on CIFAR-10 and 24× faster on ImageNet with comparable a
2021-02-26 05:15:42
642
原创 NAS 第一弹: DARTS: DIFFERENTIABLE ARCHITECTURE SEARCH
Neural Architecture Search神经结构搜索（Neural Architecture Search，简称NAS）是一种自动设计神经网络的技术，可以通过算法根据样本集自动设计出高性能的网络结构，在某些任务上甚至可以媲美人类专家的水准，甚至发现某些人类之前未曾提出的网络结构，这可以有效的降低神经网络的使用和实现成本。(自动化，最优)搜索空间定义了NAS算法可以搜索的神经网络的类型，同时也定义了如何描述神经网络结构。搜索策略定义了如何找到最优的网络结构，通常是一个迭代优化过程，本质上是
2021-02-26 00:13:49
359
原创 bert 简介
简介bert的大体结构就是transformer的encoder 模块。有两个块 一个就是训练 一个是fine tune。训练bert 是两个任务一块训练 - 语言模型任务和上下文的一对句子关系判断。语言模型任务在 BERT 中，Masked LM（Masked Language Model）构建了语言模型，简单来说，就是随机遮盖或替换一句话里面的任意字或词，然后让模型通过上下文预测那一个被遮盖或替换的部分，之后做 Loss 的时候也只计算被遮盖部分的 Loss，这其实是一个很容易理解的任务，
2021-02-07 06:58:36
515
原创 Transformer简介
Transformer是第一个完全依靠Self-attention而不使用序列对齐的RNN或卷积的方式来计算输入输出表示的转换模型。Self-attention有时候也被称为Intra-attention，是在单个句子不同位置上做的Attention，并得到序列的一个表示。它能够很好地应用到很多任务中，包括阅读理解、摘要、文本蕴涵，以及独立于任务的句子表示。端到端的网络一般都是基于循环注意力机制而不是序列对齐循环，并且已经有证据表明在简单语言问答和语言建模任务上表现很好。1 概览2 框架模型框架
2021-02-06 04:52:24
5057
1
原创 attention 简介
简介在序列编解码中RNN无法很好地学习到全局的结构信息，因为它本质是一个马尔科夫决策过程。CNN的方案也是很自然的，窗口式遍历，比如尺寸为3的卷积google 提出 attentionattention 过程:Reference:1.nlp中的Attention注意力机制+Transformer详解2.《Attention is All You Need》浅读3.(线性Attention的探索：Attention必须有个Softmax吗？)[https://kexue.fm/arc
2021-02-05 05:57:26
178
原创 条件随机场(CRF) 简介
简介CRF上面是马尔科夫随机场（马尔科夫网络），而条件随机场是在给定的随机变量X（具体，对应观测序列 O ）条件下，随机变量 Y（具体，对应隐状态序列 I 的马尔科夫随机场。具体建模公式如下:对于CRF，可以为他定义两款特征函数：转移特征&状态特征。 我们将建模总公式展开：Z(O)是用来归一化的，为什么？想想LR以及softmax为何有归一化呢，一样的嘛，形成概率值。M个特征, T为长度.Learning Problem在这个问题中，问题具体就是用极大似然估计来求 CRF 模型的
2021-02-04 08:29:43
262
1
原创 MuZero第三弹
文章目录背景train network创建训练批次MuZero损失函数更新三个MuZero网络（update_weights)背景上一次，我们浏览了play_game函数，并看到了MuZero如何决定每个回合中的下一个最佳动作。我们还更详细地探讨了MCTS流程。在这篇文章中，我们将了解MuZero的训练过程，并了解其试图将损失函数减至最小的程度。我将总结为什么我认为MuZero是AI的重大进步及其对该领域未来的影响的总结。train network原始入口点函数的最后一行（还记得第1部分中的内.
2020-12-25 09:40:53
635
原创 MuZero第二弹
文章目录背景Playing a game with MuZero (play_game)背景上次，我们介绍了MuZero，并看到了它与AlphaZero有何不同。在没有国际象棋的规则实际，MUZERO CRE一个TES新游戏的脑子里面，它可以控制和使用该计划未来。一起优化了这三个网络（预测，动态和表示），以使在设想的环境中表现良好的策略在实际环境中也表现良好。在本文中，我们将play_game逐步介绍该功能，并查看MuZero如何决定每个转弯处的下一个最佳动作。在没有国际象棋的实际规则的情况下，.
2020-12-25 09:00:14
733
原创 MuZero第一弹
背景围棋和强化学习组合一直是比较惊艳。之前是有MCTS发挥了巨大的威力。DeepMind一篇关于MuZero的论文“Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model”在Nature发表。与AlphaZero相比，MuZero多了玩Atari的功能，并且不需要知道规则（对交互进行了抽象）这一突破进展引起科研人员的广泛关注。MuZero迈出了最终的下一步。MuZero不仅否认自己的人类策略可以学习。甚至没有显示游.
2020-12-25 08:02:35
3042
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人