自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(9)
  • 资源 (3)
  • 收藏
  • 关注

原创 Transformer是一个符合Bayesian深度学习网络的AI框架

贝叶斯神经网络(Bayesian Neural Network)通过提供不确定来回答“Why Should I Trust You?”这个问题。实现上讲,贝叶斯通过集成深度学习参数矩阵参数的Uncertainty来驾驭数据的不确定性,提供给具体Task具有置信空间Confidence的推理结构。一般的神经网络我们称为Point estimation neural networks,通过MLE最大似然估计的方式建立训练的目标函数,为神经网络中的每个参数寻找一个optimal最优值;而贝叶斯深度学习一种把.

2021-11-16 09:39:20 158

原创 星空智能对话机器人的Gavin认为Transformer是拥抱数据不确定性的艺术

Transformer的架构、训练及推理等都是在Bayesian神经网络不确定性数学思维下来完成的。Encoder-Decoder架构、Multi-head注意力机制、Dropout和残差网络等都是Bayesian神经网络的具体实现;基于Transformer各种模型变种及实践也都是基于Bayesian思想指导下来应对数据的不确定性;混合使用各种类型的Embeddings来提供更好Prior信息其实是应用Bayesian思想来集成处理信息表达的不确定性、各种现代NLP比赛中高分的作品也大多是通过集成RoBE

2021-11-14 18:27:28 36

原创 基于Transformer的NLP智能对话机器人实战课程培训

NLP on Transformers 101One Architecture, One Course,One Universe本课程以Transformer架构为基石、萃取NLP中最具有使用价值的内容、围绕手动实现工业级智能业务对话机器人所需要的全生命周期知识点展开,学习完成后不仅能够从算法、源码、实战等方面融汇贯通NLP领域NLU、NLI、NLG等所有核心环节,同时会具备独自开发业界领先智能业务对话机器人的知识体系、工具方法、及参考源码,成为具备NLP硬实力的业界Top 1%人才。课程.

2021-11-13 18:20:48 979

原创 第3章: 细说Language Model及Transformer XL源码实现

1,人工智能中最重要的公式之一MLE数学本质剖析及代码实战2,Language Model的数学原理、Chain Rule剖析及Sparsity问题3,Markov Assumption:first order、second order、third order剖析4,Language Model:unigram及其问题剖析、bigram及依赖顺序、n-gram5,使用Unigram训练一个Language Model剖析及实践6,使用Bigram训练一个Language Model剖析及实践7,

2021-11-10 10:32:04 438

原创 第2章: 通过30+个细分模块完整实现Transformer论文源码及项目调试

1,Transformer源码训练及预测整体效果展示2,模型训练model_training.py代码完整实现3,数据预处理data_preprocess.py代码完整实现4,Input端Embeddings源码完整实现5,Attention机制attention.py代码完整实现6,Multi-head Attention机制multi_head_attention.py代码完整实现7,Position-wise Feed-forward源码完整实现8,Masking 在Encoder和De

2021-11-10 10:30:15 145

转载 第1章: 贝叶斯理论下的Transformer

1,基于Bayesian Theory,融Hard Attention、Soft Attention、Self-Attention、Multi-head Attention于一身的Transformer架构2,为什么说抛弃了传统模型(例如RNN、 LSTM、CNN等)的Transformer拉开了非序列化模型时代的序幕? 3,为什么说Transformer是预训练领域底层通用引擎? 4,Transformer的Input-Encoder-Decoder-Output模型组建逐一剖析 ...

2021-11-10 10:28:07 108

原创 MetaNLP对话机器人

基于Transformer的NLP智能对话机器人实战课程One Architecture, One Course,One World本课程以Transformer架构为基石、萃取NLP中最具有使用价值的内容、围绕手动实现工业级智能业务对话机器人所需要的全生命周期知识点展开,学习完成后不仅能够从算法、源码、实战等方面融汇贯通NLP领域NLU、NLI、NLG等所有核心环节,同时会具备独自开发业界领先智能业务对话机器人的知识体系、工具方法、及参考源码,成为具备NLP硬实力的业界Top 1%人才。课程特色:

2021-11-10 10:24:44 317

转载 自然语言处理metaNLP智能对话机器人系列:深入理解Transformer自然语言处理 SRL(Semantic Role Labeling)

自然语言处理NLP星空智能对话机器人系列:深入理解Transformer自然语言处理 SRL(Semantic Role Labeling)# Gavin大咖金句Gavin:理论上将Transformer能够更好的处理一切以“set of units”存在的数据,而计算机视觉、语音、自然语言处理等属于这种类型的数据,所以理论上讲Transformer会在接下来数十年对这些领域形成主导性的统治力。Gavin:A feedforward network with a single layer i

2021-11-09 11:23:35 268

原创 1.scala(一)

Scala是一门多范式的编程语言,运行在JVM虚拟机上,使用起来非常灵活,具有面向对象风格, 函数式风格, 更高层的并发模型等特性,代码量是java的五分之一到十分之一Scala语言有丰富的循环控制结构,if, for, Scala的数组、映射、元组1.数组定长数组scala>val arr = new Array[Int](4)变长数组scala>import scala.c

2016-01-02 10:28:38 251

对于元学习胡介绍

元学习是最近刚刚兴起胡机器学习技术,前景广阔,谷歌AlphaGo的升级版AlphaZero就是基于元学习研制胡,元学习非常值得关注

2018-07-10

中国移动浙江公司Mesos实践

中国移动浙江公司Mesos实践,对于了解Mesos云有很多帮助

2016-07-09

Kali Linux安全渗透教程配置

渗透用的操作系统的配置,kali是linux操作系统,用于渗透的利器,集成多种渗透工具,黑客必学

2014-12-13

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除