- 博客(10)
- 收藏
- 关注
RSS订阅原创 UNITER多模态预训练模型原理加代码解读
UNITER多模态预训练模型原理1. 数据 过去的5年中，Vision+NLP的研究者所使用的主要数据集如下展示： 本文中所使用到的4种数据集如下图所示,Conceptual Captions和SBU Captions数据集是免费的，但是不是太clean：2. 算法2.1 整体结构 这里采用的是two-stage training pipeline训练流程。在一些大量的，含有噪声但是比较cheap的数据上，我们设计一些预训练任务，但是这些预训练任务需要被小心的design，因为
2021-07-12 23:47:27
4257
3
原创 Transformer最详细的原理加代码解读
Transformer原理1. motivation 为了解决seq2seq的问题，之前一般都是使用RNN模型进行求解。RNN的一大劣势就是无法进行并行化计算，比如要想输出b4b^4b4就必须要先获得a1a^1a1到a4{a^4}a4才行。而接下来就有学者想采把CNN用来取代RNN，每个小三角形都是一个filter，但是问题是如下图所示每个小三角仅能考虑到很少的一部分输入，但是我们可以通过叠多层的CNN，则上层的filter就可以考虑到比较多的语句，如下所示蓝色的filter可以看到b1b^1b1到
2021-07-12 23:38:19
1149
原创 BERT原理加代码解读
BERT原理 BERT是google在2018年提出的一种全新的预训练语言模型， BERT的预训练是同时考虑左边和右边上下文的双向表示。将预训练好的BERT表示应用到各个任务时只需要微调最后一层就能达到最佳效果。 主要贡献可以归纳以下三点： 1、 我们证明了预训练双向语言模型对于语言表示的重要性，不向之前的尝试都是单向的语言模型，BERT使用遮盖（masked）语言模型解决双向表示问题。 2、 我们证明了预训练的表示可以取代大量的任务特定的特征工程结构。BERT是第一个基于微调的表示
2021-07-12 23:32:54
1101
原创 kaleido-BERT原理
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2021-07-12 23:18:59
605
原创 一段程序读懂位运算
最基础的位运算示范程序话不多说，直接上程序实践灰色的是预期的输出结果。#include <iostream>using namespace std;int main(){ unsigned int a = 60; // 60 = 0011 1100 unsigned int b = 13; // 13 = 0000 1101 int c = 0...
2019-08-22 21:50:42
131
原创 两种hashtable的c++实现
hashtable的C++实现，两种解决hash冲突的方法，需要自己提供对Hashedfun的hash函数。1.分离链地址法（separate chaining）#include <vector>#include <list>using namespace std;template <typename Hashedfunc>class HashTa...
2019-08-07 10:45:40
662
转载 牛顿法和拟牛顿法
配合统计学习方法书籍，更好的理解牛顿法和拟牛顿法，整理的网址如下：牛顿法http://blog.csdn.net/itplus/article/details/21896453拟牛顿法条件http://blog.csdn.net/itplus/article/details/21896619DFP算法http://blog.csdn.net/itplus/article/details...
2019-08-04 20:34:50
217
原创 梯度下降法及matlab代码详解实现
基本概念梯度下降法又被称为最速下降法(Steepest descend method)，其理论基础是梯度的概念。梯度与方向导数的关系为：梯度的方向与取得最大方向导数值的方向一致，而梯度的模就是函数在该点的方向导数的最大值。梯度下降算法事实上是求多维函数的在某一点收敛的极小值，可以用这个算法迭代出在哪个点收敛，也是求最小二乘问题的一种方法。先在脑海中想象一下，你站在一座山上，怎么找到最快下山的方法...
2019-08-04 16:01:27
43144
14
原创 C++灵魂指针详解
1. 内存四区a).代码区。代码b).全局区。c).栈区。系统自动开辟，自动释放。并不是很大。d)堆区。动态开辟的内存。手动开辟，手动释放。大什么链表，各种数据结构，动态数组都在这一个区域2. 地址定义：把内存以单个字节为单位，分开。对每一个字节编号，这个编号就是地址。a) 编号是连续的。b) 唯一的。c) 取地址运算符：&单目运算符 优先级()[]。 结合性右往左。...
2019-07-31 11:16:31
505
原创 学习侯捷c++面向对象高级开发时培养大气的编程习惯几个注意事项（一）
培养大气的编程习惯几个注意事项主要是在学习c++面向对象高级开发时遇到的一些注意的点，对初学者面向对象编程有很大的帮助。1.Header (头文件) 中的防卫式声明防卫式声明的作用：避免了编译器在编译阶段重复包含同一段声明，防止由于同一个头文件被包含多次，而导致了重复定义。具体带来的影响可以看下面这个例子。– “Car.h”，代码如下（并没有添加防卫式声明）：– “Person.h...
2019-07-30 10:28:16
227
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人