GELU 激活函数

Gaussian Error Linerar Units(GELUS) 论文链接:https://arxiv.org/abs/1606.08415 最近在看bert源码,发现里边的激活函数不是Relu等常见的函数,是一个新的激活函数GELUs, 这里记录分析一下该激活函数的特点。 不管其他领域的鄙...

2019-01-16 17:11:40

阅读数 390

评论数 0

谷歌BERT 学习

最近谷歌放了个大招,开源了他们最新的自然语言模型BERT,正好手头有个文本分类的任务,打算拿来用用,特此记录一下学习过程,如果错误,还望指正。 论文地址:https://arxiv.org/abs/1810.04805 开源github地址:https://github.com/google-re...

2018-11-13 20:36:59

阅读数 144

评论数 0

排序学习概述

排序学习 排序学习简单说就是在排序任务中使用机器学习的方法,在信息检索、自然语言处理与数据挖掘等许多领域中有重要的应用。 用文档检索来举例,如下图: 排序学习的核心就是要学习到一个排序模型f(q,d) , q 表示查询,d 表示文档,然后利用排序模型,在给定查询q的时候给出相关文档的...

2018-05-26 15:57:34

阅读数 651

评论数 0

回溯、递归系列

递归、回溯

2017-10-06 19:41:02

阅读数 141

评论数 0

动态规划系列

动态规划

2017-09-18 10:25:04

阅读数 258

评论数 0

FM(因子分解机系列)

因子分解机,FFM,线性回归

2017-07-12 13:39:31

阅读数 6075

评论数 0

Spark RDD介绍

概念Spark是一个集群计算系统,主要抽象为一个弹性分布式数据集(resilient distributed data set,RDD)。RDD创建 Hadoop InputForm(如HDFS) 其他RDD转换 通过转换集合类数据额结构来创建(例如List和Map) Java或Scala集合对象...

2017-05-22 15:07:42

阅读数 472

评论数 0

最长无重复字符的子串

题目给定一个字符串,请找出其中无重复字符的最长子字符串。样例 例如,在”abcabcbb”中,其无重复字符的最长子字符串是”abc”,其长度为 3。对于,”bbbbb”,其无重复字符的最长子字符串为”b”,长度为1。思想动态规划加哈希, 重点当hash[s[i]]存在时,根据hash[s[i]...

2017-05-07 21:40:40

阅读数 132

评论数 0

面试排序算法总结

常见的几大排序算法

2017-04-21 21:09:36

阅读数 112

评论数 0

python中调用c++

编译一个要引用的动态链接库:XXX.so gcc/g++ -fPIC xxx.cpp -o xxx.so -shared -I/usr/include/python2.7 -I/usr/lib/python2.7/config(-I为大写的i) 在python脚本中: import c...

2017-04-11 19:53:19

阅读数 185

评论数 0

How to Generate a Good Word Embedding(学习笔记)

word embedding(词嵌入):一种分布式此表示(distributed word representation),可以同时捕获词的语义以及语法信息。本文主要比较已有的各种词嵌入模型与方法,并通过实验的视角详细分析在训练词嵌入模型的需要注意的一些重要点,包括模型建立、训练数据集设计、参数选...

2017-01-15 16:11:35

阅读数 1335

评论数 0

Restricted Boltzman Machines for Collaborative Filtering

限制玻尔兹曼机原理

2016-06-14 20:55:00

阅读数 219

评论数 0

PRML 读书笔记-Chapter1

reinforcement learningFinding suitable actions to take in a given situation in order to maximize a reward. A general feature of reinforcement learni...

2016-05-09 22:51:00

阅读数 193

评论数 0

MySQL operation

normal operation on mysql

2016-04-13 20:18:50

阅读数 245

评论数 0

Linux环境编程

Linux环境编程介绍

2016-03-09 11:11:32

阅读数 198

评论数 0

numpy中数组介绍

numpy数组介绍

2016-03-07 20:16:27

阅读数 268

评论数 0

K-近邻算法

K-近邻算法采用测量不同特征值之间的距离方法进行分类。 优点:精度高、对异常值不敏感、无数据输入假定 缺点:计算复杂度高、空间复杂度高 适用数据范围:数值型和标称型 工作原理:存在一个样本数据集合,也称作训练样本集,并且样本集中每个数据都存在标签, 即我们知道样本集中每一数据与所属分类的...

2016-02-16 18:17:08

阅读数 272

评论数 0

产生均匀随机排列数组

构造给定数组的随机排列

2016-01-26 22:31:13

阅读数 187

评论数 0

稀疏矩阵的数据结构及相关算法

1三元组顺序表数据结构: typedef struct{ int i,j; //非零元的行下标和列下标 ElemType e; }Triple; typedef struct{ Triple data[MAXSI...

2015-12-06 21:54:59

阅读数 304

评论数 0

VIM编辑器中移动移动操作

基础操作h j k l 分别为向左,下,上,右移动一个字符,也可以使用方向键的上下左右移动,或者回车与BACKSPACE键。 可以在移动键前加数值参数,就是成数值倍地移动。在一行中的移动: 数字0: 移到行首; $: 移到行尾; ...

2015-12-04 17:56:02

阅读数 111

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭