tensorflow各版本间踩过的坑

问题一:TypeError: Expected int32, got list containing Tensors of type ‘_Message’ instead.tensorflow 函数tf.cocat([fw,bw],2)出错:Expected int32, got list con...

2017-05-10 11:38:55

阅读数 17106

评论数 4

GPU版Tensorflow安装 centos7 64位

cuda安装1.uname -m && cat /etc/*release 2.gcc -version 3.wget http://developer.download.nvidia.com/compute/cuda/repos/rhel7/x86_64/cuda-repo-...

2017-05-07 12:58:10

阅读数 6577

评论数 0

TFLearn Tutorials | TensorFlow入门

TFLearn是把常见的例子做了个抽象和封装,使用更加方便,对于学习tensorflow有很大帮助。网络结构包括Alexnet、VGGNet、Network in Network、Highway Network、Residual Network、GoogleNet、AutoEncoder等,使用数...

2017-04-27 15:36:50

阅读数 3914

评论数 0

TensorFlow的使用教程与案例

  TensorFlow Examples 简单的TensorFlow入门资料,对于快速全面的认识和使用TensorFlow还是很有帮助的。     0 - Prerequisite      Introduction to Machine Learning Introduction t...

2017-04-27 10:09:46

阅读数 1220

评论数 0

DNN for 推荐-biji

MLR Deep Neural Networks for YouTube Recommendations 其实熟悉Skip-Gram方法的同学很容易看出来,2.1把推荐问题定义为“超大规模多分类”问题的数学公式和word2vec的Skip-Gram方法的公式基本相同,所不同的是user_vec...

2019-07-08 17:59:57

阅读数 25

评论数 0

多目标学习_biji

Ref 深度神经网络中的多任务学习汇总

2019-07-05 16:18:37

阅读数 9

评论数 0

行列式点过程推荐多样性算法

推荐多样性的衡量指标是单个推荐列表中物品之间的差异程度,通过计算在同一个推荐 list 中两两 Item 之间的相似度的平均值来进行衡量。 DPP(Determinantal Point Process)行列式点过程,是一种性能较高的概率模型。将复杂的概率计算转换成简单的行列式计算,通过核矩阵的行...

2019-07-05 14:34:25

阅读数 30

评论数 0

Memory Netwok-biji

传统的深度学习模型(RNN、LSTM、GRU等)使用hidden states或者Attention机制作为他们的记忆功能,但是这种方法产生的记忆太小了,无法精确记录一段话中所表达的全部内容,也就是在将输入编码成dense vectors的时候丢失了很多信息。所以本文就提出了一种可读写的外部记忆模...

2019-06-30 23:57:06

阅读数 3

评论数 0

LDA_biji

数学知识 Gamma 函数和分布(MLAPP 2.4.5) Beta 函数和分布(MLAPP 2.5.4) Beta-Binomial (MLAPP 3.3) Dirichlet-Multinomial (MLAPP 3.4) 学习 概率图模型的Inference问题。主要的算法分为exact...

2019-05-31 23:47:30

阅读数 5

评论数 0

word2vec_biji

语言模型:在NLP中,把 x 看作一个句子里的一个词语,y 是这个词语的上下文词语,那么f就是语言模型,模型的目的,是判断(x,y)这个样本,是否符合自然语言的法则,即词语x和词语y放在一起,是不是人话。 统计语言模型(statistical language model)是建立在一段序列(比如一...

2019-04-30 18:16:01

阅读数 28

评论数 0

从PCA到AutoEncoder

PCA 理论简单,计算只涉及到线性代数的计算,特征保持正交性,如果原始特征不具有正交性,只有独立性,这个时候可以使用ICA。 Kernel PCA 在低维空间无法区分的特征,先通过Kernel函数从低维空间映射到高维空间,在通过PCA进行降维。 ...

2019-02-23 19:02:09

阅读数 46

评论数 0

Self-Attention Mechanism

    在计算 Attention 时主要分为三步,第一步是将 query 和每个 key 进行相似度计算得到权重,常用的相似度函数有点积,拼接,感知机等;然后第二步一般是使用一个 softmax 函数对这些权重进行归一化;最后将权重和相应的键值 value 进行加权求和得到最后的 Atten...

2018-12-02 12:13:37

阅读数 168

评论数 0

Variation Autoencoder Based Network Representation Learning for Classification——paper 笔记

传统的方法是矩阵降维和矩阵分解作为表示,但是不适用于大型网络。 借鉴 nlp 中的处理思路,先 随机游走,处理成节点序列,再使用节点在上下文中的表示。缺点:无法使用节点自身的信息。 本文提出一种直观的方法是分别单独学习文本表示和网络结构,然后把两种独立的表示合并在一起。 将网络的邻接矩阵...

2018-11-23 13:26:20

阅读数 99

评论数 0

HBase知识点整理

结构 Region server 负责实际数据的读写,当访问数据时,客户端与HBase的RegionServer直接通信。RegionServer负责管理多个Region,负责在此上面的所有Region的读写操作。运行在HDFS的DataNode上,包含四部分:WAL,BlockCache(读缓存...

2018-10-07 20:11:44

阅读数 48

评论数 0

HBaseCon2018——笔记

HBase 在阿里   将数据分热、温、冷三种不同的层级,底层采用AEP、SSD、HDD三种不同硬件。     HBase 一致性内存 目前的逻辑是 put 保存到 region 的memory,同时写到WALs, 是从数据写到WALs,当达到存储大小时 flush 到HDFS...

2018-08-20 02:44:16

阅读数 79

评论数 0

Attention is all your need——paper 笔记

    去掉了 RNN 和 CNN ,直接用 encoder 和 decoder 的层与层之间直接使用 attention 机制,优点在于不需要 long-dependency 句子中的单词 dependency 长度最多只有1,减少了信息传输路径。 这种方式直接可以挖掘句子内部单词与单词的语...

2018-08-16 12:16:54

阅读数 256

评论数 0

Deep Neural Networks for Learning Graph Representations——paper 笔记

和基于 SVD 的降维(将原始的高维空间通过线性变换隐射到低维空间上)不同,深度神经网络,比如 stacked auto-encoders 学习到的映射都是高度非线性的。 论文开头,通过介绍 Deepwalk,说明如何将节点的表示转化成线性表示。 展示两种word 向量表示方法:1,负采样的sk...

2018-07-31 15:52:29

阅读数 412

评论数 1

Structural Deep Network Embedding——paper 笔记

简述论文思想:利用节点之间的关系 拉普拉斯矩阵 学习局部结构信息 ,描述图的一阶相似性;利用 AutoEncoder  encoder和decoder的输入输出的差异学习图的整体结构信息,描述图的二阶相似性。 ...

2018-07-31 15:52:05

阅读数 402

评论数 0

CANE: Context-Aware Network Embedding for Relation Modeling——paper 笔记

清华的论文,思想:除了考虑structure因素,还考虑context因素,以及s和c的相互作用,同时引入了attention机制。 Context-free Embedding: 向量表示固定,不会随上下文信息的变化而改变。 Context-aware Embedding: 向量表示不固定,...

2018-07-27 00:53:46

阅读数 227

评论数 0

Fast Network Embedding Enhancement via High Order Proximity Approximation——paper 笔记

更高阶的关系矩阵的构建,可以提升网络表示的效果 邻接矩阵和 Laplacian 矩阵都刻画的是一阶信息,对本地节点间的关系建模。通过随机游走,通过 k 步从 i 节点到达 j 节点,我们可以构造 K 阶信息。得到K阶转移概率矩阵。 NRL的两步框架: 第一步:邻近矩阵的构造,邻近矩阵通常是由...

2018-07-27 00:34:32

阅读数 167

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭