hy_jz的博客

暑期在上海海知智能公司实习两个月，算法岗位，主要工作内容机器学习、深度学习、自然语言处理（NLP）。工程项目和科学研究很不相同，主要是算法的落地之前项目经验较少，本次实习收获颇丰，学习过程中也是参考多个博客和网上资料，写个总结记录一下。算法涉及到的除了数据预处理和特征提取，主要算法有：nlp相关算法 命名实体识别：lstm+crf并结合中文分析，seq2seq等；文本分类...

[Structural Deep Embedding for Hyper-Networks](https://arxiv.org/abs/1711.10146) 是在hyperedge(超边是不可分解的)的基础上保留object的一阶和二阶相似性，学习异质网络表示。于与HEBE的区别在于，本文考虑了网络high-oeder网络结构和高度稀疏性。传统的基于clique expansion 和star

hyper graph是一种广义上的图，它的边可以连接任意数量的定点。[维基百科](https://zh.wikipedia.org/wiki/%E8%B6%85%E5%9B%BE)。超图是一个集合组 H=<X,E>H=<X,E>, X是一个有限集合，该集合的元素称为节点或顶点；E是X的非空子集的集合，成为超边（hyper edge）或连接。因此，E是P(X)∖{ϕ}\mathcal{P}(X) \

知识图谱（Knowledge Graph or KG），如： Free Base、DBpedia、YAGO、NELL等已经成功地应用到语义分析、信息抽取、问答系统等方面。知识图谱是由实体（entity）和关系（relations: 不同类型的边）构成的多关系图。每一条边都以三元组的形式呈现（head entity, relation, tail entity），这也叫做fact。 KG Embed

HIN2vec 主要是学习异质网络节点和关系的embedding向量表示。HIN2vec主要跟为训练数据准备和表示学习两部分。在训练数据准备中，将网络数据表示成<x,y,r,L(x,y,r)><x,y,r,L(x,y,r)>的形式，它堆不同的关系类型 r 加以区分；在表示学习中，主要实现方式是最大化多个联合（jointly）二分类的概率（预测将relation的类别：即两个节点之间是否存在某种指定的

metapath2vec: Scalable Representation Learning for Heterogeneous Networksmetapath2vec https://dl.acm.org/citation.cfm?id=3098036是17年发表的，使用基于meta－path的随机游走重构节点的异质邻居，并用异质的skip－gram模型求解节点的网络表示。DeepWalk 是同

Meta Path 是2011年 Yizhou Sun etc. 提出的 http://www.morganclaypool.com/doi/abs/10.2200/S00433ED1V01Y201207DMK005, 针对异质网络中的相似性搜索。Meta Path 是一条包含relation序列的路径，而这些 relation 定义在不同类型object之间。Information Networ

GAN(Generative Adversarial Networks)在图像、文本数据的表示学习中应用广泛。对抗网络包含两部分，生成器和判别器。生成器的目的是生成与真实数据尽可能相似的数据，去“欺骗”判别器；判别器的目的是尽可能地将真实数据和生成的数据区分开。对抗训练就是生成器和判别器之间的一种“zero-sum”博弈，此消彼长，达到难以区分真实数据和生成器生成数据的效果。Graph

GANs学习（GAN、wGAN）原始GANGANs (Generative Adversarial Networks) [1]是2014年 Goodfellow 提出的，一种zero-sum博弈过程：生成器[generator] 和判别器[discriminator]之间的此消彼长D和G play a two-player minimax game: minGmaxDV(D,G)=Ex∼pdata