很久之前的大连理工大学信息检索研究室2017深度学习实践培训内容,当时听讲的时候的笔记。
Representation Learning
Word Embedding
Word2vec
窗口内的词向量更接近
Glove
考虑了词的共享次数
FastText
考虑了字粒度的n-gram
WordRank
使用排序方法训练
Doc2vec
将文档作为一个假想词参与训练
Topic Word Embedding
将主题作为一个假想词参与训练
Network Embedding Models
DeepWalk
- 语言模型 -> 图模型
- 词语 -> 节点
- 句子 -> 节点序列
- 节点序列的生成:
- 使用随机游走的方法
- 有权图(带权采样)
- 训练方法同Word2Vec
Node2Vec
- 生成节点序列的方法
- BFS : 更宽 -> 同质性(homophily)
- DFS : 更深 -> 结构等价(structual)
- 参数
- p值:p越大,则避免总是原路返回
- q值:q越大,越接近BFS
Node2Vec vs DeepWalk
- 相同的目标函数
- 不同的生成随机路径的方法
GENE
- word2vec -> Node2vec
- 词语 -> 节点
- 句子 -> 节点序列
- Doc2vec -> GENE
- 文档 -> 节点的组
LINE
- 浅层神经网络模型
- 可应用于大规模的网络中
- 速度快
- 同时考虑1度关系和2度关系
- 综合利用两种关系
- 随机梯度下降
- 负采样优化速度
类比,KL散度:不同分布的差异
SDNE
- 深度神经网络
- AutoEncoder
小结
- DeepWalk
- 将节点看做词,随机路径看做句子,使用Word2Vec
- Node2Vec
- DeepWalk + 有策略的随机路径(综合BFS + DFS)
- GENE
- 将节点所在的小组看做文档,使用Doc2Vec
- LINE
- 浅层神经网络 + First-order + Second-order proximity
- SDNE
- 深层神经网络(AutoEncoder) + First-order + Second-order proximity
Network Embedding 应用
- 连接预测
- 论文引用,社交关注关系
- 聚类
- 节点分类
- 微博用户属性分类
- 文本建模
- Free text -> word co-occurrence network
- 推荐系统
- 用户网络
- 商品网络
阿里移动推荐算法竞赛
根据淘宝用户一个月的点击、收藏、加入购物车及购买行为,预测明天哪些用户购买哪些商品
LR,GBDT使用一维特征
CNN模型: 如何找到适用于CNN模型的二维特征?
卷积核,时间序列, YoonKim
点击量 | 收藏量 | 加入购物车量 | 购买量 | |
---|---|---|---|---|
0-8小时前 | ||||
8-16 | ||||
16-24 | ||||
24-32 | ||||
32-40 | ||||
40-48 |
SMP Cup微博用户画像竞赛
根据用户的微博推断用户的性别、年龄及地域
multi-granularity NN 多粒度神经网络
- 语义特征
- 微博粒度的TFIDF(n条微博,n个[1,100000])
- TFIDF加权词向量([1,100000] * [100000,200]T = [1,200] )
- 用词习惯特征
- 用户粒度的TFIDF(用户的所有微博链接起来,TFIDF特征,SVD降维)
- 其他社交行为特征
- 发微博的时间
- 粉丝数量
Attention NN
词向量 -> 微博向量 -> 用户向量
- 找出有代表性的微博,找出其中有代表性的词语
Attention模型
Xv的取值有两种情况:
- 随机初始化的向量,所有词共享这个向量(better)
- 学习到词向量中每个维度的权重的差异
- 原始词向量 UtTXt
- 类似向量到原点的距离,即向量的某种长度决定词的重要性
决定每个词或句子权重的因素有哪些?
- 词性、位置、微博发表时间
- 可以加到Xa中
2016 EMNLP Neural Sentiment Classification with User and Product Attention
任务:商品评论情感分析
- 不同用户打分习惯不同
- 不同商品品质不同
类比: SMP微博用户属性分类任务:
- 不同社交团体用词习惯不同
CCF基于视角的领域情感分析
- 从评论中抽取出汽车的品牌(命名实体识别)
- 针对每个品牌进行评论的情感倾向性分析(Aspect情感分析)
TC-LSTM
Tang, Duyu, et al. “Effective LSTMs for Target-Dependent Sentiment Classification.”
ATAE-LSTM
MemNet (fast)
Tang,Duyu, “Aspect level sentiment classification with deep memory network” EMNLP 2016
- 先用aspect(途观,评价对象)向量作为句子向量
- 每一层进行一次变换
- N层之后进入softmax
- 只有aspect向量在变,其他的词的向量也就成了Memory
Attention:
词向量构成的矩阵 -> 每个词的权重,就是加权平均 -> 微博向量,就是句子向量
位置的信息:
- 词向量乘n-1/n, n-2/n
- 10维位置向量,拼到向量后面