深度学习实践

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Shingle_/article/details/79955514

很久之前的大连理工大学信息检索研究室2017深度学习实践培训内容,当时听讲的时候的笔记。

Representation Learning

Word Embedding

Word2vec

窗口内的词向量更接近

Glove

考虑了词的共享次数

FastText

考虑了字粒度的n-gram

WordRank

使用排序方法训练

Doc2vec

将文档作为一个假想词参与训练

Topic Word Embedding

将主题作为一个假想词参与训练

Network Embedding Models

DeepWalk

  • 语言模型 -> 图模型
    • 词语 -> 节点
    • 句子 -> 节点序列
  • 节点序列的生成:
    • 使用随机游走的方法
    • 有权图(带权采样)
  • 训练方法同Word2Vec

Node2Vec

  • 生成节点序列的方法
    • BFS : 更宽 -> 同质性(homophily)
    • DFS : 更深 -> 结构等价(structual)
  • 参数
    • p值:p越大,则避免总是原路返回
    • q值:q越大,越接近BFS

Node2Vec vs DeepWalk

  • 相同的目标函数
  • 不同的生成随机路径的方法

GENE

  • word2vec -> Node2vec
    • 词语 -> 节点
    • 句子 -> 节点序列
  • Doc2vec -> GENE
    • 文档 -> 节点的组

LINE

  • 浅层神经网络模型
  • 可应用于大规模的网络中
    • 速度快
  • 同时考虑1度关系和2度关系
    • 综合利用两种关系
    • 随机梯度下降
    • 负采样优化速度

类比,KL散度:不同分布的差异

SDNE

  • 深度神经网络
  • AutoEncoder

小结

  • DeepWalk
    • 将节点看做词,随机路径看做句子,使用Word2Vec
  • Node2Vec
    • DeepWalk + 有策略的随机路径(综合BFS + DFS)
  • GENE
    • 将节点所在的小组看做文档,使用Doc2Vec
  • LINE
    • 浅层神经网络 + First-order + Second-order proximity
  • SDNE
    • 深层神经网络(AutoEncoder) + First-order + Second-order proximity

Network Embedding 应用

  • 连接预测
    • 论文引用,社交关注关系
  • 聚类
  • 节点分类
    • 微博用户属性分类
  • 文本建模
    • Free text -> word co-occurrence network
  • 推荐系统
    • 用户网络
    • 商品网络

阿里移动推荐算法竞赛

根据淘宝用户一个月的点击、收藏、加入购物车及购买行为,预测明天哪些用户购买哪些商品

LR,GBDT使用一维特征

CNN模型: 如何找到适用于CNN模型的二维特征?

卷积核,时间序列, YoonKim

点击量 收藏量 加入购物车量 购买量
0-8小时前
8-16
16-24
24-32
32-40
40-48

SMP Cup微博用户画像竞赛

根据用户的微博推断用户的性别、年龄及地域

multi-granularity NN 多粒度神经网络

  • 语义特征
    • 微博粒度的TFIDF(n条微博,n个[1,100000])
    • TFIDF加权词向量([1,100000] * [100000,200]T = [1,200] )
  • 用词习惯特征
    • 用户粒度的TFIDF(用户的所有微博链接起来,TFIDF特征,SVD降维)
  • 其他社交行为特征
    • 发微博的时间
    • 粉丝数量

Attention NN

词向量 -> 微博向量 -> 用户向量
- 找出有代表性的微博,找出其中有代表性的词语

Attention模型

Xv的取值有两种情况:
- 随机初始化的向量,所有词共享这个向量(better)
- 学习到词向量中每个维度的权重的差异
- 原始词向量 UtTXt
- 类似向量到原点的距离,即向量的某种长度决定词的重要性

决定每个词或句子权重的因素有哪些?
- 词性、位置、微博发表时间
- 可以加到Xa中

2016 EMNLP Neural Sentiment Classification with User and Product Attention

任务:商品评论情感分析
- 不同用户打分习惯不同
- 不同商品品质不同

类比: SMP微博用户属性分类任务:
- 不同社交团体用词习惯不同

CCF基于视角的领域情感分析

  • 从评论中抽取出汽车的品牌(命名实体识别)
  • 针对每个品牌进行评论的情感倾向性分析(Aspect情感分析)

TC-LSTM

Tang, Duyu, et al. “Effective LSTMs for Target-Dependent Sentiment Classification.”

ATAE-LSTM

MemNet (fast)

Tang,Duyu, “Aspect level sentiment classification with deep memory network” EMNLP 2016

  • 先用aspect(途观,评价对象)向量作为句子向量
  • 每一层进行一次变换
  • N层之后进入softmax
  • 只有aspect向量在变,其他的词的向量也就成了Memory

Attention:

词向量构成的矩阵 -> 每个词的权重,就是加权平均 -> 微博向量,就是句子向量

位置的信息:
- 词向量乘n-1/n, n-2/n
- 10维位置向量,拼到向量后面

https://github.com/liyumeng/DeepLearningPractice2017

阅读更多
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页