- 博客(10)
- 收藏
- 关注
RSS订阅原创 对话系统日更（1）-DPL综述
DPL综述：参考：https://zhuanlan.zhihu.com/p/52692962dialogue act对应于DPL，表明在限制条件（之前的累积目标、对话历史等）下系统要执行的动作（接下来的策略），这个动作可能不是追求当前收益最大化，而是未来收益最大化。state：状态St是一种包含0时刻到t时刻的对话历史、用户目标意图和槽值对的数据结构它的输入是Un（n时刻的意图和槽...
2019-01-17 15:14:53
783
原创 强化学习（1）-Qlearning和policygradient
Qlearning：Initialize Q arbitrarily //随机初始化Q值Repeat (for each episode): //每一次游戏，从小鸟出生到死亡是一个episode Initialize S //小鸟刚开始飞，S为初始位置的状态 Repeat (for each step of episode): 根据当前Q和位置S，使用一种策略，...
2019-01-16 10:57:05
843
原创 lijiwei3-Deep Reinforcement Learning for Dialogue Generation
Qlearning和policygradient学习Qlearning：Initialize Q arbitrarily //随机初始化Q值Repeat (for each episode): //每一次游戏，从小鸟出生到死亡是一个episode Initialize S //小鸟刚开始飞，S为初始位置的状态 Repeat (for each step of episode)...
2019-01-16 10:29:42
282
原创 lijiwei2-A Persona-Based Neural Conversation Model
使用person embeddingembedding 的作用蕴含背景和说话方式，解决了多轮对话中response不一致的问题。（换一种方式问问题，得到的答案不同）。embedding的实现具体的人物做背景标注昂贵，根据对话的回答聚类产生。在target的E表示中加入speaker representation。每个source用户绑定一个向量vi，在decode的时候和h_t,e...
2019-01-15 21:34:53
386
原创 tf的优点介绍
-memory work不行NLP的特征- 输入是个一维线性序列- 输入不定长- 单词相对位置- 相距较远的单词特征需要联合背景，RNN的流行      ~~~~~~       NL
2019-01-14 16:44:11
804
原创 对话系统，情感分析，有没有可能结合
在对话系统中情感应该是个重要的因素。lijiwei的文章里加入人格，它的人格是说话的方式，比如具有地区性方言性。而我想的是：分析提问者的情绪状态，从而产生不同的对策（回答问题的风格，消极积极。）。Ma我的想法：没有应用市场，本来回答问题就应该是积极应对-->相关论文更新我的胡乱想法。search keyword-dialogue sentiment得到：Generat...
2019-01-13 15:24:03
1199
3
原创 Bert由来之--word2vec和transformer
word2vec -> Transformer -> ELMo -> Bertword2vec是训练词向量。有skim-gram和CBOW两种形式。重点：训练样本是一个句子的中心词和周围的词拼接成。例如skim-gram例如 I love apple very much。以apple 为中心词，窗口大小是2，则可以凑出样本：【apple，love】【apple，I】【app...
2019-01-08 11:09:18
4610
原创 HMM学习
问题类型：1. 对于一个观察序列匹配最可能的系统——评估，使用前向算法（forward algorithm）解决；2. 对于已生成的一个观察序列，确定最可能的隐藏状态序列——解码，使用Viterbi 算法（Viterbi algorithm）解决；3. 对于已生成的观察序列，决定最可能的模型参数——学习，使用前向-后向算法（forward-backward algorithm）解决。一...
2019-01-04 16:39:02
257
原创 np.dot学习//range和xrange区别//
之前在最大熵的时候也遇到过，当时就没搞清楚。np.dot实现矩阵相乘，数学意义上的，矩阵1的某一行乘以矩阵2的某一列.还有一个函数matmul也能实现相似运算。而各个元素相乘，是a*b或者是np.multiply 矩阵相乘：dot，matmul元素相乘：*，multiplyxrange和range 区别很大：range 直接生成一系列的值，例如 x = range(...
2019-01-04 10:16:55
155
原创 CRF学习
CRF主要用于序列标注，感觉自己好像不太能用上。要结合上文的标注，本身标注，整个序列信息。考虑每种标注序列的概率。https://zhuanlan.zhihu.com/p/37163081写的非常好。 1.打分函数和归一化因子2。输出之间的关联仅发生在相邻位置，并且关联是指数加性的。3.简化：g函数与x无关。而且h（yi，x）使用RNN来提前训练。4.使用-...
2019-01-02 11:57:02
276
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人