weixin_43580252的博客

原创 论文-《Making Personalized Recommendation through Conversation: Architecture Design and Recommendation》

题目Making Personalized Recommendation through Conversation:Architecture Design and Recommendation Methods简介论文旨在分享使用对话系统实现个性化推荐系统的总体架构的构建和设计的以下方面。首先，本文介绍架构设计以及各个组件及其工作流程。其次，介绍了从对话系统中提取用户意图和偏好的方法，以及通过网络对话用户界面的设计去解释如何将它们与意图目的的特征相匹配进行推荐why虽然今天的对话平台提供了基本的对

原创 论文-《A Knowledge-Grounded Neural Conversation Model》

题目A Knowledge-Grounded Neural Conversation Model简介现在的大多数模型都可以被应用在闲聊场景下，但是还没有证据表明他们可以应用在更有用的对话场景下。这篇论文提出了一个知识驱动的，带有背景知识的神经网络对话系统，目的是为了在对话中产生更有意义的回复why当下，端到端的神经网络模型已经可以在对话系统中产生十分自然的对话内容。可是，现有的神经网络对话模型仍存在着一个问题：对于用户的输入，现有的系统无法考虑对话外部事实信息或者用户对于实体的观点，这样使其产生的

原创 论文-《Recommendation as a Communication Game: Self-Supervised Bot-Play for Goal-oriented Dialogue》

题目Recommendation as a Communication Game:Self-Supervised Bot-Play for Goal-oriented Dialogue简介本文利用数据集开发了一个端到端的对话系统，可以同时进行对话和推荐。模型首先被训练来模仿人类玩家的行为，而不考虑任务目标本身(监督训练)。然后，本文在两个配对的预训练模型(bot-play)之间模拟bot-bot对话，来微调本文的模型，以实现对话目标。最后的实验表明，与没有经过bot-play训练的模型相比，经过bo

原创 论文-《Conversational Recommender System》

题目Conversational Recommender System简介在这篇文章中，作者提出了一个将推荐和对话合并的统一的深度强化学习框架（framework）从而建立个性化的对话推荐代理，在进行评分预测和生成推荐时，该模型使用用户过去的评分和当前会话中收集到的用户查询。这样的对话系统通常试图通过提问来收集用户偏好，一旦收集到足够多的用户偏好，它就会向用户做出个性化的推荐。我们进行了模拟实验和真实的在线用户研究，以证明该框架的有效性why个性化的对话系统一般有很大的商业潜力，然而这方面的研究非

原创 论文-《Towards Conversational Recommender Systems》

题目Towards Conversational Recommender Systems简介当被要求为他们不认识的人做推荐时，人类可以快速建立偏好。为了使模型也具有该能力，本文提出在在线学习环境中解决这个冷启动推荐问题，开发了一个偏好启发框架，以确定向新用户提出哪些问题来快速了解他们的偏好。通过在数据集上比较不同类型的反馈和问题选择策略，本文提出的框架可以非常有效地利用在线用户反馈，在只问2个问题后，个性化推荐就比静态模型提高了25%why人们经常向别人寻求餐馆推荐，以此来发现新的用餐体验。这使得

原创 论文-Estimation–Action–Reflection: Towards Deep Interaction Between Conversational and Recommender Sys

题目Estimation–Action–Reflection: Towards Deep Interaction Between Conversational and Recommender Systems简介目前，推荐系统正在采用会话技术来获取用户动态偏好。本文认为一个好的会话推荐系统需要正确处理会话和推荐之间的交互，其中就有三个基本问题需要解决:1)关于item attributes要问什么问题；2)什么时候推荐items；3)如何利用用户的在线反馈；但是目前，没有一个统一的框架来解决这些

原创 论文-Interactive Path Reasoning on Graph for Conversational Recommendation

题目Interactive Path Reasoning on Graph for Conversational Recommendation简介这是一篇KDD 2020的文章，本文提出了会话路径推理，把Conversational Recommendation这个任务建模成一个在Graph中的路径推理任务。它按照用户反馈遍历属性顶点，以明确的方式利用用户偏好的属性，从而更有可能找到用户喜欢的items进行相关的推荐引入了图结构，从而可以利用更多的信息。并且在这套框架中，推荐系统和对话系统是相互促进

原创 论文-Dynamic Online Conversation Recommendation

题目Dynamic Online Conversation Recommendation介绍这是一篇ACL2020的文章，本文研究了动态在线对话推荐，提出用户的兴趣会随时间产生变化，预测兴趣变化过程中的推荐对话。与假设用户兴趣不变的会话推荐不同，我们的模型捕捉了用户兴趣在时间方面的变化。在本文中提出的神经架构可以用来分析用户交互和兴趣随时间的变化，其结果还可以用于预测用户可能会参与哪些讨论，此外，本文的模型还可以解决冷启动问题why社交媒体内容中的热门话题会随着时间的推移而演变，因此以动态的方式了

原创 论文-Geography-Aware Sequential Location Recommendation

题目《Geography-Aware Sequential Location Recommendation》简介这是一篇KDD2020的序列推荐的论文《Geography-Aware Sequential Location Recommendation》。序列位置推荐在移动预测、路径规划和基于位置的广告等应用中起着重要的作用，本文提出了一种基于自注意网络（GeoSAN）的地理感知顺序推荐算法。该算法提出了一种新的基于重要性抽样的损失函数优化方法，通过强调信息负样本的使用来解决稀疏性问题；同时，为了更好

原创 论文-A Knowledge-Enhanced Recommendation Model with Attribute-Level Co-Attention

题目A Knowledge-Enhanced Recommendation Model with Attribute-Level Co-Attention简介这是一篇SIGIR 2020的文章，提出了一种基于属性级协同注意力机制的知识增强推荐模型ACAM，该模型从知识图中提取的items attribute作为辅助信息，并在属性层建立了协同注意力机制，以获得性能增益。具体来说，ACAM的每个user和items首先由一组attribute嵌入来表示，然后通过共同关注模块捕获不同attribute之间的

原创 论文-Towards knowledge-based recommender dialog system

题目Towards knowledge-based recommender dialog system简介这是一篇ACL-2019的文章，该论文提出了一个称为KBRD的框架，它是一个基于知识图谱的推荐对话系统，集成了推荐系统和对话生成系统。其中，对话系统可以通过引入基于知识的用户偏好信息来提高推荐系统的性能，而推荐系统可以通过提供推荐感知词汇偏差来提高对话生成系统的性能。实验结果表明，该模型在对话生成和推荐的评估上都比基线有显著的优势。而且一系列的分析表明，集成后的两个系统可以相互促进，除此之外，从知

原创 论文-Knowledge Graph Grounded Goal Planning for Open-Domain Conversation Generation

题目《Knowledge Graph Grounded Goal Planning for Open-Domain Conversation Generation》简介这是一篇AAAI-20的文章，本文面对先前在开放域对话生成中没有有效的机制来管理聊天话题，并且倾向于产生不太连贯的对话这一现象，再加上人人对话策略的启发，本文将多轮开放域对话生成任务分为两个子任务:明确目标(谈论一个话题)序列规划和通过话题阐述完成目标为了完成该任务，本文提出了一个三层知识感知的基于分层强化学习的模型。具体来说，对于第

原创 论文-Target-Guided Open-Domain Conversation

标题：《Target-Guided Open-Domain Conversation》介绍过去的端到端对话研究可以大致分为两类:面向任务的对话系统和面向闲聊的(也称为开放的)系统。其中对于面向任务的对话系统，该系统被设计成实现特定的目标；面向闲聊的对话系统被创建来模拟没有特定目标的开放域对话。而本文在定义开放域聊天的目标和创建系统动作表示两个方面进行了创新提出了一个解决方案。将整个系统分离成独立的模块，并以不同的粒度解决挑战。具体来说，我们通过引入粗粒度的话语关键词来显式地建模和控制每个系统响应的预期

原创 论文-Proactive Human-Machine Conversation with Explicit Conversation Goals

题目：《Proactive Human-Machine Conversation with Explicit Conversation Goals》介绍这是一篇ACL2019的文章，主动对话的目标是赋予对话系统引导对话的能力(1)现有的关于主动对话的工作通常仅限于特定的对话场景:Young等人(2013年)、Mo等人(2016年)和Bordes等人(2018年)提出，通过积极质疑/澄清缺失/模糊的时间段，更积极地完成任务，比如餐厅预订(2)除了面向任务的对话系统，研究人员还研究了构建主动社交

原创 论文-OpenDialKG: Explainable Conversational Reasoning with Attention-based Walks over Knowledge Grap

《论文笔记》题目：OpenDialKG: Explainable Conversational Reasoning with Attention-based Walks over Knowledge Graphs动机这是一篇ACL-2019的paper，论文提出了一种模型，把对话中涉及到的实体等相关信息转换成在知识图谱中通过路径寻找的问题，同时还提供了一个标注好的对话和知识图谱相对应的数据集。why开放式对话系统要生成好的对话回复需要两个步骤：对话推理和对话生成。对话推理可以理解成找到与该轮对

原创 share today

let me tell you why that approach may fail youi know people who graduated at 21 and did not get a job untill they were 27i know people who graduated late at 25 and they found work immediatelyi know people who never went to university,but found what they

原创 编程总结（1）

1.求输入输出型把输入存储成数组形式input_array = []N=input（）for i range(n,int(N)): row = [] line = input() str = line.split(" ") for i in str: row.append(i) intput_array.append(row)例子：code：input_array ...

原创 paddle课程中NLP+推荐系统的学习心得

因为之前有了些自然语言处理的基础，所以以为学起来会较为轻松，但实际上的情况并不是如此，一些在平时写代码中比较陌生的概念，例如基础的词向量训练，循环神经网络，推荐系统中的万物皆可embedding等等，在最开始学习的时候感觉仿佛一团乱麻，所幸的是在参加了百度的课程后，在每天晚上八点的晚课上老师们先理论后实践的讲课模式，无不使我茅塞顿开，原本晦涩难懂的那些原理思路，一下子就豁然开朗起来，再结合之后老师...

原创 Datawhale Task5 模型融合

文章目录一 模型融合的问题1.1 多数表决融合1.2 加权表决融合1.3 对结果取平均二 Stacking&Blending2.1 Stacking2.2 Blending一 模型融合的问题在集成学习中用到了模型融合，现在主要是讨论不同模型融合方法所带来的问题1.1 多数表决融合举例：假如现在有10条记录，某个模型对这10条记录进行分类能获得70%的准确率。现在拟...

原创 Datawhale Task4 建模调参

一、学习目标二、内容介绍三、相关原理介绍四、模型调参五、总结一、学习目标此次将学习了解常用的机器学习模型，并掌握机器学习模型的建模与调参流程。二、内容介绍1.线性回归模型：线性回归对于特征的要求；处理长尾分布；理解线性回归模型；2.模型性能验证：评价函数与目标函数；交叉验证方法；留一验证方法；针对时间序列问题的验证；绘制学习率曲线；绘制验证曲线；3.嵌入式特征...

原创 task3-特征工程

3.1 特征工程目标对于特征进行进一步分析，并对于数据进行处理完成对于特征工程的分析，并对于数据进行一些图表或者文字总结并打卡。3.2 内容介绍常见的特征工程包括：异常处理：通过箱线图（或 3-Sigma）分析删除异常值；BOX-COX 转换（处理有偏分布）；长尾截断；特征归一化/标准化：标准化（转换为标准正态分布）；归一化（抓换到 [0,1] 区间）；针对幂律分布，可以采...

原创 Datawhale 零基础入门数据挖掘+Baseline Task1 赛题理解

part1：part2(baseline):读数据，数据统计信息，特征与标签构建填补：EDA：

原创 内网穿透：阿里云+FRP实现实验室服务器连接

应用场景：由于疫情期间只能在家呆着，想连接实验室里服务器，这样在家里的电脑直接输入网址就可以连到服务器上敲代码，跑模型。可是网上大多教程都是连接ssh，而我是想连接配置服务器上的neo4j和jupyter notebook，于是捣鼓了半天，记录一下流程。准备工作有公网ip的云服务器，我用的是阿里云。有内网服务器，也就是我实验室的服务器。在两个服务器上分别下载frp，地址link，注意对...

原创 《动手深度学习6，7，8》-错题笔记

原创 动手\~~/文本预处理

文本预处理文本是一类序列数据，一篇文章可以看作是字符或单词的序列，文本数据的常见预处理步骤，预处理通常包括四个步骤：1.读入文本2.分词3.建立字典，将每个词映射到一个唯一的索引（index）4.将文本从词的序列转换为索引的序列，方便输入模型读入文本我们用一部英文小说，即H. G. Well的Time Machine，作为示例，展示文本预处理的具体过程。分词我们对每个句子进行分...

原创 《动手\~~/梯度消失·梯度爆炸》

概念：梯度消失，梯度爆炸：深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explosion）。当神经网络的层数较多时，模型的数值稳定性容易变差。假设一个层数为 L 的多层感知机的第 l 层 H(l) 的权重参数为 W(l) ，输出层 H(L) 的权重参数为 W(L) 。为了便于讨论，不考虑偏差参数，且设所有隐藏层的激活函数为恒等映射（identity mapping...

原创 《动手\~~/过拟合，欠拟合，及其解决方案》

概念训练误差和泛化误差：1.过拟合：训练集的训练误差较低但是测试集的泛化误差依然较高，二者相差较大。2.欠拟合：模型误差达到一个较低的误差。影响因素:模型复杂度，训练集数据量过拟合解决办法：增加训练样本L2范数（权重衰减）丢弃法欠拟合解决办法：模型表现能力不够，增加模型复杂度...

原创 《从BERT到XLNet》

bert两个缺点（图右）：被预测单词的联系性没有考虑；discrepancy差异性：训练和测试环境不一致性（mask token）模型不能改变，改变数据的方式：位置不能换，那就在模型里增加attention mask 告诉它学习哪些attention mask附件：bert中有的mask，有些保持不变，有些改变左边考虑位置，邮编考虑位置和内容h考虑位...

原创 "动手学深度学习" -task3,4,5

循环神经网络首先，循环神经网络可以为语言模型来建模。1.语言模型语言模型：给定一个一句话前面的部分，预测接下来最有可能的一个词是什么。使用循环神经网络之前，语言模型主要是采用N-Gram。N可以是一个自然数，比如2或者3。它的含义是，假设一个词出现的概率只与前面N个词相关。我们以2-Gram为例。首先，对前面的一句话进行切词：陈 幺儿 今天 中午 偷吃 鸡腿，我 打 了 ...

原创 self-Attention 与 transformer

y.view（-1,1） 转换成数组gather(1, ) 按行取

原创 《词向量与ELMo模型》

知识点一1.独热编码没法表示词语的相似度2.词向量语言模型：（本质是就是最大化概率）词向量总览图上是不考虑上下文的情况出现的问题。ABCF（如果D加上马尔科夫模型的话也可以）文本和图像很相近，深层表示思想用在一下模型：...

原创 “动手学深度学习”-task2

原创 “动手学深度学习”-task1

错题总结错题原因：对view函数不太熟悉，所以前一篇博客介绍了pytorch中的基本语法。错题原因：知识点没有理解到位

原创 “动手学深度学习”(一)

从今天开始，记录一哈学习进度，当作督促一哈自己学习。预备阶段1.环境配置1.1 Anaconda，JupyterNotebook，PyTorch网上都有各种教程,可以自行查找。2.数据操作先熟悉一哈在深度学习中对数据的一些基本操作。在pytorch中主要使用Tensor。2.1创建Tensorimport torchx=torch.empty(2,1)x=torch.ran...

原创 Numpy基础

Numpy基础你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。沿着第0，1维度做计算...

原创 利用anaconda安装tensorflow和keras

  之前配环境是各种问题，各种bug，配得我是各种欲哭无泪，好在昨天瞅到我女票从图书馆借到的一本书《TensorflowFlow+Keras深度学习人工智能实践应用》，在这么神书的指导下我成功配置了环境。感谢亲爱的陈宝宝，感谢这本书。首先安装好Anaconda，网上各种教程；输入cmd进入命令提示符显示界面建立并且切换到工作目录（可忽略）md\ pythonworkcd\ python...

翻译 python数据分析处理

CHAPTER 11.1 我们平时要处理的数据一般是结构化的数据（structured data），比如：表格型数据，每一列都有不同的类型（字符串，数字，日期等），常见于tab符号或者逗号分隔（比如csv文件）多维数组（矩阵）用一列作为键（SQL中的主键和外键），整合多个表格的数据时间序列数据大部分数据都可以转换为结构化数据，方便进行建模和分析；剩下无法转化的可以从数据集中抽取...