论文阅读笔记

注意力机制：https://zhuanlan.zhihu.com/p/53682800
《Terrain Visibility Graphs:Persistence Is Not Enough》
abstract
名称
基于LSTM的实时交通预测算法
方法
实例层：运动和交互
类别层：实例间的相似性
结果
预测精度更高

1.Introduction
挑战
异构多代理（具有不同的形状、动态、行为）

城市环境中必要考虑
复杂的道路条件
主体之间的相互作用

相关工作简述：
运动模型（传统的算法、没有考虑到代理和环境之间的交互作用）
运动学和动态模型（托莱多-莫雷奥和萨莫拉-伊兹基尔多2009）
贝叶斯滤波器（卡尔曼1960）
高斯过程（拉斯穆森和威廉姆斯2006）
LSTM网络
序列学习和生成任务中建模非线性时间依赖性(Ma等人2017)的成功，
人群的轨迹(Alahi等人2016)
车辆轨迹(Lee等人2017)。
车辆和行人共存(Chandraetal.2018b)？

主要结果：
提出了一种新的基于LSTM的算法，交通预测。
四维图（轨迹数据序列）：实例之间的相互作用，时间，高级分类。
实例和类别都表示为节点，在空间和时间上的关系表示为边
连续的移动信息和交互信息由这些节点和边来存储和传递
LSTM架构：
实例层：捕获流量代理之间的动态特性和相互作用。
类别层：同一类别实例的相似性（自我注意机制来捕捉历史运动模式）
首次：将不同类型的代理集成到统一框架中

实践：
速度几分之一秒
精度提高了20%
工作：
提出了新的异构交通系统轨迹预测方法
收集了一个交互作用大的城市交通轨迹数据集
误差更小
2.Related Work
经典的轨迹预测方法（根据物体自身之前的运动来分析物体自身的固有规律，用于少交互的简单场景）
贝叶斯网络(例如，笑，和j.伊巴˜新`2011)
蒙特卡罗模拟（丹尼尔森，彼得森和2007）
隐马尔可夫模型（汉姆）（第一等2012）
卡尔曼滤波器（卡尔曼1960）
线性和非线性高斯过程回归模型（拉斯穆森和威廉姆斯2006）

行为建模和交互作用（所有代理都必须设定好：感知、形状、动态信息）
社会力量模型 (Helbing和Molnar1995) (Yacaghetal.2011)具有吸引力和排斥力的行人运动模型
连续动力学 (特鲁伊尔、库珀和波波维的c2006)
？高斯过程（王、弗利特和赫兹曼2008）
将卡尔曼滤波器和人体运动模型相结合（Bera等人；2016；2017）
分类群体情绪或识别司机行为(张etal.2018)
考虑运动学和动态约束(Ma、Manocha和Wang2018)

用于序列预测的RNN网络
应用领域
机动分类（科斯罗沙希2017）
轨迹预测(Altch‘e和福特尔2017)
编解码器结构（Kim2017；Park2018；Lee2017）通过网格地图生成未来位置的概率（由于离散化的限制，存在固有的不准确性）
多模态分布(Deo和Trivedi2018)
基于图像(Chandraetal.2018a)通过LSTM-CNN混合网络对不同交通代理之间的交互进行建模，以进行轨迹预测。
考虑到人与人之间的互动(Alahi，2016；Gupta，2018；Vemula，Oh2017)使用LSTM预测人群中行人的轨迹

交通数据集
城市景观(Cordtsetal.2016)
包含了针对30个类的2D语义、实例级、密集的像素注释
不提供轨迹
ApolloScape(Huangetal.2018)是一个大型的综合街景数据集
包含更高的场景复杂性、2D/3D注释和姿态信息、车道标记和视频帧
不提供轨迹
模拟(NGSIM)数据集（管理2005年）
有汽车的轨迹数据
场景仅限于具有类似简单道路条件的高速公路
KITTI(Geigeretal.2013)是一个用于不同计算机视觉任务的数据集，如立体视觉、光流、2D/3D目标检测和跟踪。
使用轨迹集的数据集的总时间约为22分钟。
车辆、行人和骑自行车者之间的交叉口很少，不足以在具有挑战性的交通条件下探索交通代理的运动模式。
ETH（佩莱格里尼等人，2009）、UCY（勒纳、菊花，和利斯钦斯基，2007）
有一些行人轨迹
但没有任何车辆
3.TrafficPredict
4D Graph Generation
实例层旨在捕获流量中实例的移动模式。
对于每个实例节点Ai，我们都有一个LSTM，表示为Li。
所以只有相同类型的实例才共享相同的参数。
不同类型的代理对应不同的lstm。

我们还为图的每条边(Ai，Aj)分配LSTMLij。
所有的空间边共享相同的参数，所有的时间边根据相应的节点类型分为三种类型。

1.2 Pseudo-visibility
面对理解简单多边形VGs的复杂性，O‘Rourke和斯特里努[18]将注意力转向了伪多边形，这是简单多边形的推广，其中可见性是由平面上的一组称为伪线的曲线决定的。伪线L的排列是一组简单的曲线，每一条曲线将平面分开，这样L中的每一对伪线恰好相交，它们相交的地方。给定平面上的一组n个点和一组伪线L，这样每一对点都有一条包含它们的伪线，一个伪多边形的确定类似于标准的欧几里得简单多边形，除了可见性是用L而不是直线段来定义的。请注意，每个简单的多边形都是一个伪多边形，其中L是一组直线段。斯特里努表明，有一些伪多边形不能被拉伸成一个简单的多边形[21]。也就是说，存在一个伪多边形，这样它的VG就不是任何简单多边形的VG
1997年，O‘Rourke和斯特里努[18]给出了伪多子顶点边vg的表征。在这个设置中，对于任何顶点v，我们被告知v看到哪些边，而不是哪些顶点。不幸的是，这并没有扩展到所期望的常规特性如O‘Rourke和Streinu所述，顶点边缘VGs比常规VG[19]编码更多关于伪多边形的信息。最近，Gibson，Krohn和Wang给出了伪多边形[14]的VGs的期望特征，它最近被扩展到一个多项式时间识别和重建算法[6]。
1.3地形的可见性图
在计算几何社区中备受关注的一个几何结构是地形。地形T是平面上的一个x单调（一条垂直线最多相交一次）多边形链。设T是一个点标记为p0的地形，……，pn−1从左到右。设pix表示t上点pi的x坐标。注意，由于单调性，我们有pix<++1对于每个∈{0，……，n−2}。我们说点pi和pj相互看到当且仅当开线段pipj完全位于t之上。根据这个视觉的定义，我们可以像一个简单的多边形一样定义一个地形的VG。

《User Behavior Retrieval for Click-Through Rate Prediction》
ABSTRACT
直接输入长行为序列不可行: 负载大、多噪声
当前的工业解决方案：截断序列（只是将最近的行为提供给预测模型）
缺点：没有周期或长期
在本文中
1.从数据的角度考虑它，而不是设计更复杂但复杂的模型
2.提出CTR预测用户行为检索(UBR4CTR)框架：输入检索行为做预测（而不是最近的）
结果：可行、优越、有效

INTRODUCTION
（问题调研）
数量迅速增长：有23%的用户在淘宝上的[23]上的六个月内有超过1000种行为。
问题：利用顺序行为预测

（方法调研）
不考虑顺序的CTR预测：
基于DNN：Wide&Deep[4]、FNN[43]、DeepCross[36]、DeepFM[7]、PNN[21,22]和xDeepFM[17]

序列模式：
concept drifting [37], long-term behavior dependency [16, 23], periodic patterns [26]

考虑顺序的CTR预测
1.基于注意力：如DIN[45]和DIEN[44]
2.基于记忆网络：如HPMN[23]。

顺序推荐（相似CTR的任务）
1.基于RNN的模型[12]
2.基于cnn的模型[31]
3.基于转换器的模型[15]
4.基于内存网络的模型[5,35]

顺序模型面对大量的用户行为时，只使用最近行为[44,45]
顺序模式包含周期性和长期依赖性[23]

（我们的方案）
细节：选择这些特征的子集，以此检索

UBR4CTR中，该任务被分为两个模块。
（1）检索模块
自注意网络（选择特征）
搜索引擎（将用户行为以反向索引方式存储的）
（2）预测模块
基于注意力的深度神经网络（基于检索到的用户行为和预测目标的特征进行最终预测）

（贡献）
（1）揭示了检索相关行为比仅仅用最新的行为更重要。
（2）我们提出了一种基于搜索引擎的方法和一个有效的训练算法来学习检索适当的行为数据。
（3）进行了广泛的实验

2 PRELIMINARIES
3 METHODOLOGY
3.1 Overall Framework
用户行为检索模块和预测模块。
（1）
用户行为检索模块：特征选择模型、搜索引擎、用户历史记录存档
基于特性的倒置索引方式进行组织
输入：预测目标（由目标用户、目标项目和上下文的特征组成）
处理：形成查询（特征选择模型）、搜索（搜索引擎）
输出：一定量的行为记录
（2）
在预测模块中，用注意力模型来区分每个行为对点击概率的影响
（3）
依次对特‘征选择模型’和‘预测模型’进行训练。

3.2 User Behavior Retrieval Module
在本节中，我们将介绍用户行为检索模块，它由一个特征选择模型和一个行为搜索过程组成。

3.2.2 Behavior Searching.
3.2.1 Feature Selection Model.
3.3 Prediction Module

交叉熵：https://www.cnblogs.com/Renyi-Fan/p/13703841.html

《Anticipatory Networking:Negative Latency for Ubiquitous Computing》
从这些早期的开端开始，技术的进步就一直是多方面的。
具体来说，多年来，与环境互动的能力和方法已经从研究出现到在商店中偶然获得的实际解决方案。
其中一些作品通常被作为人机界面组合在一起，然而它们更与现实的概念以及人类和机器如何感知它们有关。
在实际环境中，这些早期概念的实现将通过5G网络支持的超低网络延迟（或使用其他网络技术，具体取决于用例）来实现。这也需要上下文的概念，以便获得合适的方法，可以嵌入一个个人或机器到一个*R场景中。更具体地说，数据的概念（例如，从传感器读数）可以用上下文解释为信息（例如，通过边缘云处理），并与学习过程一起用于获取知识（例如，使用机器学习来识别云中的长期趋势），以及再次用于生成用于生成数据的信息（发送给执行器的命令）。
这已经是上个千年讨论的基础，通常是由于在机器学习和人工智能[11]中存在的误解和缺乏统一的方法。

未来的网络对于其额外的服务将是高度动态的。
特别是对于移动网络，对服务的延迟需求不断增加，因此需要提供由基于用户的自主执行模型。

如何以及在何处存储以用户为中心的数据对减少延迟最小化延迟非常重要

为了满足人们对低延迟不断增加的需求，[Seeling21]提出了负延迟的概念，通过预期机制判断用户未来的需求趋势，预先获取数据，从理论分析的角度指出了负延迟的可行性。

function f(n){
var a=23.02Math.pow(1.037,n)
var b=17.73Math.pow(1.055,n)
return b/a+"\t"+(a-b)+"\t"+a+"\t"+b
}for(var i=0;i<10;i++)console.log(i+":"+f(i))