自动驾驶跑得好，行人行为意图建模和预测要做好

ä½Âè | é»Âæµ´

åºå | AIç§ÂæÂÂ大揥ï¼ÂID:rgznai100ï¼Â

• làSR-LSTM: State Refinement for LSTM towards Pedestrian Trajectory Prediction

à

2019å¹´3æÂÂarXiv论æÂÂãÂÂ

å¨人群åºæ¯中è¡Â人çÂÂå¯é 轨迹é¢ÂæµÂéÂÂè¦Â对ä»Â们çÂÂ社ä¼Âè¡Â为æÂÂæ·±åÂȍÂÂäºÂ解ãÂÂ对è¿ÂäºÂè¡Â为已ç»ÂæÂÂäºÂ大éÂÂçÂÂç Â究ï¼ÂèÂÂä»Âç¶å¾Âé¾å®Âå¨éÂÂè¿ÂæÂÂå·¥è§ÂÃ¥ÂÂæ¥表达ãÂÂåºäºÂLSTMç½Âç»ÂçÂÂæÂÂæ°ç Â究æ¾示åºå¶学习社交è¡Â为çÂÂ强大è½åÂÂãÂÂè½ç¶è¿ÂäºÂæ¹æ³Âé½ä¾ÂèµÂäºÂ以åÂÂçÂÂé»å±ÂéÂÂç¶æÂÂï¼Âä½Â忽çÂ¥äºÂä»Â们å½ÂÃ¥ÂÂæÂÂå¾è¿Â个信æ¯çÂÂéÂÂè¦Âæ§ãÂÂ为此ï¼Âè¿ÂéÂÂæÂÂåºä¸Â个LSTMç½Âç»Âæ°æ®驱å¨ç¶æÂÂç»ÂÃ¥ÂÂ模åÂÂï¼ÂSR-LSTMï¼Âdata-driven state refinement module for LSTM networkï¼Âï¼Â该模åÂÂæ¿Âæ´»äºÂå¦Âä½Âå©ç¨é»å±Âå½ÂÃ¥ÂÂæÂÂå¾ï¼Â并éÂÂè¿Âæ¶Âæ¯传éÂÂï¼Âmessage passingï¼Âæºå¶èÂÂÃ¥ÂÂå°迭代ç»ÂÃ¥ÂÂ人群æÂÂæÂÂÃ¥ÂÂä¸ÂèÂÂçÂÂå½ÂÃ¥ÂÂç¶æÂÂãÂÂ

à

为äºÂæÂÂæÂÂå°æÂÂÃ¥ÂÂé»å±ÂçÂÂ社ä¼Âå½±åÂÂï¼Âä½ÂèÂÂè¿Âå¼Âå¥äºÂä¸Âç§Â社ä¼Â-è§Âå¯Âä¿¡æ¯éÂÂæ©æºå¶ï¼Âsocial-aware information selection mechanismï¼Âï¼Â该æºå¶ç±éÂÂÃ¥ÂÂè¿Âå¨é¨ï¼Âmotion gateï¼ÂÃ¥ÂÂè¡Â人注æÂÂï¼Âpedestrian attentionï¼Âç»ÂæÂÂï¼Âä»Âç¸é»è¡Â人中éÂÂæ©æÂÂç¨çÂÂæ¶Âæ¯ãÂÂ

à

æÂÂ章强è°ÂçÂÂï¼Â

1ï¼Âé»å±Âå½ÂÃ¥ÂÂç¶æÂÂ对äºÂÃ¥ÂÂæ¶交äºÂæ¨æ­å¾ÂéÂÂè¦ÂãÂÂå¦Âå¾æÂÂ示ï¼Âå¨æ¶é´té¢ÂæµÂ女士æ¶ï¼ÂèÂÂèÂÂæ¶é´tï¼Âaï¼Âè¿Âæ¯æ¶é´t -1ï¼Âbï¼Âå³侧ç·人çÂÂ轨迹ï¼Âå¯è½ä¼Â导è´é¢ÂæµÂç»ÂæÂÂè¾Â大çÂÂÃ¥ÂÂå·®ï¼ÂèÂÂ线＠ãÂÂ

2ï¼Âæ ¹æ®é»å±ÂçÂÂå¨ä½ÂÃ¥ÂÂä½Âç½®èªéÂÂåºÂå°ä»Âé»å±Â中éÂÂæ©æÂÂç¨çÂÂä¿¡æ¯ãÂÂå¦Âå¾æÂÂ示ï¼Âï¼Âaï¼Âæ¯ä»Âèµ·ç¹å¼Âå§ÂçÂÂLSTMéÂÂç¥Âç»ÂÃ¥ÂÂæ¿Â活轨迹模å¼Âï¼Âå¶中æ¯Â个é¢Âè²æ Âè®°çÂÂ轨迹模å¼Âé½åÂÂå«å±ÂäºÂ头20个éÂÂç¥Âç»ÂÃ¥ÂÂÃ¥ÂÂåºÂçÂÂæ°æ®åºÂ轨迹ãÂÂï¼Âbï¼Âæ¯ä¸Â个è¡Â人交äºÂçÂÂæ ·æ¬ï¼ÂäºÂÃ¥ÂÂï¼Âdyadï¼Âå°Âå¦Âä½Â注æÂÂ左边çÂÂè¡Â人ï¼Â

à

å¦Âå¾æ¯SR-LSTMçÂÂæ¡Âæ¶å¾ãÂÂç¶æÂÂç»ÂÃ¥ÂÂ模åÂÂ被è§Â为LSTMÃ¥ÂÂÃ¥ÂÂçÂÂéÂÂå å­Âç½Âï¼Âå°Âè¡Â人对é½Â并æ´æ°è¡Â人çÂÂå½ÂÃ¥ÂÂç¶æÂÂãÂÂç»ÂÃ¥ÂÂç¶æÂÂç¨äºÂé¢ÂæµÂä¸Âä¸Â个æ¶é´步çÂÂä½Âç½®ãÂÂ

à

Vanilla LSTMï¼ÂV-LSTMï¼Âä¸Â辯åÂÂå«ä»Âè¡Â人轨迹中æÂÂÃ¥ÂÂç¹å¾ÂãÂÂÃ¥ÂÂSR-LSTMçÂÂ主è¦Âåºå«å¨äºÂï¼Âç¶æÂÂç»ÂÃ¥ÂÂï¼ÂSRï¼Â模åÂÂéÂÂè¿Âè¡Â人ä¹Âé´传éÂÂæ¶Âæ¯æÂ¥ç»ÂÃ¥ÂÂÃ¥ÂÂÃ¥ÂÂç¶æÂÂãÂÂSR模åÂÂè¾Âå¥æ¯è¡Â人çÂÂä¸Â个信æ¯æºÂï¼Âè¡Â人å½ÂÃ¥ÂÂä½Âç½®ãÂÂéÂÂç¶æÂÂÃ¥ÂÂLSTMÃ¥ÂÂÃ¥ÂÂç¶æÂÂãÂÂSR模åÂÂè¾Âåºæ¯ç»ÂÃ¥ÂÂçÂÂÃ¥ÂÂÃ¥ÂÂç¶æÂÂãÂÂ

à

å¨è¡Â人轨迹é¢ÂæµÂä»»å¡中ï¼Âè¿Âä¸Âæ­¥çÂÂç»ÂÃ¥ÂÂå¯以æÂÂé«Â交äºÂ模åÂÂçÂÂè´¨éÂÂï¼Â表æÂÂè¡Â人交äºÂ中çÂÂæÂÂå¾åÂÂÃ¥ÂÂãÂÂè¿Âå¨é¨设åÂÂè¡Â人注æÂÂ两个模åÂÂ为æ¶Âæ¯传éÂÂä¸Âèµ·ä»Âç¸é»è¡Â人中éÂÂæ©éÂÂè¦Âä¿¡æ¯ãÂÂ

à

æÂÂÃ¥ÂÂæ¯ä¸ÂäºÂå®ÂéªÂéªÂè¯Âï¼ÂSR-LSTMÃ¥ÂÂV-LSTMãÂÂSocial LSTM ï¼ÂS-LSTMï¼Âæ¯Âè¾ÂãÂÂé¦ÂÃ¥ÂÂï¼Âå¦Âå¾æÂÂ示ï¼ÂSR-LSTM中è¡Â人çÂÂå½ÂÃ¥ÂÂç¶æÂÂï¼Âç¹å«æ¯å¨è¡Â人æ¹åÂÂæÂÂå¾çÂÂæÂÂåµä¸Âå¯以åÂÂæ¶ç¸äºÂå®ÂÃ¥ÂÂãÂÂ

å¶次ï¼Âå¦Âå¾æÂÂ示ï¼ÂSR-LSTMè½å¤ÂéÂÂå«解éÂÂ常è§ÂçÂÂ社ä¼Âè¡Â为ï¼Âä»ÂèÂÂç»ÂåºéÂÂ度çÂÂãÂÂç¸对è¾Âä½Â误差çÂÂæªæÂ¥é¢ÂæµÂãÂÂ

à

à

• Pedestrian Path, Pose, and Intention Prediction Through Gaussian Process Dynamical Models

à

Ã¥ÂÂ表å¨2019å¹´5æÂÂIEEE T-ITSçÂÂ论æÂÂï¼Âå·¥ä½Âç¸对è¾Âæ©ï¼Âè¿ÂéÂÂç®ÂÃ¥ÂÂä»Âç»Âä¸Âä¸ÂãÂÂ

è¡Â人路å¾Âé¢ÂæµÂæ¹åÂÂäºÂå½ÂÃ¥ÂÂçÂÂèªå¨紧æÂ¥å¶å¨ï¼ÂAEBï¼Âç³»ç»ÂãÂÂå®Âå¯以æÂÂÃ¥ÂÂ1ç§Âé¢ÂæµÂæªæÂ¥çÂÂè¡Â人路å¾ÂãÂÂ姿å¿åÂÂæÂÂå¾ãÂÂæ¾ÂÂæ¹æ³ÂåºäºÂ平衡çÂÂé«Âæ¯è¿Âç¨Âå¨åÂÂ学模åÂÂï¼ÂB-GPDMï¼Âbalanced Gaussian process dynamical modelsï¼Âï¼Â该模åÂÂå°Âè¡Â人身ä½ÂçÂÂå³é®ç¹æÂÂå³èÂÂæÂÂÃ¥ÂÂçÂÂ3Dæ¶é´ç¸å³信æ¯åÂÂå°Âå°ä¸Â个ä½Âç½®åÂÂä½Â移çÂÂä½Â维空é´ãÂÂB-GPDMè¿Âæ¨æ­å®Â们æªæÂ¥çÂÂæ½Âå¨ä½Â置并éÂÂ建å¶ç¸å³è§ÂæµÂå¼ãÂÂ

à

学习ä¸Â个æÂÂæÂÂè¡Â人活å¨çÂÂéÂÂç¨模åÂÂéÂÂ常产çÂÂè¾Âä¸ÂÃ¥ÂÂç¡®çÂÂé¢ÂæµÂãÂÂè¿ÂéÂÂæÂÂåºçÂÂæ¹æ³Âè·å¾ÂäºÂÃ¥ÂÂç§Âæ´»å¨类åÂÂçÂÂå¤Â个模åÂÂï¼Âå³步è¡ÂãÂÂÃ¥ÂÂæ­¢ãÂÂå¼Âå§ÂÃ¥ÂÂç«Âç«Âï¼Â并éÂÂæ©æÂÂç¸似çÂÂ模åÂÂæ¥估计æªæÂ¥çÂÂè¡Â人ç¶æÂÂãÂÂå¦Âå¾æ¯åºäºÂB-GPDMæ¹æ³ÂçÂÂ说æÂÂãÂÂ该ç®Âæ³ÂÃ¥ÂÂ为两个é¶段ï¼Â离线训ç»Âï¼Â顶é¨ï¼ÂÃ¥ÂÂå¨线æ§è¡Âï¼ÂåºÂé¨ï¼ÂãÂÂè¡Â人ä¸ÂÃ¥ÂÂæ´»å¨çÂÂè¿Âå¨åºÂÃ¥ÂÂè®­ç»Âæ°æ®éÂÂï¼Âæ ¹æ®å¸åÂÂçÂÂç©¿è¿Âæ¹åÂÂÃ¥ÂÂæ´»å¨类åÂÂï¼Âå¯åÂÂ为8个å­ÂéÂÂï¼Âæ°æ®éÂÂ中æ¯Â个åºÂÃ¥ÂÂÃ¥ÂÂå«ä¸Â个活å¨ï¼Âå¾Âå°ä¸Â个B-GPDMãÂÂ

àà

à

å®ÂéªÂç»ÂæÂÂæ¯ï¼Âæ­¥æÂÂå¼Âå§ÂÃ¥ÂÂ该æ¹æ³Âå¨125毫ç§Âæ£ÂæµÂå°å¼Âå§Âæ´»å¨ï¼ÂÃ¥ÂÂ确度为80ï¼Âï¼Â并å¨58.33毫ç§Âä¹ÂÃ¥ÂÂè¯Âå«åºåÂÂæ­¢æÂÂå¾ï¼ÂÃ¥ÂÂ确度为70ï¼ÂãÂÂ

à

• StarNet: Pedestrian Trajectory Prediction using Deep Neural Network in Star Topology

à

2019å¹´6æÂÂç¾Âå¢èªå¨驾驶ç»ÂÃ¥ÂÂ表å¨arXivçÂÂ论æÂÂãÂÂ

ç±äºÂè¡Â人ä¹Âé´çÂÂå¤ÂæÂÂäºÂå¨ï¼Âè¡Â人轨迹é¢ÂæµÂé®é¢Âæ¯ä¸Â个巨大çÂÂæÂÂæÂÂãÂÂÃ¥ÂÂÃ¥ÂÂçÂÂæ¹æ³Âä»Â对è¡Â人ä¹Âé´çÂÂæÂÂ对交äºÂè¿Âè¡Â建模ï¼Âè¿Âä¸Âä»Âè¿ÂÃ¥ÂÂç®ÂÃ¥ÂÂäºÂè¡Â人ä¹Âé´çÂÂ交äºÂï¼ÂèÂÂä¸Â计ç®ÂæÂÂçÂÂä½Âä¸ÂãÂÂStarNetå·æÂÂæÂÂå½¢æÂÂæÂÂç»ÂæÂÂï¼ÂÃ¥ÂÂ振ä¸ÂçÂÂæ¢纽ï¼Âhubï¼Âç½Âç»ÂÃ¥ÂÂå¤Â个主ï¼Âhostï¼Âç½Âç»ÂãÂÂæ¢纽ç½Âç»Âè§Âå¯ÂæÂÂæÂÂè¡Â人çÂÂ轨迹ï¼Âç»Âåºä¸Â个人éÂÂ交äºÂçÂÂå¨é¢æÂÂè¿°ãÂÂç¶åÂÂï¼Âæ¯Â个ä¸Âè¡Â人ç¸对åºÂçÂÂ主ç½Âç»Âå°Âå¨询该æÂÂ述并é¢ÂæµÂæªæÂ¥çÂÂ轨迹ãÂÂä¸Âå¾æ¯StarNetçÂÂç»ÂæÂÂå¾ãÂÂ

à

ç±äºÂæªæÂ¥è¿Âå¨çÂÂä¸Âç¡®å®Âæ§ï¼Âè¡Â人路å¾Âé¢ÂæµÂæ¯ä¸Â个巨大çÂÂæÂÂæÂÂãÂÂ常è§Âæ¹æ³ÂéÂÂè¿ÂæÂÂå·¥å¶ä½ÂçÂÂç¹å¾Â解å³äºÂè¿Â个é®é¢ÂãÂÂèÂÂæ°æ®驱å¨æ¹æ³Âæ¶Âé¤äºÂæÂÂå·¥å¶ä½Âç¹å¾ÂçÂÂè¦Âæ±Âï¼Â并大大æÂÂé«ÂäºÂé¢ÂæµÂè¡Â人轨迹çÂÂè½åÂÂãÂÂä½Âæ¯ï¼Âç°æÂÂæ¹æ³Â计ç®ÂæÂÂ对ç¹å¾Âï¼Âå¨çÂÂå®Âç¯å¢Â中è¿ÂÃ¥ÂÂç®ÂÃ¥ÂÂ交äºÂãÂÂÃ¥ÂÂæ¶ï¼Âå¨æÂ¥æ¤çÂÂåºæ¯中æ¿åÂÂçÂÂ巨大çÂÂ计ç®Âè´ÂæÂÂãÂÂ

à

ä¸Â以åÂÂçÂÂæ¹æ³Âç¸æ¯Âï¼ÂStarNetå·æÂÂ两个ä¼Âç¹ï¼Â

1ï¼Â表示ä¸Âä»ÂæÂÂè¿°æÂÂ对ç¸äºÂä½Âç¨ï¼ÂèÂÂä¸Âè¿ÂæÂÂè¿°éÂÂä½Âç¸äºÂä½Âç¨ï¼Âè¿Âæ ·å¨é¢çÂÂ表示使StarNetè½å¤ÂÃ¥ÂÂåºåÂÂç¡®çÂÂé¢ÂæµÂãÂÂ

2ï¼ÂæÂÂæÂÂå°计ç®Âåºä¸Â个è¡Â人ä¸Âå¶ä»Âè¡Â人ä¹Âé´çÂÂ交äºÂï¼Âå½Âé¢ÂæµÂæÂÂæÂÂè¡Â人çÂÂ轨迹æ¶ï¼ÂéÂÂçÂÂè¡Â人æ°éÂÂçÂÂå¢Âå ï¼Â计ç®Âæ¶é´线æ§å¢Âå ï¼ÂèÂÂä¸Âæ¯平æ¹å°å¢Âå ãÂÂå¦Âå¾æ¯StarNeté¢ÂæµÂÃ¥ÂÂæ ÂçÂÂè¿Âç¨ÂãÂÂ

à

æ¢纽ç½Âç»ÂÃ¥ÂÂæ¶è·åÂÂæÂÂæÂÂè§ÂæµÂçÂÂ轨迹ï¼Â并çÂÂæÂÂ人群çÂÂ综åÂÂ表示rãÂÂ该表示rÃ¥ÂÂå«人群çÂÂ空é´åÂÂæ¶é´信æ¯ï¼Âè¿Âæ¯æÂÂè¿°è¡Â人ä¹Âé´交äºÂçÂÂå³é®ãÂÂæ¢纽ç½Âç»ÂéÂÂè¿Â两个步骤çÂÂæÂÂ表示rï¼Â1ï¼Âå¨æ¯Â个æ¶é´步çÂÂæÂÂ人群çÂÂ空é´表示ï¼Â2ï¼Âå°Â空é´表示形å¼Âè¾ÂÃ¥ÂÂ¥LSTM以产çÂÂæ¶-空表示形å¼ÂrãÂÂ对äºÂ第i个è¡Â人ï¼Â主ç½Âç»Âé¦ÂÃ¥ÂÂåµÂå¥è§Âå¯Â轨迹Oiï¼Âç¶åÂÂå°ÂåµÂå¥轨迹ä¸Âæ¶-空表示形å¼Ârtç¸ç»ÂÃ¥ÂÂï¼Âä»ÂèÂÂé¢ÂæµÂæªæÂ¥çÂÂ轨迹ãÂÂå·ä½Âå°ï¼Â主ç½Âç»ÂéÂÂè¿Â两个步骤æÂ¥é¢ÂæµÂæªæ¥轨迹ï¼Â1ï¼Â以è§Âå¯Â轨迹OiÃ¥ÂÂæ¶-空表示rtè¾Âå¥çÂÂæÂÂ综åÂÂçÂÂ表示ï¼Â2ï¼Âæ ¹æ®è§ÂæµÂ轨迹OiÃ¥ÂÂ综åÂÂ表示æÂ¥é¢ÂæµÂ第i个è¡Â人çÂÂæªæ¥轨迹ãÂÂ

à

çÂÂç»ÂæÂÂï¼Âå¦Âå¾4个åºæ¯çÂÂé¢ÂæµÂ轨迹åÂÂç¸åºÂçÂÂçÂÂå®Âå¼ï¼Âå¶中ä¸ÂÃ¥ÂÂçÂÂé¢Âè²表示ä¸ÂÃ¥ÂÂçÂÂ轨迹ï¼ÂçÂÂå®Â轨迹ç¨ç¹æ Âè®°ï¼Âé¢ÂæµÂçÂÂ轨迹ç¨ä¸Âè§Âå½¢æ Âè®°ãÂÂ

à

à

• Social Ways: Learning Multi-Modal Distributions of Pedestrian Trajectories with GANs

à

Ã¥ÂÂ表CVPR 2019 workshopçÂÂ论æÂÂãÂÂ

æ¾ÂÂæÂÂåºäºÂä¸Âç§Âè¡Â人ä¸Âä»Â人äºÂå¨çÂÂè¿Âå¨é¢ÂæµÂæ¹æ³ÂãÂÂå®Â为åºæ¯çÂÂ代çÂÂç¨çÂÂæÂÂ对æÂÂç½Âç»Âï¼ÂGANï¼ÂéÂÂæ ·åÂÂçÂÂçÂÂé¢ÂæµÂãÂÂç±äºÂGANéÂÂ常容æÂÂÃ¥ÂÂçÂÂ模å¼Âå´©æºÂÃ¥ÂÂæÂÂè½ï¼Âmode collapsing and droppingï¼Âï¼Âè¿Â个论æÂÂ表æÂÂï¼ÂæÂÂè¿ÂæÂÂåºçÂÂInfo-GANå¯以æÂÂ大å°æ¹åÂÂå¤Â模å¼Âè¡Â人轨迹é¢ÂæµÂï¼Âé¿åÂÂåºç°è¿ÂäºÂé®é¢ÂãÂÂ

à

ä¸Â以åÂÂçÂÂå·¥ä½Âä¸ÂÃ¥ÂÂï¼Âè¿Â个æ¹æ³ÂçÂÂå»äºÂè®­ç»ÂçÂÂæÂÂå¨çÂÂL2æÂÂ失项ï¼ÂÃ¥ÂÂå æ¯ï¼Â尽管å®Âæ¶æÂÂéÂÂ度æ´快ï¼Âä½Âä¼Â导è´严éÂÂçÂÂ模å¼Âå´©æºÂãÂÂéÂÂè¿Â对çÂÂå®Âæ°æ®åÂÂÃ¥ÂÂæÂÂæ°æ®çÂÂå®ÂéªÂ表æÂÂï¼ÂæÂÂæÂÂåºçÂÂæ¹æ³Âå¯以çÂÂæÂÂæ´å¤Âæ ·åÂÂçÂÂæ ·æ¬并ä¿ÂçÂÂé¢ÂæµÂÃ¥ÂÂå¸ÂçÂÂ模å¼ÂãÂÂç¹å«æ¯ï¼Â该工ä½Â设计äºÂä¸Â个ç©å·示ä¾Â轨迹æ°æ®éÂÂï¼Âå¯è¯Âä¼°ä¸ÂÃ¥ÂÂä¿Âå­Âé¢ÂæµÂÃ¥ÂÂå¸Â模å¼Âæ¹æ³ÂçÂÂæ§è½ãÂÂ

à

å¦Âå¾æ¯轨迹é¢ÂæµÂé®é¢ÂçÂÂ示æÂÂå¾ãÂÂæÂÂäºÂè§Âå¯ÂçÂÂæÂÂå´趣è¡Â人轨迹ï¼Âç¨*表示ï¼Â以åÂÂç¯å¢Â中å¶ä»Âè¡Â人çÂÂ轨迹ï¼Âç³»ç»Âè½å¤Â建ç«Âå¯è½轨迹çÂÂé¢ÂæµÂÃ¥ÂÂå¸Âï¼ÂèÂÂé»Â线æ¾示çÂÂ两ç§Â模å¼Âï¼ÂãÂÂ

à

å¨å³å®Âè¡Â人çÂÂ转åÂÂå¨ä½Âæ¶ï¼Âä»Â/她ä¼Âé¢ÂæµÂå°ä¸Âä¹ÂçÂÂå°ÂæÂ¥å¨å´ç¯å¢Âå¯è½åÂÂçÂÂçÂÂÃ¥ÂÂÃ¥ÂÂãÂÂç°å¨ï¼Âç±äºÂé»å±ÂæªæÂ¥è¡Âå¨åÂÂæÂÂå¾çÂÂä¸Âç¡®å®Âæ§ï¼Âè¿Âç§Âé¢ÂæÂÂä¸ÂæÂȾ¯é£ä¹Â容æÂÂãÂÂå¨æÂÂæ°çÂÂåºäºÂNNè¿Âå¨é¢ÂæµÂç³»ç»Â中ï¼Âè¾Âå¥æ¯å¨å´è¡Â人çÂÂæÂÂæ°è§Âå¯ÂéÂÂÃ¥ÂÂãÂÂå 此ï¼Âä»Âè§ÂæµÂå°NNç½Âç»Âé¢ÂæµÂ轨迹çÂÂæ å°Âä¸Âä¼ÂæÂÂç¡®èÂÂèÂÂé»å±Âæªæ¥轨迹çÂÂä¸Âç¡®å®Âæ§åÂÂå¤Â模æÂÂæ§质ãÂÂè¿Âæ ·ä»ÂæÂÂç§ÂæÂÂä¹Âä¸Â说ï¼ÂNNç½Âç»Âä¹Âå¸ÂæÂÂ学习è¿ÂäºÂï¼Âè¿Âæ ·çÂÂæÂÂæÂÂé¾åÂÂè¿Âé«ÂãÂÂ

à

å¨已çÂ¥åºæ¯中æÂÂæÂÂ代çÂÂæÂÂç»­æ¶é´ÃÂçÂÂÃ¥ÂÂå§Âè·Â踪轨迹çÂÂ段ï¼Âtrackletsï¼ÂæÂÂåµä¸Âï¼Â社交æ¹å¼Âï¼ÂSocial Waysï¼ÂGANçÂÂæÂÂç¬ç«ÂçÂÂéÂÂæº轨迹样æ¬ï¼Â模æÂÂè®­ç»Âæ°æ®中轨迹çÂÂÃ¥ÂÂå¸ÂãÂÂ

à

ä¸Âå¾æ¯Social Ways GANé¢ÂæµÂç³»ç»Âæ¡Âå¾ãÂÂé»Âè²椭åÂÂ表示æÂÂ失计ç®Âï¼ÂèÂÂ线箭头表示åÂÂÃ¥ÂÂä¼ æ­çÂÂæ¹åÂÂï¼Âç²Âä½Â箭头带çÂÂå®Âæ°æ®ï¼ÂGTï¼ÂãÂÂ

à

à

ä¼ÂæÂÂå¨çÂ¥ï¼ÂGANè®­ç»Âå¾Âå°é¾ï¼Âå 为å®Âå¯è½ä¸Âä¼Âæ¶æÂÂï¼Âå½ÂçÂÂæÂÂå¨åÂÂé´å«å¨ä¹Âé´ä¸Â平衡æ¶ï¼Â梯度ä¼Âæ¶Â失ï¼ÂæÂÂèÂÂå¯è½ä¼ÂÃ¥ÂÂçÂÂ模å¼Âå´©æºÂï¼Âå³åÂÂæÂÂæ°æ®çÂÂéÂÂ样缺ä¹Âå¤Âæ ·æ§ï¼ÂãÂÂå¨é¢ÂæµÂè¡Â人è¿Âå¨æ¶ï¼Âé¿åÂÂ模å¼Âå´©æºÂè³å³éÂÂè¦Âï¼Âå 为å®Âå¯è½导è´ç¾é¾æ§çÂÂå³ç­Âï¼Âå³导è´èªå¨驾驶é·åÂ¥å°å¢ÂãÂÂ

à

è¿ÂéÂÂä»Âç»ÂGANè®­ç»ÂçÂÂ两个主è¦Âæ¹åÂÂãÂÂ1ï¼Âä¸Â使ç¨L-2æÂÂ失强å¶çÂÂæÂÂæ ·æ¾¥è¿ÂçÂÂå®Âæ°æ®ï¼Âå 为已ç»Âè§Âå¯Âå°该项æÂÂ失对çÂÂæÂÂæ ·æÂÂå¤Âæ ·æ§æÂÂè´Âé¢影åÂÂï¼ÂèÂÂä¸Âï¼Âç¸对äºÂGANå¶ä»ÂçÂÂæ¬ï¼ÂInfo-GANæ¶æÂÂ对äºÂé¿åÂÂ模å¼Âå´©æºÂé®é¢ÂæÂÂéÂÂ常积æÂÂçÂÂå½±åÂÂï¼ÂInfo-GANå¨学习中å¼Âå¥æ°çÂÂç¼Âç ÂÃ¥ÂÂéÂÂcä½Â为è¾Âå¥ï¼Âå»学习æ°æ®中åÂÂÃ¥ÂÂæºÂçÂÂ解è±ï¼Âdisentangledï¼Â表示ãÂÂ2ï¼Âè®­ç»Â中添å å¦ä¸Â项ï¼ÂæÂÂ大åÂÂcÃ¥ÂÂå¸Âä¸ÂçÂÂæÂÂè¾ÂåºçÂÂÃ¥ÂÂå¸Âä¹Âé´çÂÂäºÂä¿¡æ¯ï¼Âmutual informationï¼Âä¸ÂéÂÂï¼Âè¿ÂéÂÂè¦Âè®­ç»Âå¦ä¸Â个å­Âç½Âä½Â为æ¿代项è¯Âä¼°çÂÂæÂÂæ°æ®çÂÂä¼¼ç¶ãÂÂ

à

çÂÂä¸Âä¸Âç»ÂæÂÂï¼Âå¦Âå¾æ¾示ç»ÂæÂÂ示ä¾Âï¼Âæ´Â红è²ï¼Âï¼Âè§Âå¯Â轨迹以èÂÂè²线æ¾示ï¼ÂçÂÂå®ÂçÂÂé¢ÂæµÂÃ¥ÂÂæÂÂéÂÂé¢ÂæµÂ以éÂÂè²åÂÂæ©Âè²线æ¾示ãÂÂ

à

à

• Multi-Agent Tensor Fusion for Contextual Trajectory Prediction

à

2019å¹´7æÂÂarXivÃ¥ÂÂ表论æÂÂãÂÂ

轨迹é¢ÂæµÂå·æÂÂæÂÂæÂÂæ§ï¼Âå 为å®ÂéÂÂè¦Âæ¨çÂÂ代çÂÂè¿ÂÃ¥ÂȍÂÂè¿Âå¨ãÂÂä¸ÂÃ¥ÂÂæ°éÂÂÃ¥ÂÂç§Âç±»çÂÂ代çÂÂä¹Âé´çÂÂ社ä¼Â交äºÂãÂÂåºæ¯ä¸Âä¸ÂæÂÂçÂÂéÂÂå¶以åÂÂ人类è¡Â为çÂÂéÂÂæºæ§ãÂÂ

æ¾ÂÂæ¹æ³Âå¨å¤Â代çÂÂå¼ éÂÂèÂÂÃ¥ÂÂï¼ÂMATFï¼ÂMulti-Agent Tensor Fusionï¼Âç½Âç»Â中对è¿ÂäºÂ交äºÂÃ¥ÂÂ约æÂÂèÂÂÃ¥ÂÂ建模ãÂÂå·ä½Âæ¥说ï¼Â该模åÂÂå°Âå¤Â个代çÂÂçÂÂè¿Âå»轨迹åÂÂåºæ¯ä¸Âä¸ÂæÂÂç¼Âç Â为å¤Â代çÂÂå¼ éÂÂï¼Âç¶åÂÂåºÂç¨å·积èÂÂÃ¥ÂÂæÂÂè·å¤Â代çÂÂ交äºÂï¼ÂÃ¥ÂÂæ¶ä¿ÂçÂÂ代çÂÂÃ¥ÂÂåºæ¯ä¸Âä¸ÂæÂÂçÂÂ空åÂÂç»ÂæÂÂãÂÂ该模åÂÂç¨对æÂÂæ§æÂÂ失ï¼Âadversarial lossï¼Â学习éÂÂæºé¢ÂæµÂï¼ÂéÂÂå½Âå°解ç Âåºå¤Â代çÂÂæªæ¥轨迹ãÂÂä½ÂèÂÂå¨é«ÂéÂÂå¬路驾驶åÂÂè¡Â人æ°æ®éÂÂä¸ÂÃ¥ÂÂå®ÂéªÂï¼Âè¿ÂéÂÂä»Âä»ÂÃ¥ÂÂé«ÂéÂÂå¬路ï¼Â该æ¹æ³ÂéÂÂç¨äºÂè¡Â人轨迹é¢ÂæµÂï¼Âå¨âÂÂè¡Â人è¡Â为建模åÂÂé¢ÂæµÂâÂÂ讨论中ä¼ÂÃ¥ÂÂ举ä¾ÂÃ¥ÂÂæÂÂï¼ÂãÂÂ

à

MATFä½Âç³»ç»ÂæÂÂæÂÂ两个并è¡Âç¼Âç ÂæµÂãÂÂä¸Â个åÂÂ代çÂÂLSTMç¼Âç Âå¨ç¬ç«Âå°ç¼Âç Âæ¯Â个åÂÂçÂÂ代çÂÂxiçÂÂè¿Âå»轨迹ï¼Âå¦ä¸Â个CNNç¼Âç ÂéÂÂæÂÂåºæ¯ä¸Âä¸ÂæÂÂå¾åÂÂcãÂÂæ¯Â个LSTMç¼Âç Âå¨å±享ç¸åÂÂçÂÂÃ¥ÂÂæ°éÂÂï¼Âå 此ä½Âç³»ç»ÂæÂÂ对åºæ¯中代çÂÂçÂÂæ°éÂÂå·æÂÂä¸ÂÃ¥ÂÂæ§ãÂÂLSTMç¼Âç Âå¨çÂÂè¾Âåºæ¯没æÂÂæ¶åÂÂç»ÂæÂÂçÂÂä¸Â维代çÂÂç¶æÂÂÃ¥ÂÂéÂÂ{x'1ï¼Âx'2ï¼Â..ï¼Âx'n}ãÂÂåºæ¯ä¸Âä¸ÂæÂÂç¼Âç Âå¨CNNçÂÂè¾Âåºæ¯ä¸Â个缩æ¾çÂÂç¹å¾Âå¾c'ï¼Âä¿ÂçÂÂé¸Âç°éÂÂæÂÂåºæ¯ä¸Âä¸ÂæÂÂå¾åÂÂçÂÂ空åÂÂç»ÂæÂÂãÂÂ

à

æÂ¥çÂÂï¼Âå°Â两个ç¼Âç ÂæµÂ空é´ä¸Â串èÂÂæÂÂä¸Â个å¤Â代çÂÂå¼ éÂÂï¼ÂMATï¼ÂãÂÂ代çÂÂç¼Âç Â{ x'1ï¼Âx'2ï¼Â..ï¼Âx'n}Ã¥ÂÂ并æÂÂä¸Â个é¸Âç°空é´张éÂÂï¼Â该张éÂÂÃ¥ÂÂå§ÂÃ¥ÂÂ为0ï¼Â并ä¸Âä¸Âç¼Âç ÂçÂÂåºæ¯å¾åÂÂc'çÂÂå½¢ç¶ï¼Â宽度åÂÂé«Â度ï¼Âç¸åÂÂãÂÂ

à

ç¼Âç ÂçÂÂ维度轴éÂÂÃ¥ÂÂå¼ éÂÂçÂÂéÂÂéÂÂè½´ãÂÂ代çÂÂç¼Âç Âæ¾å¨空é´张éÂÂ中ï¼Âç¸对äºÂå¶è¿Âå»轨迹å¨æÂÂÃ¥ÂÂæ¶é´步çÂÂä½Âç½®ãÂÂç¶åÂÂï¼Â该张éÂÂä¸ÂéÂÂéÂÂç»´çÂÂç¼Âç Âåºæ¯å¾åÂÂè¿ÂæÂ¥ï¼Âè·å¾Âç»ÂÃ¥ÂÂå¼ éÂÂãÂÂå¦ÂæÂÂå¤Â个代çÂÂå 为离æ£åÂÂæ¾置å¨张éÂÂçÂÂÃ¥ÂÂä¸ÂÃ¥ÂÂÃ¥ÂÂï¼ÂÃ¥ÂÂæ§è¡ÂéÂÂÃ¥ÂÂæÂÂ大池åÂÂãÂÂ

à

å¤Â代çÂÂå¼ éÂÂï¼ÂMATï¼Â被é¦ÂéÂÂå°å¨å·积å±Âï¼Âè¿ÂäºÂå±Â学习å¤Â个代çÂÂä¹Âé´以åÂÂ代çÂÂä¸Âåºæ¯ä¸Âä¸ÂæÂÂä¹Âé´çÂÂ交äºÂï¼ÂÃ¥ÂÂæ¶ä¿ÂçÂÂ空åÂÂå±Âé¨æ§ï¼Âå¯çÂÂæÂÂèÂÂÃ¥ÂÂçÂÂå¤Â代çÂÂå¼ éÂÂï¼ÂMATFï¼ÂãÂÂå·ä½Âæ¥说ï¼Âè¿ÂäºÂå±ÂéÂÂç¨类似U-Net模åÂÂçÂÂä½Âç³»ç»ÂæÂÂå¨ä¸ÂÃ¥ÂÂ空é´尺度ä¸Â对交äºÂè¿Âè¡Â建模ãÂÂ该èÂÂÃ¥ÂÂ模åÂÂc''çÂÂè¾Âåºç¹å¾Âå¾å¨宽度åÂÂé«Â度ä¸Âå·æÂÂä¸Âc'å®Âå¨ç¸åÂÂçÂÂå½¢ç¶ï¼Âä¿ÂçÂÂç¼Âç ÂçÂÂ空åÂÂç»ÂæÂÂãÂÂ

à

å¦Âä¸Âå¾æÂÂ示ï¼Âä»Âå¼ÂéÂÂçÂÂè§Â度æÂ¥çÂÂï¼Âå¤Â代çÂÂå¼ éÂÂç¼Âç Âæ¯åºæ¯ä¸Âä¸ÂæÂÂÃ¥ÂÂå¤Â代çÂÂçÂÂ空é´ç¹å¾Âå¾ï¼ÂÃ¥ÂÂæ¬代çÂÂéÂÂéÂÂï¼Âä¸Âæ¹ï¼ÂÃ¥ÂÂä¸Âä¸ÂæÂÂéÂÂéÂÂï¼Âä¸Âæ¹ï¼ÂãÂÂÃ¥ÂÂ个代çÂÂLSTMç¼Âç Âå¨è¾ÂåºçÂÂ代çÂÂç¹å¾ÂÃ¥ÂÂéÂÂï¼Â红è²ï¼Âå¨空é´ä¸Âç¸对代çÂÂÃ¥ÂÂæ Âæ¾置ï¼Âå½¢æÂÂ代çÂÂéÂÂéÂÂãÂÂ代çÂÂéÂÂéÂÂå¨空é´ä¸Âä¸Âåºæ¯ä¸Âä¸ÂæÂÂç¼Âç Âå±Âè¾ÂåºçÂÂä¸Âä¸ÂæÂÂéÂÂéÂÂï¼Âä¸Âä¸ÂæÂÂç¹å¾Âå¾ï¼Â对é½Âï¼Âä¿ÂçÂÂ空é´ç»ÂæÂÂãÂÂ

à

为äºÂ解ç Âæ¯Â个代çÂÂçÂÂé¢ÂæµÂ轨迹ï¼Âæ¯Â个代çÂÂ{x1''ï¼Âx2''ï¼Â..ï¼Âxn''}æ ¹æ®èÂÂÃ¥ÂÂå¤Â代çÂÂå¼ éÂÂè¾Âåºc''çÂÂÃ¥ÂÂæ Âï¼ÂÃ¥ÂÂåºï¼Âslice outï¼Âå·æÂÂ代çÂÂ交äºÂç¹å¾ÂçÂÂçÂÂç¹å®Â表示ãÂÂç¶åÂÂï¼Âå°Âè¿ÂäºÂç¹å®Â表示形å¼Âä½Â为æ®Â差添å å°åÂÂå§Âç¼Âç Â代çÂÂç¢éÂÂ中ï¼Âå½¢æÂÂæÂÂç»ÂçÂÂ代çÂÂç¼Âç Âç¢éÂÂ{x1'+ x1''ï¼Âx2'+ x2''ï¼Â...ï¼Âxn'+ xn''}ï¼Âå¶中ç¼Âç ÂæÂ¥èª代çÂÂèª身çÂÂè¿Âå»轨迹ãÂÂéÂÂæÂÂåºæ¯ä¸Âä¸ÂæÂÂ以åÂÂå¤Â代çÂÂä¹Âé´çÂÂ交äºÂç¹å¾Âç­Âä¿¡æ¯ãÂÂ

à

è¿Âç§Âæ¹æ³Â使æ¯Â个代çÂÂé½å¯以ä¸Â注äºÂèª身èÂÂè·å¾Âä¸ÂÃ¥ÂÂçÂÂ社交åÂÂä¸Âä¸ÂæÂÂåµÂå¥ãÂÂéÂÂè¦ÂçÂÂæ¯ï¼Â该模åÂÂä¸Âæ¯对n个代çÂÂè¿Âè¡Ân次æÂÂä½Âï¼ÂèÂÂæ¯使ç¨å±享ç¹å¾ÂæÂÂÃ¥ÂÂå¨ï¼Â为å¤Â个代çÂÂè·åÂÂè¿ÂäºÂåµÂå¥ãÂÂæÂÂÃ¥ÂÂï¼Â对äºÂåºæ¯中çÂÂæ¯Â个代çÂÂï¼Âå¶æÂÂç»Âç¢éÂÂxi'+ xi''ç±LSTM解ç Âå¨解ç Â为æªæ¥轨迹é¢ÂæµÂyiÃÂãÂÂ类似äºÂæ¯Â个代çÂÂç¼Âç Âå¨ï¼Âå±享åÂÂæ°确ä¿Âå½Âåºæ¯中代çÂÂæ°éÂÂÃ¥ÂÂÃ¥ÂÂæ¶ç½Âç»Âä»Âç¶è½å¾Â好å°æ³ÂÃ¥ÂÂãÂÂå¦Âå¾æ¯å¤Â代çÂÂå¼ éÂÂèÂÂÃ¥ÂÂï¼ÂMATFï¼Âæ¶æÂÂå¾ãÂÂ

à

æÂÂÃ¥ÂÂæ¯å®ÂéªÂç»ÂæÂÂå¾ï¼Âæ¯å¦ç¦Âæ 人æºæ°æ®éÂÂï¼ÂStanford Drone datasetï¼ÂãÂÂä»Âå·¦å°å³ï¼ÂMATF å¤Â代çÂÂåºæ¯ï¼ÂMATFå¤Â代çÂÂÃ¥ÂÂLSTMãÂÂèÂÂè²çÂÂè¿Âå»轨迹ï¼Â红è²çÂÂçÂÂå®Â轨迹åÂÂ绿è²çÂÂé¢ÂæµÂç»ÂæÂÂãÂÂ绿è²é¢ÂæµÂ轨迹ä¸Â红è²çÂÂå®Âæªæ¥轨迹è¶ÂæÂ¥è¿Âï¼ÂÃ¥ÂÂé¢ÂæµÂè¶ÂÃ¥ÂÂç¡®ãÂÂ该模åÂÂé¢ÂæµÂï¼Â1ï¼Âä»Â顶é¨è¿Âå¥åÂÂæÂÂå¤ÂçÂÂ两个代çÂÂå°Âä»Â左边离å¼Âï¼Âï¼Â2ï¼Âå¨åÂÂæÂÂå¤Âä¸Âæ¹çÂÂè·¯å¾Âä¸Âï¼Âä»Â左侧æÂ¥çÂÂä¸ÂÃ¥ÂÂ代çÂÂ左转ï¼ÂæÂÂå¾çÂÂ顶é¨移å¨ï¼Âï¼Â3ï¼Âä¸ÂÃ¥ÂÂ代çÂÂå¨åÂÂæÂÂå¤Âä¸Âæ¹åÂÂå³侧çÂÂ建ç­Âç©é¨å£åÂÂéÂÂãÂÂï¼Â4ï¼Âä¸Â个æÂÂ趣çÂÂ失败æ¡Âä¾Âï¼Âå¶中ä½ÂäºÂÃ¥ÂÂæÂÂå¤Âå³ä¸Âè§ÂçÂÂä¸Â个代çÂÂÃ¥ÂÂå³转ï¼ÂæÂÂå¾åÂÂ顶é¨移å¨ï¼Â模åÂÂé¢ÂæµÂ转弯ï¼Âä½Â没æÂÂé¢ÂæµÂ转弯å¤Â大ãÂÂ

à

à

• Which Way Are You Going? Imitative Decision Learning for Path Forecasting in Dynamic Scenes

à

ä¸Âé¢å ç¯ÂÃ¥ÂÂæ¯CVPR2019论æÂÂãÂÂ

该æÂÂæÂÂåºä¸Âç§Â模仿å³ç­Â学习ï¼ÂIDLï¼ÂImitative Decision Learningï¼Âæ¹æ³Âï¼Â该æ¹æ³Âæ´深åÂ¥å°ç Â究åºæÂÂå°表å¾Âå¤Â模å¼ÂçÂÂå³é®ï¼Âå³æ½Âå³ç­Âï¼Âlatent decisionï¼ÂãÂÂæÂÂåºçÂÂIDLé¦ÂÃ¥ÂÂä»Âè¿Âå¨åÂÂå²中学习æ¨æ­此类æ½Âå³ç­ÂçÂÂÃ¥ÂÂå¸ÂãÂÂç¶åÂÂï¼ÂèÂÂèÂÂéÂÂæ ·çÂÂæ½Âå³ç­ÂçÂÂæÂÂé¢ÂæµÂæªæÂ¥çÂÂç­ÂçÂ¥ãÂÂä¸ÂÃ¥ÂÂçÂÂå¯è½路å¾Â对åºÂäºÂæ¯Â个éÂÂæ ·çÂÂæ½Âå³ç­ÂãÂÂ

à

è¿Âç§Âæ¹æ³Âä¸Â主æµÂæÂÂç®å¾Â大ä¸ÂÃ¥ÂÂï¼ÂÃ¥ÂÂèÂÂä¾Âé é¢Âå®Âä¹ÂçÂÂæ½ÂÃ¥ÂÂéÂÂæÂ¥æ¨æ­åÂÂç§Âé¢ÂæµÂãÂÂ为äºÂå 深对æ½Âå³ç­ÂÃ¥ÂÂçÂÂæÂÂçÂÂå¤Â模å¼ÂæªæÂ¥çÂÂçÂÂ解ï¼ÂéÂÂè¿Âç¸äºÂä¿¡æ¯ä¼ÂÃ¥ÂÂï¼Âmutual information optimizationï¼Âç Â究å®Â们ä¹Âé´çÂÂèÂÂç³»ãÂÂæ­¤å¤Âï¼Âä¸Â两步å¤ÂçÂÂæ¹æ³Âç¸æ¯Âï¼ÂIDLå°Â空é´åÂÂæ¶é´ç¸å³æ§éÂÂæÂÂå°ä¸Â个åÂÂä¸ÂçÂÂæ¡Âæ¶中ãÂÂè¿Âç§Âæ¹æ³Âå¯以åÂÂæ¶é¢ÂæµÂåºæ¯æÂÂæÂÂè¡Â人çÂÂè·¯å¾ÂãÂÂ

à

对äºÂå¨æÂÂåºæ¯çÂÂè·¯å¾Âé¢ÂæµÂä»»å¡èÂÂè¨Âï¼Âä¸Â个å·æÂÂæÂÂæÂÂæ§çÂÂé®é¢Âæ¯æªæÂ¥çÂÂå¤Â模æÂÂï¼Âé´äºÂä¸Âç³»åÂÂÃ¥ÂÂå²è§ÂæµÂï¼ÂæªæÂ¥å¯è½ä¸Âæ­¢ä¸Â个路å¾Âï¼Â尽管é¢Âè§Âç¡®å®Âæ§æªæÂ¥çÂÂå·¥ä½Âä¹Âä¸Âå°ÂäºÂï¼Âä½Âæ¯大å¤Âæ°æ¹æ³Âæªè½èÂÂèÂÂå°æªæÂ¥çÂÂå¤Âç§Âå¯è½æ§ãÂÂå¦Âå¾å±Â示è¿Âç§Âå¤Â模æÂÂæ§质ï¼ÂåºäºÂç¸åÂÂçÂÂÃ¥ÂÂå²è¿Âå¨记å½Âï¼Â红è²åÂÂéÂÂè²å®Â线ï¼Âï¼ÂæÂÂå¤Â个å¯è½çÂÂæªæ¥路å¾Âï¼Â红è²åÂÂéÂÂè²èÂÂ线ï¼Âï¼Âè¿ÂéÂÂåªæ¯以ä¸Âç§Âå¯è½举ä¾ÂãÂÂ

à

è¿Â项工ä½ÂçÂÂéÂÂç¹æ¯çÂÂ解åÂÂ模仿人类æ½Âå³ç­Âè¿Âç¨Âï¼Âé¢ÂæµÂå¨æÂÂåºæ¯çÂÂæªæ¥路å¾ÂãÂÂä»Âæ ¹æ¬ä¸Â讲ï¼ÂIDLå¯以çÂÂä½Âæ¯èÂÂÃ¥ÂÂè®­ç»Âï¼Â

ï¼Â1ï¼Âæ¨æ­æ½Âå³ç­ÂçÂÂæ¨çÂÂå­Âç½ÂLï¼Â

ï¼Â2ï¼Âç­ÂçÂÂ¥/çÂÂæÂÂå¨ÃÂï¼Âæ¢å¤Âç­ÂçÂ¥æÂ¥çÂÂæÂÂæªæÂ¥çÂÂè·¯å¾Âï¼Â

ï¼Â3ï¼Âç»Â计å­Âç½Âç»ÂQï¼Âå®ÂÃ¥ÂÂç°æ½Âå³ç­Â对é¢ÂæµÂçÂÂå½±åÂÂï¼Â

ï¼Â4ï¼Âé´å«å¨Dï¼Âå°Â产çÂÂçÂÂç»ÂæÂÂä¸Âä¸Â家示èÂÂåºåÂÂå¼ÂãÂÂ

à

ä¸Âå¾æ¾示äºÂé¢ÂæµÂæªæ¥路å¾ÂçÂÂ详ç»Â示æÂÂå¾ï¼Â红è²箭头æÂÂ示æ¯Â个模åÂÂä¹Âé´信æ¯æµÂçÂÂæ¹åÂÂï¼Âé»Âè²箭头表示模åÂÂÃ¥ÂÂé¨信æ¯æµÂçÂÂæ¹åÂÂï¼ÂÃ¥ÂÂå²轨迹è¾Âå¥å°æ¨çÂÂå­Âç½Âæ¨æ­æ½Âå³ç­ÂçÂÂÃ¥ÂÂå¸Âï¼Âæ¶é´å·积å­Â模åÂÂæÂ¥æ¶æÂ¥èªé¢Âè®­ç»Âå·积å­Â模åÂÂçÂÂè¾Âåºï¼ÂçÂÂæÂÂä¸Â个äºÂ-Ã¥ÂÂä½Âï¼Âtwo-unitï¼Âç¢éÂÂï¼Âé¢Âè®­ç»ÂçÂÂÃ¥ÂÂå·积å­Â模åÂÂÃ¥ÂÂsoftmaxå±Â读åÂÂæ¯Â个åÂÂä½Âï¼Âå½¢æÂÂæ½Âå³ç­Âé«Âæ¯åÂÂå¸ÂçÂÂÃ¥ÂÂå¼åÂÂ导æ°ï¼ÂÃ¥ÂÂæ¶ï¼Âç­ÂçÂÂ¥/çÂÂæÂÂå¨ÃÂçÂÂç¼Âç Âå¨éÂÂè¿ÂConvGRUå±Âå¤ÂçÂÂÃ¥ÂÂå²轨迹ï¼Âç¼Âç ÂçÂÂéÂÂç¶æÂÂhenctkÃ¥ÂÂéÂÂæ ·çÂÂæ½Âå³ç­ÂSéÂÂÃ¥ÂÂä¹Â积ç¸å ï¼Âelement-wise addition productï¼ÂÃ¥ÂÂå§ÂÃ¥ÂÂ该解ç Âå¨ï¼ÂæÂÂç»ÂçÂÂé¢ÂæµÂæ¯åÂÂå·积å±Âä»Â解ç ÂçÂÂéÂÂç¶æÂÂhdect'çÂÂæÂÂçÂÂï¼Âç»Â计å­Âç½Â读åÂÂé¢ÂæµÂÃ¥ÂÂæ½Âå³ç­ÂæµÂéÂÂSå¨å¤Â模æÂÂçÂÂéÂÂè¦Âæ§ï¼Âé´å«å¨å°Âé¢ÂæµÂä¸ÂçÂÂå®Âæªæ¥路å¾Âï¼Âä¸Â家示èÂÂï¼ÂåºåÂÂå¼ÂãÂÂ

à

à

ä¸Âé¢æ¯IDL伪代ç Âå®Âç°ç®Âæ³Âï¼ÂPPOæÂÂç´§é»ç­ÂçÂ¥ä¼ÂÃ¥ÂÂï¼ÂProximal Policy Optimizationï¼Âç®Âæ³Â

à

å¦Âå¾æ¯å¨æ¯å¦ç¦Âèª空æÂÂæÂÂçÂÂè¡Â人æ°æ®éÂÂï¼ÂSAPï¼ÂStanford Aerial Pedestrianï¼ÂÃ¥ÂÂ个æ¹æ³ÂçÂÂå®Âæ§æ¯Âè¾Âï¼Âå·¦ä¸Âæ¹æ¾示è§Âå¯Âè®°å½ÂÃ¥ÂÂå¹éÂÂçÂÂçÂÂå®Âæ°æ®ï¼ÂGTï¼Âï¼Â为äºÂè·å¾Âæ¸Âæ°çÂÂå¯è§ÂÃ¥ÂÂæÂÂæÂÂæ´好å°çÂÂ解å¤Â模æÂÂï¼Â示ä¾Â1-5Ã¥ÂÂå«å±Â示å 个轨迹åÂÂå¶ä¸ÂÃ¥ÂÂé¢ÂæµÂè·¯å¾ÂÃ¥ÂÂçÂÂå®Â轨迹ï¼ÂGTï¼Âæ¯Âè¾ÂãÂÂ

à

• TraPHic: Trajectory Prediction in Dense and Heterogeneous Traffic Using Weighted Interactions

à

马éÂÂå°大学å¨CVPR2019çÂÂ论æÂÂãÂÂ

è¿Âæ¯ä¸Âç§Âç¨äºÂå¯ÂéÂÂ交éÂÂè§Âé¢ÂéÂÂ路代çÂÂçÂÂè¿ÂæÂÂ轨迹é¢ÂæµÂç®Âæ³ÂãÂÂæ­¤æ¹æ³Â为å¼ÂæÂÂ交éÂÂï¼Âheterogeneous trafficï¼Â设计ï¼Âå¶中éÂÂ路代çÂÂå¯è½对åºÂäºÂ匱汽车ãÂÂ汽车ãÂÂè¸Âæ¿车ãÂÂèªè¡Â车æÂÂè¡Â人ãÂÂ该æ¹æ³Âç¨LSTM-CNNæ··åÂÂç½Âç»Â对ä¸ÂÃ¥ÂÂéÂÂ路代çÂÂä¹Âé´çÂÂ交äºÂ建模并è¿Âè¡Â轨迹é¢ÂæµÂãÂÂç¹å«æ¯ï¼Âå®ÂèÂÂèÂÂå¼ÂæÂÂ交äºÂï¼Âheterogeneous interactionsï¼Âï¼Âè¿Âç§Â交äºÂæ¹å¼ÂéÂÂå¼Âå°èÂÂèÂÂäºÂä¸ÂÃ¥ÂÂéÂÂ路代çÂÂå¨形ç¶ãÂÂå¨åÂÂå­¦åÂÂè¡Â为çÂÂå·®å«ãÂÂ

à

å®Âè¿Â对åºäºÂçÂÂéÂÂçÂÂ交äºÂï¼Âhorizon-based interactionsï¼Âè¿Âè¡Â建模ï¼Âè¿Âç§Â交äºÂæ¹å¼ÂéÂÂå¼Âå°对æ¯Â个éÂÂ路代çÂÂçÂÂ驾驶è¡Â为è¿Âè¡Â建模ãÂÂé¢ÂæµÂç®Âæ³ÂTraPHicï¼ÂTrajectory Prediction in Dense and Heterogeneous Trafficï¼Âå¨æ ÂÃ¥ÂÂæ°æ®éÂÂÃ¥ÂÂæ°çÂÂå¯ÂéÂÂå¼ÂæÂÂ交éÂÂæ°æ®éÂÂè¿Âè¡ÂäºÂæµÂè¯ÂãÂÂ

à

两个è§ÂæµÂäºÂå®Âï¼Â

1ï¼Âå¨å¦Âæ­¤å¯ÂéÂÂçÂÂ交éÂÂ中éÂÂ路代çÂÂä¸Âä¼Â对å¨å´çÂÂæ¯Â个代çÂÂÃ¥ÂÂåºåÂÂåºÂï¼Âç¸åÂÂï¼Âä»Â们æÂÂéÂÂæ©å°å°Â注æÂÂÃ¥ÂÂéÂÂ中å¨è§Âåº中åÂÂ椭åÂÂå½¢åºåÂÂçÂÂå³é®交äºÂï¼Â称为âÂÂçÂÂéÂÂï¼Âhorizonï¼ÂâÂÂï¼Â

2ï¼Âè¦ÂæÂÂè·å¼ÂæÂÂéÂÂ路代çÂÂçÂÂå¨æÂÂï¼ÂéÂÂè¦Âå°Âå¶å±Âæ§åµÂå¥å°ç¶æÂÂ空é´中ï¼Â并é¦Âå¥混åÂÂç½Âç»ÂãÂÂ

à

èÂÂæÂÂåºçÂÂTraPHicç½Âç»Â步骤å¦Âä¸Âï¼Â

1ï¼Âæ ¹æ®轨迹信æ¯åÂÂå¼ÂæÂÂå¨æÂÂ约æÂÂï¼Âä¾Âå¦Âï¼Â代çÂÂå½¢ç¶ãÂÂéÂÂ度åÂÂå¨代çÂÂ空é´åÂÂæ ÂçÂÂ交éÂÂéÂÂ中度ï¼Â以åÂÂå¶ä»ÂÃ¥ÂÂæ°ï¼ÂçÂÂæÂÂæÂÂæÂÂ代çÂÂçÂÂè¾Âå¥åµÂå¥ï¼Âinput embeddingsï¼Âï¼Â

2ï¼Âè¿ÂäºÂåµÂå¥éÂÂè¿ÂLSTMä¼ éÂÂï¼Â并æÂÂç»Âç¨äºÂæÂÂé çÂÂéÂÂå¾ï¼Âhorizon mapï¼ÂãÂÂé»å±Âå¾åÂÂèª代çÂÂçÂÂå¼ éÂÂå¾ï¼Â

3ï¼ÂçÂÂéÂÂå¾åÂÂé»å±Âå¾éÂÂè¿ÂConvNetä¼ éÂÂï¼Âä¸Âèª代çÂÂå¼ éÂÂè¿ÂæÂ¥å¨ä¸Â起产çÂÂæ½Â表示ï¼Â

4ï¼ÂæÂÂÃ¥ÂÂï¼Âè¿ÂäºÂæ½Â表示éÂÂè¿ÂLSTMçÂÂæÂÂèª代çÂÂçÂÂ轨迹é¢ÂæµÂãÂÂ

à

å¦Âå¾æÂÂ示çÂÂTraPHicç½Âç»Âä½Âç³»ç»ÂæÂÂï¼Âèª代çÂÂç±红ç¹æ Âè®°ï¼Âå¨å´çÂÂ绿è²椭åÂÂåºåÂÂæ¯å®ÂçÂÂéÂȌÂÂï¼ÂèÂÂÃ¥ÂÂé¢çÂÂéÂÂè²åÂÂ椭åÂÂåºåÂÂæ¯å®ÂçÂÂçÂÂéÂÂãÂÂ

à

æÂÂÃ¥ÂÂæ¯ç»ÂæÂÂå±Â示ï¼Âå¦Âå¾就æ¯轨迹é¢ÂæµÂç»ÂæÂÂï¼ÂéÂÂç¹ä»Âç»ÂÃ¥ÂÂç§Â轨迹é¢ÂæµÂæ¹æ³Âå¨æÂÂä¸ÂÃ¥ÂÂç±»åÂÂè·¯æ ÂçÂÂTRAFæ°æ®éÂÂä¸ÂçÂÂæ§è½ãÂÂå¶中ï¼ÂçÂÂå®Âï¼ÂGTï¼Â轨迹-绿è²å®Â线ï¼ÂTraPHic模åÂÂé¢ÂæµÂ-红è²å®Â线ï¼Âå¶ä»Âæ¹æ³Âï¼ÂRNN-EDï¼ÂS-LSTMï¼ÂS-GANï¼ÂCS-LSTMï¼ÂçÂÂé¢ÂæµÂç»ÂæÂÂ-èÂÂ线ãÂÂ

à

• Learning to Infer Relations for Future Trajectory Forecast

à

Ã¥ÂÂæ ·åÂÂ表å¨CVPR2019çÂÂ论æÂÂãÂÂ

å³系æ¨çÂÂï¼ÂRelational inferenceï¼Âçµ活å°å°ÂâÂÂç®æ ÂâÂÂå®Âä¹Â为离æ£åÂÂç½Â格中æ¯Â个åºåÂÂæÂÂÃ¥ÂÂçÂÂ空é´ç¹å¾Â表示ï¼Âä¸Â该åºåÂÂå­Âå¨ä»Âä¹Âæ å³ãÂÂæ¨æ­éÂÂè·¯åÂÂä¸ÂèÂÂèÂÂ以åÂÂéÂÂè·¯åÂÂä¸ÂèÂÂÃ¥ÂÂå¶å¨å´ç©çÂÂ空é´ä¹Âé´çÂÂå³系è¡Â为ï¼Ârelational behaviorï¼Âï¼Âæ¯对éÂÂè·¯åºæ¯åÂÂä¸ÂèÂÂæÂÂæÂÂ导èªç­ÂçÂ¥è¿Âè¡Â建模åÂÂé¢ÂæµÂçÂÂéÂÂè¦Âä¸Âæ­¥ãÂÂ

à

æ¾ÂÂæÂÂåºçÂÂæ¯ç¨äºÂæªæ¥轨迹é¢ÂæµÂçÂÂå³系-è§Âå¯Âï¼Ârelation-awareï¼Âæ¡Âæ¶ï¼Âå¶ç®çÂÂæ¯ä»ÂéÂÂè·¯åÂÂä¸ÂèÂÂ彼此ä¹Âé´以åÂÂä¸Âç¯å¢Âä¹Âé´çÂÂ交äºÂæ¨æ­åºç¸å³信æ¯ãÂÂ为äºÂÃ¥ÂÂæÂÂå³系çÂÂä¸ÂÃ¥ÂÂéÂÂè¦Âæ§ï¼Âå®Â设计ä¸Â个å·æÂÂÃ¥ÂÂé¨é¨æ§è¿Âç¨ÂçÂÂå³系é¨模åÂÂï¼ÂRGMï¼Ârelation gate moduleï¼ÂãÂÂRGMæÂÂå©äºÂæ§å¶ç»Âè¿Âå¤Â个å¼Âå³é¨ï¼Âswitch gatesï¼ÂçÂÂä¿¡æ¯ï¼Â并å¨已çÂ¥ç®æ ÂçÂÂè¿Âå»轨迹æÂÂåµä¸Â确认对ç®æ ÂæªæÂ¥è¿Âå¨影åÂÂå¾Â大çÂÂæÂÂè¿°å³系ï¼Âdescriptive relationsï¼ÂãÂÂ

à

å¨此æ¡Âæ¶中ï¼Âç®æ Âå°±æ¯éÂÂè·¯åÂÂä¸ÂèÂÂï¼Âå¦ÂæÂÂå­Âå¨çÂÂè¯Âï¼Â空é´è¡Â为åÂÂç¯å¢Â表示以åÂÂä»Â们æ¶åÂÂ交äºÂçÂÂè§Âè§Âç¼Âç Âï¼Âè¿Âèªç¶对åºÂäºÂéÂÂè·¯åÂÂä¸ÂèÂÂå¨离æ£ç½Âæ ¼æ¯Â个åºåÂÂçÂÂå±Âé¨人-人åÂÂ人-空é´交äºÂç¹æ§ãÂÂæÂÂéÂÂè¦ÂçÂÂæ¯ï¼Âä»Âå¨å±Âè§Â度å®Â学习ä»ÂæÂÂæÂÂç®æ Âï¼Âå³ä¸Âä¸ÂæÂÂ中çÂÂæ¶-空交äºÂä¿¡æ¯ï¼Âæ¨æ­å³系è¡Â为ãÂÂ

à

ç»Âå®Âå¾åÂÂåºÂÃ¥ÂÂï¼Âé¨æ§å³系ç¼Âç Âå¨ï¼ÂGREï¼Âgated relation encoderï¼ÂéÂÂè¿Â空é´è¡Â为ç¼Âç Âå¨ï¼ÂSBEï¼Âspatial behavior encoderï¼ÂÃ¥ÂÂæ¶é´交äºÂç¼Âç Âå¨ï¼ÂTIEï¼Âtemporal interaction encoderï¼Âå¨è§Âè§Âä¸ÂæÂÂÃ¥ÂÂæ¶空交äºÂï¼Âå³ç®æ Âï¼Âä¿¡æ¯ãÂÂGREçÂÂå³系é¨模åÂÂï¼ÂRGMï¼Âä»Âç®æ Âæ¨æ­å¶æÂÂ对å³系ï¼Âç¶åÂÂçÂÂéÂÂç Â究ï¼ÂåºäºÂç®æ Âè¿Âå»è¡Â为ï¼Â对é¢ÂæµÂç®æ ÂæªæÂ¥è¿Âå¨åªäºÂå³系å·æÂÂæ½Âå¨æÂÂä¹ÂãÂÂ

å¨以ç­å¾æ¹å¼Âä½Âç°çÂÂ轨迹é¢ÂæµÂç½Âç»Âï¼ÂTPNï¼Âtrajectory prediction networkï¼Â中ï¼ÂRGMç¨èÂÂÃ¥ÂÂçÂÂå³系ç¹å¾Âé¢ÂæµÂ代çÂÂçÂÂæªæÂ¥ä½Âç½®ï¼Âå¯以èÂÂèÂÂå©ç¨é¢ÂæµÂä½Âç½®ä¹Âé´空é´ä¾ÂèµÂæ§è¿Âä¸Âæ­¥ç»ÂÃ¥ÂÂè¿ÂäºÂç­å¾ï¼Â并æ©å±Âå®Â们ï¼Â学习æµÂè¯Âæ¶çÂÂæªæÂ¥é¢ÂæµÂä¸Âç¡®å®Âæ§ãÂÂ

à

å¦Âå¾æÂÂ示ï¼Âé¨æ§å³系ç¼Âç Âå¨ï¼ÂGREï¼ÂéÂÂæ¶é´åÂÂÃ¥ÂÂä»Â离æ£ç½Âæ ¼çÂÂæ¯Â个åºåÂÂç´è§Âå°åÂÂç°人-人交äºÂï¼Â第j个åºåÂÂï¼Â女人-ç·人ï¼ÂÃ¥ÂÂ人-空é´交äºÂï¼Â第i个åºåÂÂï¼Âèªè¡Â车æÂÂ-éÂ¥ä½Âï¼ÂãÂÂ

à

轨迹é¢ÂæµÂç½Âç»Âï¼ÂTPNï¼Âé¢ÂæµÂçÂÂç­å¾æÂÂæ¶æ¯ä¸ÂæÂÂç¡®çÂÂãÂÂ该é®é¢ÂçÂÂ主è¦Âç¹å¨äºÂï¼Âé¢ÂæµÂä¹Âé´缺ä¹Â空é´ä¾ÂèµÂæ§ãÂÂç±äºÂTPNç½Âç»Âç¬ç«Âå°é¢ÂæµÂç­å¾ôï¼Âå 此没æÂÂ约æÂÂå¯以强å¶é¢ÂæµÂä¹Âé´空é´对é½ÂãÂÂ为此ï¼Âè¿ÂéÂÂ设计ä¸Â个空é´ç»ÂÃ¥ÂÂç½Âç»Âï¼ÂSRNï¼Âspatial refinement networkï¼Â学习ç¹å¾Â空é´中çÂÂéÂÂ空é´ä¾ÂèµÂæ§ãÂÂ

à

é¦ÂÃ¥ÂÂï¼Âå°ÂTPNçÂÂ中é´æ¿Âæ´»ï¼Âæ©æÂÂÃ¥ÂÂæÂÂæÂÂç¹å¾Âï¼Â串èÂÂèµ·æÂ¥ï¼Âç¶åÂÂéÂÂç¨大æÂÂÃ¥ÂÂéÂÂçÂÂSRNãÂÂç»ÂæÂÂæ¯ï¼Âè¾Âåºæ¾示çÂÂç­å¾ä½Âç½®ä¹Âé´混æ·Âè¾Âå°Âï¼Âè¿ÂÃ¥ÂÂÃ¥ÂÂå©ç¨äºÂç¸é»é¢ÂæµÂä¹Âé´丰å¯ÂçÂÂä¸Âä¸ÂæÂÂä¿¡æ¯ãÂÂè¿ÂéÂÂæÂȾÂÂ失å½æ°æ¯åºäºÂç¹å¾ÂçÂÂç­å¾误差åÂÂï¼Â

å¶中两个L-2 æÂÂ失å®Âä¹Â为

à

à

å¦Âå¾æÂÂ示æ¯空é´ç»ÂÃ¥ÂÂç½Âç»Âï¼ÂSRNï¼Â对空é´ä¾ÂèµÂæ§çÂÂæÂÂæÂÂãÂÂ

à

å·²ç»ÂæÂÂ人ç¨è´Âå¶æ¯ç¥Âç»Âç½Âç»Âï¼ÂBNNï¼Âæ¥解å³ç½Âç»ÂæÂÂéÂÂÃ¥ÂÂæ°çÂÂä¸Âç¡®å®Âæ§ãÂÂç Â究åÂÂç°ï¼ÂèÂÂç¹å¡æ´ÂéÂÂåºï¼ÂMonte Carlo dropoutï¼Âæ¹æ³Âä»Âç¡®å®Âæ§ç½Âç»ÂæÂÂéÂÂÃ¥ÂÂæ°çÂÂÃ¥ÂÂéªÂÃ¥ÂÂå¸Â中éÂÂæ ·è¿Âä¼¼å¾ÂåºBNNçÂÂæ¨æ­ãÂÂè¿ÂéÂÂ使ç¨æµÂè¯Âæ¶çÂÂéÂÂåºæÂ¥è¿Âä¼¼åÂÂÃ¥ÂÂæ¨æ­ï¼Âvariational inferenceï¼Âï¼Âä»ÂéÂÂåºåÂÂå¸Âï¼Âdropout distributionï¼Â中æÂÂÃ¥ÂÂå¤Â个样æ‹ÂÂè¿Âå¯以ä»Âç½Âç»Â学习çÂÂæÂÂéÂÂÃ¥ÂÂæ°ä¸Âç¡®å®Âæ§中æÂÂè·å¤Â个åÂÂçÂÂçÂÂ轨迹ãÂÂä½Âæ¯åÂÂL个样æÂÂå¹³åÂÂå¼ä½Â为é¢ÂæµÂï¼Âå 为è¿Âæ ·æÂÂ好å°è¿Âä¼¼BNNçÂÂÃ¥ÂÂå¼Âæ¨æ­ãÂÂæ¾ÂÂ计ç®ÂL = 5个样æÂÂæ¹差æµÂéÂÂä¸Âç¡®å®Â度ãÂÂå¦Âå¾æÂÂ示æ¯èÂÂç¹å¡æ´ÂéÂÂåºå°Âä¸Âç¡®å®Âæ§åµÂå¥è¿Â个æ¡Âæ¶çÂÂæÂÂæÂÂãÂÂ

à

æÂÂÃ¥ÂÂï¼ÂæÂÂä¾Âä¸ÂäºÂå®ÂéªÂç»ÂæÂÂãÂÂå¦Âå¾æ¯ä¸ÂäºÂå®Âæ§è¯Âä¼°å¾ï¼Âå¶中é»Âè²æ¯è¿ÂÃ¥ÂȍÂÂ轨迹ï¼Â红è²æ¯çÂÂå®Â轨迹ï¼Â绿è²æ¯é¢ÂæµÂç»ÂæÂÂãÂÂ

à

à

èÂÂè¿Â个ç»ÂæÂÂå¾æ¯人-人å¤ÂæÂÂ交äºÂçÂÂé¢ÂæµÂï¼Âï¼Âaï¼ÂéªÂèªè¡Â车çÂÂ人ä¸Âè¡Âèµ°ç¼Âæ¢çÂÂ人交äºÂï¼Âï¼Âbï¼Âä¸Â个人éÂÂè§Âä¸Â群人ï¼Âï¼Âcï¼Âä¸ÂÃ¥ÂÂèªè¡Â车æÂÂé¦ÂÃ¥ÂÂä¸ÂÃ¥ÂÂé¢çÂÂå¦ä¸Âä½Âèªè¡Â车æÂÂ交äºÂï¼Âç¶åÂÂèÂÂèÂÂå¦å¤Âä¸Â个人çÂÂå½±åÂÂãÂÂç»ÂæÂÂæ¯说ï¼Âè¿Âç§Âæ¹æ³Âå¨社交ä¸Âé¿åÂÂäºÂæ½Âå¨çÂÂ碰æÂÂãÂÂ

• Peeking into the Future: Predicting Future Person Activities and Locations in Videos

à

è¿Â个æ¯谷æ­Âå¨CVPR2019çÂÂ论æÂÂãÂÂ

å¨许å¤ÂåºÂç¨中ï¼Â解å¯Â人类è¡Â为对é¢ÂæµÂå¶æªæÂ¥çÂÂè·¯å¾Â/轨迹以åÂÂä»Âè§Âé¢ÂÃ¥ÂÂæÂÂå¶æÂÂç®ÂÃ¥ÂÂä»Âä¹Âç­Âæ¯å¾ÂéÂÂè¦ÂçÂÂãÂÂè°·æ­Âç Â究人åÂÂæÂÂåºäºÂä¸Âç§ÂÃ¥ÂÂ为NextçÂÂ端å°端å¤Âä»»å¡学习系ç»Âï¼Âå©ç¨人类çÂÂè¡Â为信æ¯以åÂÂä¸Âå¨å´ç¯å¢Â交äºÂçÂÂ丰å¯Âè§Âè§Âç¹å¾ÂãÂÂ

à

å®ÂéÂÂè¿Â丰å¯ÂçÂÂ语ä¹Âç¹å¾Â对人è¿Âè¡Âç¼Âç Âï¼Âè¿ÂäºÂ语ä¹Âç¹å¾ÂÃ¥ÂÂæ¬è§Âè§Âå¤Âè§ÂãÂÂ身ä½Âè¿Âå¨以åÂÂä¸Âå¨å´ç¯å¢ÂçÂÂ交äºÂï¼Âå¶å®Â人们ä¹Âæ¯ä¾Âé 类似çÂÂè§Âè§Â线索å¾Âåºè¿Âæ ·é¢ÂæµÂãÂÂ为äºÂæ¹便训ç»Âï¼Âç½Âç»ÂéÂÂè¿Âè¾Âå©任å¡ï¼Âauxiliary taskï¼Â学习ï¼Âè¿Â个任å¡å¯以é¢ÂæµÂæ´»å¨åÂÂçÂÂçÂÂå°ÂæÂ¥ä½Âç½®ãÂÂå¨è¾Âå©任å¡中ï¼Âä¸Â个离æ£åÂÂçÂÂç½Âæ ¼ï¼Â称为âÂÂæ¼åÂÂé¡¿ç½Âæ ¼ï¼ÂManhattan Gridï¼ÂâÂÂï¼Â被设计为系ç»ÂçÂÂä½Âç½®é¢ÂæµÂç®æ Âï¼Âlocation prediction targetï¼ÂãÂÂ

à

å¦Âå¾ç»Âåºä¸Â个ç´è§Â解éÂÂï¼Âç³»ç»Âç®çÂÂæ¯å±åÂÂé¢ÂæµÂä¸Â个人çÂÂæªæÂ¥éÂÂè·¯åÂÂæ´»å¨ãÂÂ绿线åÂÂé»Â线æ¾示äºÂ两ç§Âå¯è½çÂÂæªæ¥轨迹ï¼Â绿æ¡ÂÃ¥ÂÂé»Âæ¡Âæ¾示äºÂ两ç§Âå¯è½çÂÂæ´»å¨ãÂÂÃ¥ÂÂå³äºÂæªæÂ¥çÂÂæ´»å¨ï¼Â此人ï¼Âå³ä¸Âæ¹ï¼Âå¯è½ä¼ÂéÂÂç¨ä¸ÂÃ¥ÂÂçÂÂè·¯å¾Âï¼Âä¾Â妠é»Âè²路å¾Âç¨äºÂâÂÂå 载ï¼Âloadingï¼ÂâÂÂï¼Â绿è²路å¾Âç¨äºÂâÂÂç®æ Âè¿Â移ï¼Âobject transferï¼ÂâÂÂãÂÂ

à

人们éÂÂ常ä¼Â带çÂÂç¹å®ÂçÂÂç®çÂÂå¨åαåºæÂÂ中è¡Âèµ°ï¼Âä»Âç®ÂÃ¥ÂÂçÂÂè¿Âå¥æ¿é´å°å¤ÂæÂÂçÂÂå°Âä¸Â西æ¾è¿Â汽车ç­ÂãÂÂä½Âæ¯ï¼Âè¿Âç§ÂæÂÂå¾认è¯Âå¨ç°æÂÂå·¥ä½Â中大å¤Â被忽çÂ¥ãÂÂæ´»å¨åÂÂè·¯å¾ÂçÂÂèÂÂÃ¥ÂÂé¢ÂæµÂ模åÂÂï¼Âjoint prediction modelï¼Âå¯以æÂÂ两个好å¤Âï¼Â

1ï¼Âæ´»å¨ä¸Âè·¯å¾Âä¸Â起学习å¯è½æÂÂçÂÂäºÂæªæÂ¥çÂÂè·¯å¾Âé¢ÂæµÂï¼Âå­ç´è§Âï¼Â人类è½å¤Âä»Âä»Â人çÂÂè¢ä½Â语è¨Â中读åÂÂä¿¡æ¯ï¼Âé¢ÂæµÂä»Â们æ¯è¦Âè¿Â马路è¿Âæ¯继续沿çÂÂ人è¡ÂéÂÂè¡Âèµ°ãÂÂ

2ï¼ÂèÂÂèÂÂè§Âé¢Â中丰å¯ÂçÂÂ语ä¹Âä¸Âä¸ÂæÂÂï¼ÂèÂÂÃ¥ÂÂ模åÂÂä¸Âä»ÂæÂÂé«ÂäºÂçÂÂ解æªæ¥路å¾ÂçÂÂè½åÂÂï¼ÂèÂÂä¸Âè¿ÂæÂÂé«ÂäºÂ对æªæ¥活å¨çÂÂçÂÂ解è½åÂÂï¼Âè¿ÂæÂÂé«ÂäºÂèªå¨è§Âé¢ÂÃ¥ÂÂæÂÂçÂÂ社ä¼ÂæÂÂçÂÂï¼Âä¾Âå¦Âå®Âå¨åºÂç¨ï¼Âä¾Âå¦Âé¢ÂæµÂ交éÂÂè·¯å£è¡Â人çÂÂè¿Âå¨æÂÂ帮å©人å°Âè´§ç©è¿Âè¾Âå°汽车çÂÂéÂÂè·¯æºå¨人ãÂÂ

à

该模åÂÂæÂÂÃ¥ÂÂ个4个å³é®ç»Â件ï¼Â

â¢à人è¡Â为模åÂÂï¼Âperson behavior moduleï¼Âä»Â人çÂÂè¡Â为åºÂÃ¥ÂÂ中æÂÂÃ¥ÂÂè§Âè§Âä¿¡æ¯ãÂÂ

â¢à人交äºÂ模åÂÂï¼Âperson interaction moduleï¼ÂçÂÂç¼äºÂ人ä¸Âå¨å´ç¯å¢Âä¹Âé´çÂÂäºÂå¨ãÂÂ

â¢à轨迹çÂÂæÂÂå¨ï¼ÂTrajectory generatorï¼ÂéÂÂè¿ÂèÂÂç¦注æÂÂï¼Âfocal attentionï¼ÂçÂÂLSTM解ç Âå¨æ»ç»Âç¼Âç ÂçÂÂè§Âè§Âç¹å¾Â并é¢ÂæµÂæªæÂ¥çÂÂ轨迹ãÂÂ

â¢à活å¨é¢ÂæµÂï¼ÂActivity predictionï¼Âå©ç¨丰å¯ÂçÂÂè§Âè§Â语ä¹Âé¢ÂæµÂå°ÂæÂ¥çÂÂæ´»å¨æ Âè®°ãÂÂ

à

æ­¤å¤Âï¼ÂâÂÂæ¼åÂÂé¡¿ç½Âæ ¼âÂÂå°Âåºæ¯åÂÂÃ¥ÂÂ为å¤Â个尺度çÂÂ离æ£åÂÂç½Âæ ¼æ¥计ç®ÂÃ¥ÂÂç±»åÂÂÃ¥ÂÂå½Âï¼Âè½å¯é å°æÂÂä¾Âæ´»å¨ä½Âç½®é¢ÂæµÂãÂÂ

à

å¦Âä¸Âæ¯Next模åÂÂçÂÂæ¦Âå¾ï¼Âç»Âå®Âç¨äºÂé¢ÂæµÂ人çÂÂ帧åºÂÃ¥ÂÂï¼Â此模åÂÂå©ç¨人çÂÂè¡Â为模åÂÂÃ¥ÂÂ人çÂÂ交äºÂ模åÂÂå°Â丰å¯ÂçÂÂè§Âè§Â语ä¹Âä¿¡æ¯ç¼Âç Â为ç¹å¾Âå¼ éÂÂãÂÂ

à

对人çÂÂå¤Âè§ÂÃ¥ÂÂÃ¥ÂÂ建模ï¼Â该系ç»ÂéÂÂç¨æÂÂâ RoIAlignâÂÂÃ¥ÂÂè½çÂÂé¢Âè®­ç»Âç®æ Âæ£ÂæµÂ模åÂÂ为æ¯Â个人çÂÂè¾¹æ¡ÂæÂÂÃ¥ÂÂåºå®Â大å°ÂçÂÂCNNç¹å¾ÂãÂÂ

å¦Âå¾æÂÂ示æ¯人è¡Â为模åÂÂçÂÂç´è§Âå¾ãÂÂé¦ÂÃ¥ÂÂï¼Â对æ¯Â个人空é´维度çÂÂç¹å¾Âå¹³åÂÂï¼Âç¶åÂÂï¼Âå°Âå¶è¾ÂÃ¥ÂÂ¥LSTMç¼Âç Âå¨ï¼ÂæÂÂÃ¥ÂÂï¼Âè·å¾ÂTobsÃÂdçÂÂç¹å¾Â表示ï¼Âå¶中dæ¯LSTMçÂÂéÂÂèÂÂ大å°ÂãÂÂè¦ÂæÂÂè·人ä½Âè¿Âå¨ï¼Âè¦Â使ç¨人å³é®ç¹æ£ÂæµÂ模åÂÂæÂ¥æÂÂÃ¥ÂÂ人åÂÂå³é®ç¹信æ¯ãÂÂç¨线æ§åÂÂæ¢åµÂå¥å³é®ç¹åÂÂæ Âï¼Âç¶åÂÂè¾ÂÃ¥ÂÂ¥LSTMç¼Âç Âå¨ãÂÂç¼Âç Âç¹å¾Âæ¯TobsÃÂdãÂÂ

à

à

å¦Âå¾æÂÂ示æ¯人交äºÂ模åÂÂãÂÂ人-ç®æ Âç¹å¾Âå¯以æÂÂè·人ä¸Âå¦ä¸Â个人åÂÂ汽车ä¹Âé´çÂÂè·Â离ãÂÂà人-åºæ¯ç¹å¾Âå¯以æÂÂè·人åÂÂæ¯å¦å¨人è¡ÂéÂÂéÂÂè¿ÂæÂÂå¨èÂÂå°ä¸ÂãÂÂè¿ÂäºÂä¿¡æ¯被设计æÂÂä¾Âç»Â模åÂÂï¼Âå¸ÂæÂÂ学习ä¸ÂäºÂäºÂæÂÂï¼Â类似人å¨人è¡ÂéÂÂæ¯Âå¨èÂÂå°æ´é¢Âç¹Âèµ°å¨并ä¸Âé¿åÂÂæÂÂä¸Â汽车ãÂÂ

à

à

å®Â使ç¨LSTM解ç Âå¨ç´æÂ¥é¢ÂæµÂx-yÃ¥ÂÂæ ÂçÂÂæªæ¥轨迹ãÂÂ该解ç Âå¨çÂÂéÂÂç¶æÂÂç¨è¡Â人轨迹LSTMç¼Âç Âå¨ï¼Âtrajectory LSTM encoderï¼ÂçÂÂæÂÂÃ¥ÂÂç¶æÂÂè¿Âè¡ÂÃ¥ÂÂå§ÂÃ¥ÂÂãÂÂé¤äºÂé¢ÂæµÂ人çÂÂæªæ¥活å¨æ Âè®°ä¹Âå¤Âï¼Âè¿ÂæÂÂè¾Âå©任å¡ï¼Âå³活å¨ä½Âç½®çÂÂé¢ÂæµÂãÂÂå¨æ¯Â个æ¶å»ï¼Âx-yÃ¥ÂÂæ Âå°Âæ ¹æ®解ç Âå¨ç¶æÂÂÃ¥ÂÂå¨è¿ÂæÂ¥å±Â计ç®ÂãÂÂ

à

å®ÂéÂÂç¨äºÂæÂÂæÂÂçÂÂèÂÂç¦注æÂÂæºå¶ï¼ÂæÂÂÃ¥ÂÂæ¯为äºÂ对å¾åÂÂåºÂÃ¥ÂÂè¿Âè¡Âå¤Â模å¼Âï¼Âmultimodalï¼Âæ¨çÂÂä»ÂèÂÂæ§è¡Âè§Âè§Âé®ç­ÂãÂÂå¶å³é®æÂÂæ³æ¯å°Âå¤Â个ç¹å¾ÂæÂÂå½±å°ç¸å³çÂÂ空é´中ï¼Âå 此éÂÂè¿Â注æÂÂÃ¥ÂÂæºå¶å¯以æ´轻æ¾å°æÂÂè·é´å«æ§ç¹å¾Âï¼Âdiscriminative featuresï¼ÂãÂÂ

à

å¦Âå¾æÂÂ示ï¼Â为äºÂå¼¥åÂÂ轨迹çÂÂæÂÂÃ¥ÂÂæ´»å¨æ Âè®°é¢ÂæµÂä¹Âé´çÂÂå·®è·Âï¼Âå®ÂæÂÂåºä¸Â个活å¨ä½Âç½®é¢ÂæµÂï¼ÂALPï¼Âactivity location predictionï¼Â模åÂÂï¼Âé¢ÂæµÂ该人å°Âä»ÂäºÂæªæ¥活å¨çÂÂæÂÂç»Âä½Âç½®ãÂÂæ´»å¨ä½Âç½®é¢ÂæµÂÃ¥ÂÂæ¬两个任å¡ï¼Âä½Âç½®åÂÂç±»åÂÂä½Âç½®åÂÂå½ÂãÂÂ

à

à

æÂÂÃ¥ÂÂæ¯ç»ÂæÂÂå±Â示ãÂÂå¦Âå¾ç»Âåº此æ¹æ³Âä¸ÂåºåÂÂæ¹æ³Âä¹Âé´çÂÂå®Âæ§æ¯Âè¾Âï¼Âé»Âè²路å¾Âæ¯å¯é¢ÂæµÂçÂÂ轨迹ï¼Â绿è²路å¾Âæ¯é¢ÂæµÂæÂÂé´çÂÂçÂÂå®Â轨迹ãÂÂèÂÂæÂÂÃ¥ÂÂçÂÂé¢ÂæµÂæ¾示为èÂÂè²çÂÂç­å¾ãÂÂ

à

à

ä¹ÂÃ¥ÂÂÃ¥ÂÂæÂÂè¿Â驾驶è¡Â为建模åÂÂé¢ÂæµÂçÂÂè¿ÂæÂÂ论æÂÂï¼Â大æ¦Â20-30ç¯Âï¼ÂãÂÂè¿Â次éÂÂ对è¡Â人è¡Â为讨论ï¼ÂéÂÂÃ¥ÂÂäºÂè¿Â20ç¯Â论æÂÂãÂÂæ»ç»Âä¸Âä¸Âï¼Âè¿ÂäºÂæÂÂç« åÂÂæ åº建模ç®Âæ³ÂçÂÂä¸ÂäºÂç¹ç¹ï¼Â

1. Ã¥ÂÂ驾驶è¡Â为ä¸Âæ ·ï¼Âä¸Âç¡®å®Âæ§åÂÂå¤Â模æÂÂæ¯è¡Â人è¡Â为建模çÂÂæÂÂæÂÂï¼Â

2. 大å¤Âæ¹æ³ÂéÂÂç¨éÂÂå½Âç¥Âç»Âç½Âç»Âï¼Âå¦ÂRNN/LSTM/GRU模åÂÂï¼Â

3. æÂÂéÂÂç¨对æÂÂçÂÂ论GANï¼Âæ¯Âå¦Âsocial GANÃ¥ÂÂSocial Waysï¼Â

4. æÂÂéÂÂç¨å¢Â强学习ï¼ÂRLï¼Âï¼Âæ¬身RLÃ¥ÂÂGANä¹Âé´æÂÂèÂÂç³»ï¼Â

5. 大å¤ÂèÂÂèÂÂç¯å¢ÂçÂÂ交äºÂï¼Âinteractionï¼Â模åÂÂï¼Âä¸Â管å±Âé¨æÂÂèÂÂå¨å±Âï¼Âè¿Âæ¯对è¡Â人çÂÂ社ä¼Âå±Âæ§建模ï¼Â

6. 对人群ï¼Âgroupingï¼ÂÃ¥ÂÂÃ¥ÂÂ个è¡Â人ï¼Â社ä¼Âè¡Â为建模ä¼Âä¸ÂÃ¥ÂÂï¼Â

7. ä¸ÂäºÂéÂÂç¨注æÂÂæºå¶ï¼Âæ¯Âå¦Âsocial attentionÃ¥ÂÂSophieï¼Â

8. 对è¡Â人æÂÂå¾åÂÂè¡Â人活å¨类åÂÂçÂÂçÂÂ解ãÂÂ

ï¼Â*æ¾ÂÂ为 AIç§ÂæÂÂ大揥æÂÂ稿æÂÂç« ï¼Â转载请微信èÂÂç³» 1092722531ï¼Â

âÂÂ

精彩æ¨èÂÂ

âÂÂ

2019 中å½大æ°æ®æÂÂæ¯大ä¼Âï¼ÂBDTCï¼ÂÃ¥ÂÂ度æ¥袭ï¼Â豪åÂÂ主席éµ容åÂÂç¾ä½ÂæÂÂæ¯ä¸Â家é½ÂèÂÂï¼Â15 åº精éÂÂä¸Âé¢ÂæÂÂæ¯åÂÂè¡Âä¸Â论åÂÂï¼Âè¶Â强干货+æÂÂæ¯åÂÂæÂÂ+è¡Âä¸Âå®Âè·µç«Âä½Â解读ï¼Âæ·±å¥解æÂÂç­é¨æÂÂæ¯å¨è¡Âä¸Â中çÂÂå®Âè·µè½å°ã 5 æÂÂ票åÂÂ计æ¶ 5 天ï¼Â

æ¨èÂÂéÂÂ读