时空数据管理
文章平均质量分 90
wangshaner1
这个作者很懒,什么都没留下…
展开
-
数据宝藏与精灵法师:探秘Elf擦除魔法的奇幻故事
在数字领域的奇幻王国中,大家视数据为宝藏。作为奇幻王国的国王,在他的宝库中,自然是有着无数的数据宝藏。这么多的数据宝藏,却让国王发难了。因为宝库有限,放不下这么多数据宝藏。因此,国王广招天下的精灵法师,希望借助他们的魔法,能在不损伤这些数据宝藏的前提下,缩小数据宝藏占的空间,从而让宝库中能装下更多的数据宝藏。原创 2023-05-22 19:58:19 · 755 阅读 · 0 评论 -
如何加快城市路网中最短路径查询效率?
一、介绍最短路查询算法是图论中的经典算法,被广泛地应用在不同场景,例如计算机网络中的路由算法。在时空场景下,最短路算法更是支撑了很多应用,例如在路径规划和推荐中最短路是一种最直接的方案,而目前主流的基于隐马尔科夫模型的轨迹地图匹配算法也会产生大量的最短路查询 [1]。具体如图1所示,在计算相邻两个轨迹点之间可能的匹配路段时,地图匹配算法会首先做一个范围查询确定候选路段,为了计算候选路段之间的转移概率,地图匹配算法会对两个候选集合所有路段两两之间做最短路查询。然而,这些实际应用中的图往往规模巨大,未经优化原创 2021-04-28 12:33:25 · 782 阅读 · 0 评论 -
基于遥感影像及轨迹数据融合的地图自动化生成器
自动化的地图生成对于城市服务及基于位置服务非常重要,现有的工作研究主要利用遥感影像或可以充分反映地图路网情况的车辆轨迹数据生成地图,数据源较为单一,如果能将遥感影像数据及轨迹数据融合起来,地图生成的质量将进一步提高。本文介绍了复旦大学等机构在国际人工智能领域顶会AAAI’20 上发表的论文《DeepDualMapper: A Gated Fusion Network for Automatic Map Extractionusing Aerial Images and Trajectories》。该论文原创 2021-04-28 10:16:43 · 718 阅读 · 0 评论 -
从轨迹中预训练情境时间感知的、用于用户位置预测的地点嵌入
对轨迹数据进行预训练地点嵌入能够用于用户下一个地点预测任务。现有的基于轨迹数据预训练的地点嵌入方法,将一个地点用单一的向量表达。然而在现实世界中,一个地点通常在不同的场景下扮演不同的功能。如果轨迹中的地点嵌入能够准确表达其功能,用户下一个地点预测的性能可以得到提升。本文介绍北京交通大学等机构在国际人工智能领域顶会AAAI’21上发表的论文《Pre-training Context and Time Aware Location Embeddings from Spatial-TemporalTra.原创 2021-04-28 10:14:06 · 1100 阅读 · 0 评论 -
HBsae与时空索引技术杂谈
一、背景近年来智能城市建设在云计算和大数据技术的推动下,取得了飞跃式的发展,产生了海量可记录的数据,如文本、视频、传感器读数等。每年移动互联网接入流量消费超过711亿GB,其中,80%的数据都与时空相关。北京出租车三个月内产生了远超790万条轨迹数据,NASA卫星数据档案库已经超过500TB。迅速产生的时空数据,背后蕴藏着巨大的对智能城市发展有用的信息。如,根据交通轨迹来优化交通信号灯的时间、实时提醒路况、辅助规划交通道路等。此外,时空数据还在农业、金融、环境、能源等方面拥有众多的应用。这一系列的时空应原创 2021-04-09 13:20:29 · 655 阅读 · 0 评论 -
JUST技术:探查城市中的异常事件
城市在正常运行的过程中,也伴随着一些异常事件的发生,例如某一路段突发的交通拥堵,这些异常事件往往会对我们带来负面影响。2014年12月31日,30多万人涌入上海外滩观看除夕灯光秀,人群的数量远远超出了组织者的预期。过度拥挤导致了一场悲惨的踩踏事件(图1),最终造成36人死亡,49人受伤。图1 2014年外滩踩踏事件对城市中异常事件的及时感知甚至提前预测,能够帮助政府或是相关机构及时应对突发异常,将其带来的负面影响降到最低。如果能够提前预测即将发生拥堵的路段,通过对车流的提前疏导能够避免拥堵的进一原创 2021-02-22 18:09:57 · 1075 阅读 · 0 评论 -
JUST技术:面向时空数据场景的SQL优化器
一、背景介绍随着智能城市建设的不断升温,海量的时空数据也基于现代的智能设备和卫星定位系统不断产生。在这个过程当中,因为传统的技术无法解决海量时空数据的管理问题,所以出现了很多新技术和新方法,Geomesa就是针对时空场景的开源数据引擎的优秀代表。Geomesa在时空数据方面,一方面完全兼容了OGC规范,可以对时空数据进行非常方便的操作,另一方面它能够基于分布式大数据组件来对时空数据进行存储和查询,这样可以实现存储节点的弹性扩容,更好地管理海量的时空数据。但是Geomesa也存在一些问题,比如Ge原创 2021-02-21 19:29:39 · 412 阅读 · 0 评论 -
JUST技术:从GPS数据中挖掘用户行为习惯
智能设备(如智能手机、互联可穿戴设备)的使用呈指数级的增长。据统计,80%的互联网用户拥有智能手机[1],而移动应用程序的使用每年以6%的速度增长,这创造了大量的信息,并带来了大量的研究和商业机会,如智能城市建设、个性化推荐系统等。根据MIT 的技术研究[2],从手机中收集的GPS位置信息可以洞察出用户的行为习惯,那么我们如何利用这些GPS位置信息去挖掘出用户个体和群体的行为和习惯呢?本文将介绍在IEEE ASONAM 2018上发表的论文《Extracting user habits from Goo原创 2021-02-08 09:31:55 · 541 阅读 · 0 评论 -
京东城市时空数据引擎JUST 斩获“2020年度AI生产力创新奖”
近日,由智一科技产业媒体矩阵智东西、车东西、芯东西联手发起的2020年度AI生产力创新奖评选结果揭晓,京东科技集团“智能城市操作系统”时空大数据引擎JUST(JD Urban Spatio-Temporal Data Engine)因在IOT与智慧城市领域的应用成果,斩获“2020年度AI生产力创新奖”。作为智一科技旗下产业媒体矩阵发起的面向中国AI及先进技术产业落地的年度奖项,AI生产力创新奖旨在聚焦代表中国技术创新的优秀公司,从过去一年推出的人工智能相关行业解决方案中,评选出最具创新和产业变革影响的原创 2021-02-06 11:35:53 · 13016 阅读 · 0 评论 -
JUST技术:管理海量空间数据的利器-空间填充曲线
现实世界中存在大量的多维空间数据,如加油站位置、河流走向等。为了高效存储和管理海量的空间数据,很多基于Key-Value存储的空间数据库,如开源的空间插件GeoMesa[1]、京东城市自研的时空数据引擎JUST[2],都使用了空间填充曲线技术。它们能够将多维空间数据转换到一维空间上,并通过转换后的一维空间索引值存储和查询多维数据,因此能够在Key-Value数据库中存储管理海量的时空数据。本文详细介绍了几种常用的空间填充曲线(Z曲线、Hilbert曲线、XZ-Ordering)的映射算法。一、背景介绍原创 2021-01-25 19:17:55 · 2196 阅读 · 2 评论 -
JUST技术:基于HMM的实时地图匹配
随着城市规模的不断扩大和便民业务的发展,行车导航、共享汽车和物流派送等应用已经深入人们日常生活之中。这些应用都不可避免地需要使用GPS、北斗等定位系统,进而产生了大量的轨迹数据。然而,普通民用GPS定位系统上传的位置数据会由于许多缘故发生与物体的实际地理位置不同的现象,产生了米级别的误差,一般在10米以内。此外,在数据传输、存储和耗电的条件限制下,导致轨迹点采样频率不宜过高。因此,以上因素导致采集到的移动对象位置与其实际所在道路之间有一定距离偏差。为了使接收到的位置数据可以真实反映移动对象的运行轨迹,需要进原创 2021-01-04 21:47:00 · 1969 阅读 · 1 评论 -
京东城市时空数据引擎JUST亮相中国数据库技术大会(附PPT链接)
受疫情影响,第十一届中国数据库技术大会(DTCC2020)从原定的5月份,推迟到了8月份,再推迟到了12月份。尽管如此,依然没有减退国人对数据库技术的热情。2020年12月21日-12月23日,北京国际会议中心人头攒动,各大厂商争奇斗艳。在NoSQL技术专场,京东智能城市研究院的李瑞远博士给大家带来了《京东城市时空数据引擎JUST的架构设计与应用实践》的主题报告,受到了大家的广泛关注。以下为李瑞远博士在第十一届中国数据库技术大会(DTCC2020)中的演讲全文:各位朋友们大...原创 2020-12-30 11:59:24 · 2189 阅读 · 0 评论 -
JUST技术:JUST高效时空索引揭秘及使用指南
一、问题背景城市中超过80%的数据都与时空有关,如加油站点、出租车轨迹、交通路况等。这些数据多为半结构化和非结构化数据,并且需要管理的数据量巨大。传统的时空数据库管理海量数据时会出现性能严重下降的情况,如带有PostGIS插件的PostgresSQL。HBase等具有高可扩展性的分布式数据库又不能直接管理时空数据。为此,GeoMesa提供了大量的时空索引工具管理时空数据。但是,它支持的时空类型不够全面,并且在有些场景下它提供的索引效率很低。因此, 我们在GeoMesa的基础上研发了JUST引擎。我们提出原创 2020-11-18 13:34:37 · 998 阅读 · 0 评论 -
JUST技术:基于轨迹数据的人口流向分析技术
一、问题背景随着社会的发展、交通方式的高度便利,人口流动的规模越来越庞大,与此同时,人口迁移、人口流向分析等受到高度关注。人口迁移是一种地理现象,更与社会经济发展紧密相连。人口迁移会同时影响迁入地和迁出地的人口结构,进而影响自然环境,推动或抑制社会经济的发展。另一方面,一个地区的经济发展水平,生活环境等因素会推动人口的迁入或迁出。所以,人口迁移空间分布和时空动态演进的相关研究变得越来越重要。对人口迁移因素、迁移空间变动的研究都将为城市建设,经济结构调整等提供政策决策依据。尤其在新冠肺炎疫情这类重大突发公原创 2020-11-09 20:14:50 · 413 阅读 · 0 评论 -
JUST技术:基于时空孪生神经网络的轨迹识别
轨迹识别问题旨在验证传入的轨迹是否是由所要求的人员产生, 即给定一组单独的人员历史轨迹(例如行人,出租车司机)以及由特定人员生成的一组新轨迹,判定两组轨迹是否由同一个人员生成。这个问题在许多实际应用中都很重要,例如出租车驾驶人员身份认证、汽车保险公司风险分析以及危险驾驶识别等。轨迹识别的现有工作除了需要轨迹数据之外,还需要其他来源的数据,如传感器、摄像头等,但这些数据无法普遍获得且成本较高。此外,目前的工作只能局限于已有的人员身份识别,无法扩展至未经训练的人员。为了应对这些挑战,在这项工作中,我们首次尝试通原创 2020-10-28 09:19:11 · 404 阅读 · 0 评论 -
JUST技术:CK实现时序数据管理
以下文章来源于JUST团队-王棚、李瑞远,转载请获得授权本次技术分享为您带来的是,JUST(https://just.urban-computing.cn/)是如何使用ClickHouse实现时序数据管理和挖掘的。ClickHouse是一个高效的开源联机分析列式数据库管理系统,由俄罗斯IT公司Yandex开发的,并于2016年6月宣布开源。一、时序数据简介时序数据全称是时间序列(TimeSeries)数据,是按照时间顺序索引的一系列数据点。最常见的是在连续的等时间间隔时间点上获取的序..原创 2020-10-24 20:36:37 · 795 阅读 · 0 评论 -
JUST技术:利用迁移学习生成新城市的轨迹
市民的出行轨迹数据无论是对于城市管理、规划,还是商业活动,都是重要的参考信息。然而,获取一个城市的人群轨迹数据却非常困难。在今年4月份召开的国际顶级互联网会议WWW 2020(CCF-A类)上,京东城市报告了被会议收录的论文《What is the Human Mobility in a New City: Transfer Mobility KnowledgeAcross Cities》,研究了如何通过迁移学习,根据一个城市的POI、路网、交通信息来推测它的人群轨迹分布。1. 背景城.转载 2020-10-14 09:51:07 · 319 阅读 · 0 评论 -
JUST技术:利用轨迹拼接分析实时可达区域
如何快速得知从你的位置开始出发,在当前的交通状况下,5分钟之内能够抵达的空间区域范围?当你掏出手机打车时,出租车调度平台应该通知哪些范围的车主进行接单?本文将带来被国际著名数据库和数据挖掘会议DASFAA 2020 (CCF B类)成功接收的、JUST团队与武汉大学、西安电子科技大学、西南交通大学合作的论文:《Discovering Real-Time Reachable Area using Trajectory Connections》[2],作者为:Ruiyuan Li,Jie Bao,Huajun原创 2020-10-06 12:46:38 · 526 阅读 · 2 评论 -
JUST黑科技:助力物流小哥减负增效 | KDD2020
电商的发展需要依赖高效而可靠的物流服务,如何通过大数据和人工智能技术提升物流小哥的配送效率是我们一直在深入研究的问题。在刚刚结束的数据挖掘顶会KDD2020中,这篇《Doing in One Go: Delivery Time Inference Based on Couriers' Trajectories》成为被收录的重磅论文之一。本期技术前沿,我们将介绍京东城市时空数据引擎JUST在物流场景中如何助力物流小哥减负增效。题目:Doing in One Go: Delivery Time Infe原创 2020-09-11 08:20:33 · 547 阅读 · 0 评论 -
揭秘京东城市时空数据引擎—JUST如何助力交通流量预测
2014年跨年夜上海外滩灾难性踩踏事件,使得公共安全问题受到了全体社会的广泛关注。解决这一问题的很重要一项工作就是:如何实时监控和快速预测城市中每个地方的人流量。当某个地方的人流量超过给定的值或者有超过给定值的趋势时,相关部门能及时地采取相关措施,例如:疏散人群,交通引流等,这样才能防止悲剧的再次发生。为避免类似2014年跨年夜上海外滩灾难性踩踏事件,某市公安局提出需要搭建城市实时人流监控...原创 2020-01-06 22:03:45 · 28313 阅读 · 0 评论 -
京东城市时空数据引擎—JUST 如何通过轨迹数据恢复小区路网
双十一将至,又到了网购的狂欢季!伴随互联网的高速发展,中国电子商务交易总额已从2008年的3.14万亿元增长至2018年的31.63万亿元,网上零售规模从0.13万亿元猛增到9万亿元,中国已成为名副其实的“全球第一大网络零售大国”。与之相随的,是快递行业的迅猛发展,据国家邮政局2019年4月11日发布的《2018年中国快递发展指数报告》显示——2018年,我国快递业务量达到507.1亿件,人均...原创 2020-01-06 22:00:27 · 30432 阅读 · 1 评论