![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 91
wangshaner1
这个作者很懒,什么都没留下…
展开
-
ICDE 2022 | Apache ShardingSphere: 一个功能全面和可插拔的数据分片平台(附论文)
ICDE 2022论文解读,业界首篇数据分片的顶级会议论文~原创 2022-03-31 23:06:13 · 1437 阅读 · 0 评论 -
HBsae与时空索引技术杂谈
一、背景近年来智能城市建设在云计算和大数据技术的推动下,取得了飞跃式的发展,产生了海量可记录的数据,如文本、视频、传感器读数等。每年移动互联网接入流量消费超过711亿GB,其中,80%的数据都与时空相关。北京出租车三个月内产生了远超790万条轨迹数据,NASA卫星数据档案库已经超过500TB。迅速产生的时空数据,背后蕴藏着巨大的对智能城市发展有用的信息。如,根据交通轨迹来优化交通信号灯的时间、实时提醒路况、辅助规划交通道路等。此外,时空数据还在农业、金融、环境、能源等方面拥有众多的应用。这一系列的时空应原创 2021-04-09 13:20:29 · 610 阅读 · 0 评论 -
JUST技术:分布式一致性协议概念及Raft协议简介
分布式系统通常由异步网络连接的多个节点构成,每个节点的计算和存储相互独立。分布式一致性指多个节点对某一变量的取值达成一致,一旦达成一致,则变量的本次取值被确定。本文将简单介绍一致性的一些基本概念,以及分布式一致性协议Raft。一、基本概念1.1 副本与数据一致性在分布式系统中,为了保证数据的高可用性,通常会维持数据的多个副本(Replica),这些副本往往会放置在不同的物理机器上。然而,在数据有多份副本的情况下,如果网络、服务器或者软件出现故障,则会导致部分副本写入成功,部分副本写入失败的情况,原创 2021-03-10 18:57:47 · 305 阅读 · 1 评论 -
JUST技术:探查城市中的异常事件
城市在正常运行的过程中,也伴随着一些异常事件的发生,例如某一路段突发的交通拥堵,这些异常事件往往会对我们带来负面影响。2014年12月31日,30多万人涌入上海外滩观看除夕灯光秀,人群的数量远远超出了组织者的预期。过度拥挤导致了一场悲惨的踩踏事件(图1),最终造成36人死亡,49人受伤。图1 2014年外滩踩踏事件对城市中异常事件的及时感知甚至提前预测,能够帮助政府或是相关机构及时应对突发异常,将其带来的负面影响降到最低。如果能够提前预测即将发生拥堵的路段,通过对车流的提前疏导能够避免拥堵的进一原创 2021-02-22 18:09:57 · 1053 阅读 · 0 评论 -
JUST技术:面向时空数据场景的SQL优化器
一、背景介绍随着智能城市建设的不断升温,海量的时空数据也基于现代的智能设备和卫星定位系统不断产生。在这个过程当中,因为传统的技术无法解决海量时空数据的管理问题,所以出现了很多新技术和新方法,Geomesa就是针对时空场景的开源数据引擎的优秀代表。Geomesa在时空数据方面,一方面完全兼容了OGC规范,可以对时空数据进行非常方便的操作,另一方面它能够基于分布式大数据组件来对时空数据进行存储和查询,这样可以实现存储节点的弹性扩容,更好地管理海量的时空数据。但是Geomesa也存在一些问题,比如Ge原创 2021-02-21 19:29:39 · 389 阅读 · 0 评论 -
JUST技术:从GPS数据中挖掘用户行为习惯
智能设备(如智能手机、互联可穿戴设备)的使用呈指数级的增长。据统计,80%的互联网用户拥有智能手机[1],而移动应用程序的使用每年以6%的速度增长,这创造了大量的信息,并带来了大量的研究和商业机会,如智能城市建设、个性化推荐系统等。根据MIT 的技术研究[2],从手机中收集的GPS位置信息可以洞察出用户的行为习惯,那么我们如何利用这些GPS位置信息去挖掘出用户个体和群体的行为和习惯呢?本文将介绍在IEEE ASONAM 2018上发表的论文《Extracting user habits from Goo原创 2021-02-08 09:31:55 · 515 阅读 · 0 评论 -
京东城市时空数据引擎JUST 斩获“2020年度AI生产力创新奖”
近日,由智一科技产业媒体矩阵智东西、车东西、芯东西联手发起的2020年度AI生产力创新奖评选结果揭晓,京东科技集团“智能城市操作系统”时空大数据引擎JUST(JD Urban Spatio-Temporal Data Engine)因在IOT与智慧城市领域的应用成果,斩获“2020年度AI生产力创新奖”。作为智一科技旗下产业媒体矩阵发起的面向中国AI及先进技术产业落地的年度奖项,AI生产力创新奖旨在聚焦代表中国技术创新的优秀公司,从过去一年推出的人工智能相关行业解决方案中,评选出最具创新和产业变革影响的原创 2021-02-06 11:35:53 · 12997 阅读 · 0 评论 -
JUST技术:基于HMM的实时地图匹配
随着城市规模的不断扩大和便民业务的发展,行车导航、共享汽车和物流派送等应用已经深入人们日常生活之中。这些应用都不可避免地需要使用GPS、北斗等定位系统,进而产生了大量的轨迹数据。然而,普通民用GPS定位系统上传的位置数据会由于许多缘故发生与物体的实际地理位置不同的现象,产生了米级别的误差,一般在10米以内。此外,在数据传输、存储和耗电的条件限制下,导致轨迹点采样频率不宜过高。因此,以上因素导致采集到的移动对象位置与其实际所在道路之间有一定距离偏差。为了使接收到的位置数据可以真实反映移动对象的运行轨迹,需要进原创 2021-01-04 21:47:00 · 1894 阅读 · 1 评论 -
京东城市时空数据引擎JUST亮相中国数据库技术大会(附PPT链接)
受疫情影响,第十一届中国数据库技术大会(DTCC2020)从原定的5月份,推迟到了8月份,再推迟到了12月份。尽管如此,依然没有减退国人对数据库技术的热情。2020年12月21日-12月23日,北京国际会议中心人头攒动,各大厂商争奇斗艳。在NoSQL技术专场,京东智能城市研究院的李瑞远博士给大家带来了《京东城市时空数据引擎JUST的架构设计与应用实践》的主题报告,受到了大家的广泛关注。以下为李瑞远博士在第十一届中国数据库技术大会(DTCC2020)中的演讲全文:各位朋友们大...原创 2020-12-30 11:59:24 · 2130 阅读 · 0 评论 -
JUST技术:分布式时序相似查询初探
时序数据,即随时间变化的数据,在人们的日常生活中无处不在。过去的近十年来,随着电子监控和智能穿戴等设备的普及,更是产生了海量的时序数据。例如,经过多年的发展,火力发电行业的数字化程度已经达到了很高的水平,以一台60万千瓦的中型火电机组为例,其内置的上万个传感器,每秒可产生数万条实时监控数据。其中,时序相似查询,即查询出与给定序列q最相似的k个序列,可用于推荐、聚类和异常检测等上层应用。在小规模数据下,时序相似查询是没有问题的,只要将给定序列q与数据库中所有数据进行两两相似性计算后取Top-k即可。.原创 2020-12-02 11:21:21 · 189 阅读 · 0 评论 -
JUST技术:JUST高效时空索引揭秘及使用指南
一、问题背景城市中超过80%的数据都与时空有关,如加油站点、出租车轨迹、交通路况等。这些数据多为半结构化和非结构化数据,并且需要管理的数据量巨大。传统的时空数据库管理海量数据时会出现性能严重下降的情况,如带有PostGIS插件的PostgresSQL。HBase等具有高可扩展性的分布式数据库又不能直接管理时空数据。为此,GeoMesa提供了大量的时空索引工具管理时空数据。但是,它支持的时空类型不够全面,并且在有些场景下它提供的索引效率很低。因此, 我们在GeoMesa的基础上研发了JUST引擎。我们提出原创 2020-11-18 13:34:37 · 942 阅读 · 0 评论 -
JUST技术:基于轨迹数据的人口流向分析技术
一、问题背景随着社会的发展、交通方式的高度便利,人口流动的规模越来越庞大,与此同时,人口迁移、人口流向分析等受到高度关注。人口迁移是一种地理现象,更与社会经济发展紧密相连。人口迁移会同时影响迁入地和迁出地的人口结构,进而影响自然环境,推动或抑制社会经济的发展。另一方面,一个地区的经济发展水平,生活环境等因素会推动人口的迁入或迁出。所以,人口迁移空间分布和时空动态演进的相关研究变得越来越重要。对人口迁移因素、迁移空间变动的研究都将为城市建设,经济结构调整等提供政策决策依据。尤其在新冠肺炎疫情这类重大突发公原创 2020-11-09 20:14:50 · 389 阅读 · 0 评论 -
JUST技术:CK实现时序数据管理
以下文章来源于JUST团队-王棚、李瑞远,转载请获得授权本次技术分享为您带来的是,JUST(https://just.urban-computing.cn/)是如何使用ClickHouse实现时序数据管理和挖掘的。ClickHouse是一个高效的开源联机分析列式数据库管理系统,由俄罗斯IT公司Yandex开发的,并于2016年6月宣布开源。一、时序数据简介时序数据全称是时间序列(TimeSeries)数据,是按照时间顺序索引的一系列数据点。最常见的是在连续的等时间间隔时间点上获取的序..原创 2020-10-24 20:36:37 · 764 阅读 · 0 评论 -
JUST技术:利用轨迹拼接分析实时可达区域
如何快速得知从你的位置开始出发,在当前的交通状况下,5分钟之内能够抵达的空间区域范围?当你掏出手机打车时,出租车调度平台应该通知哪些范围的车主进行接单?本文将带来被国际著名数据库和数据挖掘会议DASFAA 2020 (CCF B类)成功接收的、JUST团队与武汉大学、西安电子科技大学、西南交通大学合作的论文:《Discovering Real-Time Reachable Area using Trajectory Connections》[2],作者为:Ruiyuan Li,Jie Bao,Huajun原创 2020-10-06 12:46:38 · 506 阅读 · 2 评论 -
JUST黑科技:助力园区资源优化部署|UbiComp2020
园区内资源的智能化部署有助于降低部署成本,提高资源使用率。如何部署有限的资源更好地服务人群,是普适计算领域研究的问题之一。普适计算领域顶级会议UbiComp2020(2020年9月12日至17日)近日在线上召开。在刚结束的Location and Human Mobility分会场上,京东城市分享了被会议收录的论文《Dynamic Public Resource Allocation based on Human Mobility Prediction》。本期技术前沿,我们将介绍如何基于人流量的变化动态部署原创 2020-09-16 20:18:56 · 865 阅读 · 0 评论 -
JUST黑科技:助力物流小哥减负增效 | KDD2020
电商的发展需要依赖高效而可靠的物流服务,如何通过大数据和人工智能技术提升物流小哥的配送效率是我们一直在深入研究的问题。在刚刚结束的数据挖掘顶会KDD2020中,这篇《Doing in One Go: Delivery Time Inference Based on Couriers' Trajectories》成为被收录的重磅论文之一。本期技术前沿,我们将介绍京东城市时空数据引擎JUST在物流场景中如何助力物流小哥减负增效。题目:Doing in One Go: Delivery Time Infe原创 2020-09-11 08:20:33 · 528 阅读 · 0 评论 -
揭秘京东城市时空数据引擎—JUST如何助力交通流量预测
2014年跨年夜上海外滩灾难性踩踏事件,使得公共安全问题受到了全体社会的广泛关注。解决这一问题的很重要一项工作就是:如何实时监控和快速预测城市中每个地方的人流量。当某个地方的人流量超过给定的值或者有超过给定值的趋势时,相关部门能及时地采取相关措施,例如:疏散人群,交通引流等,这样才能防止悲剧的再次发生。为避免类似2014年跨年夜上海外滩灾难性踩踏事件,某市公安局提出需要搭建城市实时人流监控...原创 2020-01-06 22:03:45 · 28257 阅读 · 0 评论 -
京东城市时空数据引擎—JUST 如何通过轨迹数据恢复小区路网
双十一将至,又到了网购的狂欢季!伴随互联网的高速发展,中国电子商务交易总额已从2008年的3.14万亿元增长至2018年的31.63万亿元,网上零售规模从0.13万亿元猛增到9万亿元,中国已成为名副其实的“全球第一大网络零售大国”。与之相随的,是快递行业的迅猛发展,据国家邮政局2019年4月11日发布的《2018年中国快递发展指数报告》显示——2018年,我国快递业务量达到507.1亿件,人均...原创 2020-01-06 22:00:27 · 30340 阅读 · 1 评论