自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

李瑞远-时空数据

www.kangry.net/blog/

  • 博客(336)
  • 资源 (23)
  • 收藏
  • 关注

原创 京东城市时空数据引擎JUST亮相中国数据库技术大会(附PPT链接)

受疫情影响,第十一届中国数据库技术大会(DTCC2020)从原定的5月份,推迟到了8月份,再推迟到了12月份。尽管如此,依然没有减退国人对数据库技术的热情。2020年12月21日-12月23日,北京国际会议中心人头攒动,各大厂商争奇斗艳。在NoSQL技术专场,京东智能城市研究院的李瑞远博士给大家带来了《京东城市时空数据引擎JUST的架构设计与应用实践》的主题报告,受到了大家的广泛关注。以下为李瑞远博士在第十一届中国数据库技术大会(DTCC2020)中的演讲全文:各位朋友们大...

2020-12-30 11:59:24 2014

原创 数据宝藏与精灵法师:探秘Elf擦除魔法的奇幻故事

在数字领域的奇幻王国中,大家视数据为宝藏。作为奇幻王国的国王,在他的宝库中,自然是有着无数的数据宝藏。这么多的数据宝藏,却让国王发难了。因为宝库有限,放不下这么多数据宝藏。因此,国王广招天下的精灵法师,希望借助他们的魔法,能在不损伤这些数据宝藏的前提下,缩小数据宝藏占的空间,从而让宝库中能装下更多的数据宝藏。

2023-05-22 19:58:19 678

原创 数据压缩新利器!小精灵ELF助你高效存储与传输

存储空间不够用?网络传输太慢?想必每个人在生活中都会遇到这些问题。看着爆满的硬盘、焦急的等待数据的接受,更新设备?不是每个人都能承担这个成本。那不如尝试一下无损压缩?为了减少存储空间的占用,提高传输效率,START团队提出了一个高效的流式浮点类型数据无损压缩算法——“小精灵ELF”。利用小精灵平均可以将原本100GB的数据可以压缩到33GB。

2023-05-15 20:30:05 646

原创 无损时序压缩Elf+:压缩率再提升10%,压缩时间减少20%(附源码)

无损流式时序压缩算法Elf+:压缩率再提升10%,压缩时间减少20%!

2023-05-08 22:12:29 312

原创 VLDB 2023 | 基于擦除的浮点无损压缩(附论文和源码)

比Gorilla压缩率提升50%

2023-04-30 10:58:51 566

原创 基于多智能体强化学习的出租车调度框架

网约车平台的繁荣使得人们比以往能更加“智慧”的出行。平台能实时掌握全局的车辆与乘客的供需关系,从而在车辆与乘客之间实现更加有效的匹配。但车辆与乘客还是会经常遭遇“车辆不停寻找乘客而乘客不停寻找车辆”的困境。产生这种现象的根本原因在于车辆供应与乘客需求的时空匹配程度不够。因此,现有很多研究都着力于调度空闲的车辆来提高两者之间的时空匹配程度。其中,基于强化学习的方法凭借其能够捕捉长期的车辆与乘客供需分布变化,而被广泛研究。在这些基于强化学习的车辆调度研究中,不论是通过中心化的方式协调整个城市的车辆,还是通过车辆

2022-06-26 23:06:04 920

原创 github+intellij的一些使用坑

1、git->clone->github,有一些仓库没有展示出来(我的是其他人分享给我的仓库没有展示)。重新登录了github账号(不管用户名还是token),都不能显示完整。解决方案:重新装了intellj 2022.1,之前是2021.3,展示成功2、git push到远程仓库,一直出错,报:the requested url returned error: 403,然而,这个仓库能够pull,能否fork,我也给账号分配了权限。重新登录github账号(不管用户名还是token

2022-05-17 16:27:49 144

原创 ICDE 2022 | Apache ShardingSphere: 一个功能全面和可插拔的数据分片平台(附论文)

ICDE 2022论文解读,业界首篇数据分片的顶级会议论文~

2022-03-31 23:06:13 1420

原创 AAAI 2021:一种跨城市迁移的新冠肺炎高危社区发现框架

新冠肺炎已经在世界范围内广泛传播,严重影响着人们的日常生活。面对新冠肺炎,人为干预的空间隔离手段(如限制出行或集中隔离)已经被证明其有效性。但是,确诊病例的统计往往是滞后且粗粒度的,比如对于尚未确诊的患者他们的传染过程并没有被考虑,因此直接通过各区域的确诊病例建立时空预测模型的方法效果不佳。基于此,研究人员提出了一种跨城市迁移的新冠肺炎高危社区发现框架,该框架能够从人类移动数据与区域特征对地块的隐式传播性进行建模,并能够将在疫情爆发的源城市中学习到的知识迁移到疫情未爆发目标城市,用于当地高危社区的检测。经过

2021-08-25 10:25:19 466

原创 SCI一区论文:基于WiFi信号的病毒存活期内密切接触者追踪

自2019年底开始,新冠疫情的爆发对全球人民的健康与世界经济的发展造成了极大的威胁。及时追踪并隔离病毒的密切接触者在抑制疫情的蔓延中发挥着非常重要的作用。以往密切接触者追踪的方法通常关注与确诊患者有过直接接触的人员,而在近期南京的疫情中,我们发现由于病毒在环境中可存活较长时间,没有与确诊者直接接触但暴露于确诊者逗留过环境中的人员也有很大的感染风险。因此,发掘间接接触的密切接触者也是疫情防控工作中至关重要的一环。本文将介绍香港科技大学计算机科学与工程系陈双幸教授(Prof. Shueng-Han Gary

2021-08-09 21:56:40 717

原创 WWW2021:细粒度城市流量预测(附论文链接)

城市流量预测在智慧城市建设中扮演着非常重要的角色,有利于城市交通管理以及保障公共安全。京东城市时空AI团队针对该方向,已提出一系列研究成果[1-9]。然而,目前工作多是围绕粗粒度的预测任务,而面向城市精细化管理需求,需要提供更细粒度的精准流量预测。基于此,京东城市时空AI团队提出一种新型时空AI模型——时空关系网络来预测细粒度的城市流量。相比于传统粗粒度城市流量预测问题,细粒度城市流量预测有两大难点:1)随着网格空间粒度划分的不断细化,相同距离的网格间空间关系会变得更长(多跳),此时考虑多跳空间关系(全

2021-04-29 13:16:20 894

原创 如何加快城市路网中最短路径查询效率?

一、介绍最短路查询算法是图论中的经典算法,被广泛地应用在不同场景,例如计算机网络中的路由算法。在时空场景下,最短路算法更是支撑了很多应用,例如在路径规划和推荐中最短路是一种最直接的方案,而目前主流的基于隐马尔科夫模型的轨迹地图匹配算法也会产生大量的最短路查询 [1]。具体如图1所示,在计算相邻两个轨迹点之间可能的匹配路段时,地图匹配算法会首先做一个范围查询确定候选路段,为了计算候选路段之间的转移概率,地图匹配算法会对两个候选集合所有路段两两之间做最短路查询。然而,这些实际应用中的图往往规模巨大,未经优化

2021-04-28 12:33:25 711

原创 基于遥感影像及轨迹数据融合的地图自动化生成器

自动化的地图生成对于城市服务及基于位置服务非常重要,现有的工作研究主要利用遥感影像或可以充分反映地图路网情况的车辆轨迹数据生成地图,数据源较为单一,如果能将遥感影像数据及轨迹数据融合起来,地图生成的质量将进一步提高。本文介绍了复旦大学等机构在国际人工智能领域顶会AAAI’20 上发表的论文《DeepDualMapper: A Gated Fusion Network for Automatic Map Extractionusing Aerial Images and Trajectories》。该论文

2021-04-28 10:16:43 633

原创 WWW2021: AutoSTG面向时空图预测的神经网络结构搜索(附论文链接)

近年来,随着智能城市建设的大力推进,学术界和工业界开始出现大量关于城市时空数据分析与挖掘的研究工作。面向城市中不同时空预测任务(如交通流量预测、区域客流量预测等),京东智能城市时空AI团队也已提出一系列研究成果[1]。然而针对具体应用任务的神经网络设计需要丰富的领域知识和大量的实验验证,人力成本较高,无法高效支撑实际城市项目落地中复杂多样的时空应用。自动化网络结构搜索是针对深度模型网络设计提出的一类方法,可以面向不同学习任务自动化设计最优网络结构,目前该方法已经取得大量研究进展,但是关于城市中时空图

2021-04-28 10:15:27 625

原创 从轨迹中预训练情境时间感知的、用于用户位置预测的地点嵌入

对轨迹数据进行预训练地点嵌入能够用于用户下一个地点预测任务。现有的基于轨迹数据预训练的地点嵌入方法,将一个地点用单一的向量表达。然而在现实世界中,一个地点通常在不同的场景下扮演不同的功能。如果轨迹中的地点嵌入能够准确表达其功能,用户下一个地点预测的性能可以得到提升。本文介绍北京交通大学等机构在国际人工智能领域顶会AAAI’21上发表的论文《Pre-training Context and Time Aware Location Embeddings from Spatial-TemporalTra.

2021-04-28 10:14:06 1024

原创 HBsae与时空索引技术杂谈

一、背景近年来智能城市建设在云计算和大数据技术的推动下,取得了飞跃式的发展,产生了海量可记录的数据,如文本、视频、传感器读数等。每年移动互联网接入流量消费超过711亿GB,其中,80%的数据都与时空相关。北京出租车三个月内产生了远超790万条轨迹数据,NASA卫星数据档案库已经超过500TB。迅速产生的时空数据,背后蕴藏着巨大的对智能城市发展有用的信息。如,根据交通轨迹来优化交通信号灯的时间、实时提醒路况、辅助规划交通道路等。此外,时空数据还在农业、金融、环境、能源等方面拥有众多的应用。这一系列的时空应

2021-04-09 13:20:29 576

原创 Spark任务中空间数据的序列化

一、引言Spark是目前主流的分布式计算框架,通过利用内存存储中间计算结果的方式,优化了MapReduce框架并不擅长的迭代式计算。同时,Spark使用有向无环图(Directed Acyclic Graph,DAG)统筹和优化整个计算流程。另外,Spark基于弹性分布式数据集RDD(Resilient Distributed Datasets)提供了丰富的数据分析算子,大大简化了分布式计算应用的开发难度。序列化和反序列是Spark的一项基本操作。Spark在执行计算任务的过程中,需要在不同的.

2021-03-29 22:15:09 288

原创 ICDE 2021: 针对具有噪音和低采样率轨迹的时空相似算法(附论文链接)

随着定位技术的发展以及IOT设备的普及,大量的轨迹数据可以被采集分析。轨迹数据一般被表示成位置与其采集时间的序列。了解轨迹之间的相似度,有非常多的应用,例如:密切接触者追踪,伴侣检测,个性化推荐等。然而,实际应用中,轨迹中的位置信息往往是有噪声的;同时,不同轨迹的采样率有所不同,在某些场景中,轨迹的采样率甚至可能很低。这都为轨迹相似度的比较带来很大的挑战。本文将介绍香港科技大学、台湾交通大学、台湾中兴大学发表在ICDE 2021上的论文《Spatial-Temporal Similarityfor Tr

2021-03-23 22:08:52 1261

原创 JUST技术:轨迹生成算法的基础做法-序列到序列模型

位置数据,是选址、商铺推荐、广告位投放等业务的重要基础。是否可以在保护原始数据不被泄露的情况下,达到相近的业务效果?一种解决思路就是通过真实轨迹学习城市人群的出行分布来生成轨迹。生成轨迹可以代替包含用户隐私信息的真实轨迹,来达到相近数据分析、上层业务建设的效果,且避免原始位置信息外泄。更多关于轨迹生成算法在智慧城市中的应用场景,在笔者往期文章中有讨论。JUST技术:利用迁移学习生成新城市的轨迹JUST技术:基于无参生成模型的轨迹生成往期我们介绍了两项研究工作:跨城市的Zero-shot轨迹生成技

2021-03-21 00:12:14 844

原创 JUST技术:分布式一致性协议概念及Raft协议简介

分布式系统通常由异步网络连接的多个节点构成,每个节点的计算和存储相互独立。分布式一致性指多个节点对某一变量的取值达成一致,一旦达成一致,则变量的本次取值被确定。本文将简单介绍一致性的一些基本概念,以及分布式一致性协议Raft。一、基本概念1.1 副本与数据一致性在分布式系统中,为了保证数据的高可用性,通常会维持数据的多个副本(Replica),这些副本往往会放置在不同的物理机器上。然而,在数据有多份副本的情况下,如果网络、服务器或者软件出现故障,则会导致部分副本写入成功,部分副本写入失败的情况,

2021-03-10 18:57:47 289 1

原创 JUST技术:基于注意力机制恢复细粒度轨迹

随着基于位置服务的大量增长,越来越多的移动数据可以被分析挖掘,以更好地服务人们的生活。然而,与来自出租车等运输系统类的高采样率轨迹数据相比,用户地理服务数据具有严重稀疏性问题,是因为用户不会一直访问移动数据并贡献自己的位置信息(例如微博地址分享,大众点评签到等数据),而数据稀疏性问题不可避免的削弱了其实用价值。如何解决用户移动数据稀疏性,是一个非常具有挑战的问题。本文将介绍清华大学发表在AAAI 2021上的论文《AttnMove: History Enhanced Trajectory Reco.

2021-03-05 17:49:51 462

原创 JUST技术:探查城市中的异常事件

城市在正常运行的过程中,也伴随着一些异常事件的发生,例如某一路段突发的交通拥堵,这些异常事件往往会对我们带来负面影响。2014年12月31日,30多万人涌入上海外滩观看除夕灯光秀,人群的数量远远超出了组织者的预期。过度拥挤导致了一场悲惨的踩踏事件(图1),最终造成36人死亡,49人受伤。图1 2014年外滩踩踏事件对城市中异常事件的及时感知甚至提前预测,能够帮助政府或是相关机构及时应对突发异常,将其带来的负面影响降到最低。如果能够提前预测即将发生拥堵的路段,通过对车流的提前疏导能够避免拥堵的进一

2021-02-22 18:09:57 1009

原创 JUST技术:面向时空数据场景的SQL优化器

一、背景介绍随着智能城市建设的不断升温,海量的时空数据也基于现代的智能设备和卫星定位系统不断产生。在这个过程当中,因为传统的技术无法解决海量时空数据的管理问题,所以出现了很多新技术和新方法,Geomesa就是针对时空场景的开源数据引擎的优秀代表。Geomesa在时空数据方面,一方面完全兼容了OGC规范,可以对时空数据进行非常方便的操作,另一方面它能够基于分布式大数据组件来对时空数据进行存储和查询,这样可以实现存储节点的弹性扩容,更好地管理海量的时空数据。但是Geomesa也存在一些问题,比如Ge

2021-02-21 19:29:39 376

原创 JUST技术:从GPS数据中挖掘用户行为习惯

智能设备(如智能手机、互联可穿戴设备)的使用呈指数级的增长。据统计,80%的互联网用户拥有智能手机[1],而移动应用程序的使用每年以6%的速度增长,这创造了大量的信息,并带来了大量的研究和商业机会,如智能城市建设、个性化推荐系统等。根据MIT 的技术研究[2],从手机中收集的GPS位置信息可以洞察出用户的行为习惯,那么我们如何利用这些GPS位置信息去挖掘出用户个体和群体的行为和习惯呢?本文将介绍在IEEE ASONAM 2018上发表的论文《Extracting user habits from Goo

2021-02-08 09:31:55 480

原创 京东城市时空数据引擎JUST 斩获“2020年度AI生产力创新奖”

近日,由智一科技产业媒体矩阵智东西、车东西、芯东西联手发起的2020年度AI生产力创新奖评选结果揭晓,京东科技集团“智能城市操作系统”时空大数据引擎JUST(JD Urban Spatio-Temporal Data Engine)因在IOT与智慧城市领域的应用成果,斩获“2020年度AI生产力创新奖”。作为智一科技旗下产业媒体矩阵发起的面向中国AI及先进技术产业落地的年度奖项,AI生产力创新奖旨在聚焦代表中国技术创新的优秀公司,从过去一年推出的人工智能相关行业解决方案中,评选出最具创新和产业变革影响的

2021-02-06 11:35:53 12960

原创 时空AI技术:深度强化学习在智能城市领域应用介绍

深度强化学习是近年来热起来的一项技术。深度强化学习的控制与决策流程必须包含状态,动作,奖励是三要素。在建模过程中,智能体根据环境的当前状态信息输出动作作用于环境,然后接收到下一时刻状态信息和奖励。以众所周知的AlphaGo为例,盘面就是当前的状态,动作就是下一步往哪里落子,奖励就是最终的输赢。整个强化学习过程就是不断与环境交互,在交互的过程中产生数据,并利用这些交互产生的数据来学习的过程。正是在深度强化学习的帮助下,AlphaGo得以横扫世界级顶尖棋手。所以相比于有监督学习方法,深度强化学习在特定场景下可以

2021-02-02 15:48:28 657

原创 JUST技术:管理海量空间数据的利器-空间填充曲线

现实世界中存在大量的多维空间数据,如加油站位置、河流走向等。为了高效存储和管理海量的空间数据,很多基于Key-Value存储的空间数据库,如开源的空间插件GeoMesa[1]、京东城市自研的时空数据引擎JUST[2],都使用了空间填充曲线技术。它们能够将多维空间数据转换到一维空间上,并通过转换后的一维空间索引值存储和查询多维数据,因此能够在Key-Value数据库中存储管理海量的时空数据。本文详细介绍了几种常用的空间填充曲线(Z曲线、Hilbert曲线、XZ-Ordering)的映射算法。一、背景介绍

2021-01-25 19:17:55 2004 2

原创 AAAI 2021论文:Graph Diffusion Network提升交通流量预测精度(附论文下载)

城市流量预测作为智能交通中的一个重要问题,致力于精确预测城市中不同区域的流量信息,从而更好地实现区域间的流量管控、拥塞控制以及保障城市公共安全。本文将介绍一种基于时空图扩散网络的城市交通流量预测模型。本文工作是由京东数科硅谷研发实验室,京东城市和华南理工大学合作的一篇论文《TrafficFlow Forecasting with Spatial-Temporal Graph Diffusion Network》,目前该论文已经被人工智能领域的顶级会议AAAI 2021(CCF A类)接收。...

2021-01-20 21:59:17 1586

原创 JUST技术:提升基于GPS轨迹的路网推测精确度

路网数据对于城市中的很多应用,比如车载导航和线路优化等,都非常重要。传统的道路数据采集方法依赖于采集车,消耗大量的人力物力。随着GPS设备的普及,海量轨迹数据在城市里产生,使我们能够用轨迹数据去生成路网。这个问题在近十年中已经有了广泛的研究,但是其中很多方法的精确度(precision)并不高,特别是上下道路,平行道路等地方。由于轨迹数据在城市内并不是均匀分布的,对于那些车辆频繁通行的地方,我们有没有办法进一步提高这些区域路网推测的精确度呢?本文将介绍美国麻省理工学院(MIT)与卡塔尔哈马德-本-.

2021-01-20 09:20:35 486

原创 JUST技术:空间连接运算与空间索引

一、空间连接定义随着全球定位系统和移动互联设备的普及,海量的空间数据也随之产生。空间连接(Spatial Join)运算是一类最常用的空间数据分析算子,具有广泛的应用场景。例如统计地铁站周围500米的POI,帮助店主合理选择商铺选址;从同一个数据集中分析空间相邻的同伴关系,辅助警方侦察;查询河流周围的居民区和农田,在汛期排除洪水隐患;查找去过疫区的人群,方便疫情防控等。下面给出空间连接的定义:给定空间对相集合R和S以及空间谓词θ,计算并输出所有空间对象二元组(r,s),满足r∈R,s∈S,且r和s.

2021-01-14 22:52:32 365

原创 JUST技术:基于HMM的实时地图匹配

随着城市规模的不断扩大和便民业务的发展,行车导航、共享汽车和物流派送等应用已经深入人们日常生活之中。这些应用都不可避免地需要使用GPS、北斗等定位系统,进而产生了大量的轨迹数据。然而,普通民用GPS定位系统上传的位置数据会由于许多缘故发生与物体的实际地理位置不同的现象,产生了米级别的误差,一般在10米以内。此外,在数据传输、存储和耗电的条件限制下,导致轨迹点采样频率不宜过高。因此,以上因素导致采集到的移动对象位置与其实际所在道路之间有一定距离偏差。为了使接收到的位置数据可以真实反映移动对象的运行轨迹,需要进

2021-01-04 21:47:00 1785 1

原创 AAAI 2021论文:利用深度元学习对城市销量进行预测

对于线上和线下的零售行业,销量预测都是一项至关重要的任务,它可以帮助企业更好的预备库存以及在各个仓库之间分配商品。特别是在大型购物节期间,强劲的促销活动将极大地促进消费。然而,可供参考的历史数据却非常稀缺。如何同时对城市的不同区域和不同时间段的销量进行预测,是一个非常具有挑战的问题。在2020年12月收录的AAAI 2021(CCF-A类)上,京东城市被收录了一篇名为《Robust Spatio-Temporal Purchase Prediction via Deep Meta Learning》的论

2020-12-29 14:28:18 462

原创 JUST技术:基于无参生成模型的轨迹生成

在大数据时代,位置数据成为各方都亟待挖掘的数据宝藏,比如在城市交通基建规划、商业选址、线下广告等场景中,都是以位置数据为重要基础。但在此过程中,隐私问题一直未得到有效解决,如何在保护原始数据不被泄露同时,更好地服务于各种城市应用呢?本文将介绍南洋理工大学与SAP联合在IJCAI 2018上发表的论文《A Non-Parametric Generative Model for Human Trajectories》,文章通过真实轨迹学习城市人群的出行分布来生成轨迹,生成轨迹可以代替包含用户隐私信息的真实轨

2020-12-23 23:11:10 314

原创 JUST技术:从空间关系到空间连接,JUST提升信息挖掘意义

现实世界中存在大量的与空间相关的数据,如停车场位置、河流、轨迹等。这些空间数据之间存在很多空间关系,如相离、相交、包含等。在实际工作中,这些空间数据经常会使用空间连接操作把两个空间数据集通过空间关系连接起来。如根据两个数据集行政区域和poi,统计出每一个行政区中包含的poi类别为加油站的数量。本次技术分享将空间数据中常用的空间关系和空间连接算法。首先将介绍空间数据的基本概念,再详细介绍OGC标准定义的比较两个几何图形关系的方法,并通过实例展示在空间关系基础上空间维度信息的统计和挖掘;其次将数据从两.

2020-12-14 20:55:18 655

原创 JUST技术:当我停留时我在干什么

随着定位技术的不断普及,嵌入在手机和PDA设备内的GPS、北斗等位置传感器周期性地记录移动对象的位置,从而产生了海量的轨迹数据。用户为分享行程可能主动记录自己的轨迹,物流派送车、出租车、共享私家车等由于运营监管的需要可能被动地记录轨迹位置信息。这些轨迹数据背后的想象空间极大。利用轨迹数据,我们可以用来估计全城的车流量、通行时间、补全现有地图等等。而为实现这些应用,我们通常会对轨迹数据进行预处理,剔除掉一些时间连续且空间上非常临近的点(下文简称驻留点),因为驻留点会影响上述应用的精确度。然而,这.

2020-12-08 10:49:14 229

原创 JUST技术:分布式时序相似查询初探

时序数据,即随时间变化的数据,在人们的日常生活中无处不在。过去的近十年来,随着电子监控和智能穿戴等设备的普及,更是产生了海量的时序数据。例如,经过多年的发展,火力发电行业的数字化程度已经达到了很高的水平,以一台60万千瓦的中型火电机组为例,其内置的上万个传感器,每秒可产生数万条实时监控数据。其中,时序相似查询,即查询出与给定序列q最相似的k个序列,可用于推荐、聚类和异常检测等上层应用。在小规模数据下,时序相似查询是没有问题的,只要将给定序列q与数据库中所有数据进行两两相似性计算后取Top-k即可。.

2020-12-02 11:21:21 182

原创 JUST技术:基于深度学习Seq2Seq框架的技术总结

随着互联网经济的普及定位技术的快速发展,人们在日常生活中产生了大量的轨迹数据,例如出租车的GPS数据、快递配送员PDA产生的轨迹数据等。轨迹数据是一种典型的时空数据(Spatial-Temporal Data),是按照时间顺序索引且空间变化的一系列数据点。在时空数据的数据挖掘中,我们也会大量借鉴在自然语言处理等时序数据中发展很成熟的技术。本次分享为您带来的是Seq2Seq(Sequence to Sequence)模型的技术总结。本次技术分享会着重介绍三个里程碑式的方法,Sequence to Sequen

2020-12-02 11:07:58 207

原创 JUST技术:JUST高效时空索引揭秘及使用指南

一、问题背景城市中超过80%的数据都与时空有关,如加油站点、出租车轨迹、交通路况等。这些数据多为半结构化和非结构化数据,并且需要管理的数据量巨大。传统的时空数据库管理海量数据时会出现性能严重下降的情况,如带有PostGIS插件的PostgresSQL。HBase等具有高可扩展性的分布式数据库又不能直接管理时空数据。为此,GeoMesa提供了大量的时空索引工具管理时空数据。但是,它支持的时空类型不够全面,并且在有些场景下它提供的索引效率很低。因此, 我们在GeoMesa的基础上研发了JUST引擎。我们提出

2020-11-18 13:34:37 895

原创 JUST技术:基于轨迹数据的人口流向分析技术

一、问题背景随着社会的发展、交通方式的高度便利,人口流动的规模越来越庞大,与此同时,人口迁移、人口流向分析等受到高度关注。人口迁移是一种地理现象,更与社会经济发展紧密相连。人口迁移会同时影响迁入地和迁出地的人口结构,进而影响自然环境,推动或抑制社会经济的发展。另一方面,一个地区的经济发展水平,生活环境等因素会推动人口的迁入或迁出。所以,人口迁移空间分布和时空动态演进的相关研究变得越来越重要。对人口迁移因素、迁移空间变动的研究都将为城市建设,经济结构调整等提供政策决策依据。尤其在新冠肺炎疫情这类重大突发公

2020-11-09 20:14:50 376

原创 JUST技术:基于时空孪生神经网络的轨迹识别

轨迹识别问题旨在验证传入的轨迹是否是由所要求的人员产生, 即给定一组单独的人员历史轨迹(例如行人,出租车司机)以及由特定人员生成的一组新轨迹,判定两组轨迹是否由同一个人员生成。这个问题在许多实际应用中都很重要,例如出租车驾驶人员身份认证、汽车保险公司风险分析以及危险驾驶识别等。轨迹识别的现有工作除了需要轨迹数据之外,还需要其他来源的数据,如传感器、摄像头等,但这些数据无法普遍获得且成本较高。此外,目前的工作只能局限于已有的人员身份识别,无法扩展至未经训练的人员。为了应对这些挑战,在这项工作中,我们首次尝试通

2020-10-28 09:19:11 384

ueditor for bos

百度富文本编辑器ueditor上传文件到对象存储BOS中,具体使用方法见http://blog.csdn.net/kangrydotnet/article/details/49331713

2015-10-22

jquery.gantt,js甘特图

JQuery.Gantt是一个开源的基于JQuery库的用于实现甘特图效果的可扩展功能的JS组件库。它既可以图形化行程安排,也可以展示数据分布。使用方法:http://blog.csdn.net/kangrydotnet/article/details/42265539

2014-12-30

Json格式浏览器

json格式规范的显示,呈树状显示出来,一目了然。

2014-10-22

PDF解密工具

PDF解密工具,让加密的PDF能够编写,打印。本人亲测,能够用。

2014-10-22

c#汉字转拼音dll

1、下载dll文件,加入项目引用 2、引入命名空间: using NPinyin; 3、方法: Pinyin.GetPinyin("中文"); 其他方法自己试试便知道哒 对应博文:http://www.kangry.net/blog/?type=article&article_id=57

2014-09-21

zend safeguard 加密php 破解版

下载后,其接下来的步骤如下: 1、安装ZendSafeGuard-Evaluation-3.6.0-Windows-i386.exe 2、将ZendOptimizer-3.3.3文件夹直接拷贝到php的ext 文件夹下面 3、修改php.ini 加上: [Zend] zend_extension_ts = "D:\softBox\AppServ\php5\ext\ZendOptimizer-3.3.3\ZendExtensionManager.dll" ;根据实际路径修改 zend_extension_manager.optimizer_ts="D:\softBox\ZendOptimizer-3.3.0\lib\Optimizer-3.3.0" ;根据实际路径修改 详细使用方法见博客:http://blog.csdn.net/kangrydotnet/article/details/21121877

2014-03-12

ueditor上传到bcs中

近期在做一个个人博客,用到了百度的富文本编辑器ueditor。博客是架在了bae中的。在测试的时候发现,上传的图片有时候不会或者是间接性地不会显现出来,特别诡异的是,我用ie内核的浏览器(比如360、ie、搜狗等)访问时与chrome和ff访问的结果不一样,即:有些图片在ie内核浏览器能够显示出来,在chrome或者ff中不能显示,反过来,有些图片能够在chrome或者ff中显示,但是在ie内核浏览器中不能显示。纠结于此,修改ueditor源代码,弄了一天,终于搞定了。本人拟详细记录如何实现通过ueditor上传文件到bcs中的步骤,所用到的ueditor是当前最新的版本:ueditor1_3_5,编程语言是php,搭建在百度开放云平台2.0中。

2014-01-05

mysql-connector for C/C++

截止资源上传时间最新的mysql connector,里面包含了c/c++ for linux 32bit or 64bit、c/c++ for windows 32bit的mysql connector

2013-10-24

coreseek4.1 支持多音字拼音索引第三版

Coreseek 是一款中文全文检索/搜索软件,以GPLv2许可协议开源发布,基于Sphinx研发并独立发布,专攻中文搜索和信息处理领域,适用于行业/垂直搜索、论坛/站内搜索、数据库搜索、文档/文献检索、信息检索、数据挖掘等应用场景。我们不仅可以免费下载使用,也可以对其提供的源代码进行修改,使其更符合我们的搜索要求。 本人在此基础上加上了拼音索引。具体使用方法见我的博客。http://blog.csdn.net/kangrydotnet/article/details/10829291。此为win64编译程序(3版)。

2013-09-19

coreseek4.1 支持多音字拼音索引 win64

Coreseek 是一款中文全文检索/搜索软件,以GPLv2许可协议开源发布,基于Sphinx研发并独立发布,专攻中文搜索和信息处理领域,适用于行业/垂直搜索、论坛/站内搜索、数据库搜索、文档/文献检索、信息检索、数据挖掘等应用场景。我们不仅可以免费下载使用,也可以对其提供的源代码进行修改,使其更符合我们的搜索要求。 本人在此基础上加上了拼音索引。具体使用方法见我的博客。http://blog.csdn.net/kangrydotnet/article/details/10829291。此为win64编译程序(2版,支持utf-8多音字,解决了一个内存泄露的bug)。win32(1版)下载地址:http://download.csdn.net/detail/wangshaner1/6192947

2013-09-03

coreseek4.1 支持拼音索引 win32

Coreseek 是一款中文全文检索/搜索软件,以GPLv2许可协议开源发布,基于Sphinx研发并独立发布,专攻中文搜索和信息处理领域,适用于行业/垂直搜索、论坛/站内搜索、数据库搜索、文档/文献检索、信息检索、数据挖掘等应用场景。我们不仅可以免费下载使用,也可以对其提供的源代码进行修改,使其更符合我们的搜索要求。 本人在此基础上加上了拼音索引。具体使用方法见我的博客。http://blog.csdn.net/kangrydotnet/article/details/10829291。此为win32编译程序。

2013-09-01

武汉大学计算机学院编译原理历年试卷

武汉大学 编译原理 计算机学院 试卷 武大

2012-01-04

武汉大学计算机学院历年考试试卷

武汉大学计算机学院历年考试试卷

2012-01-04

武汉大学计算机学院算法课件

这是武汉大学计算机学院算法课件。全英文的。请注意啊。上课老师也是用英文的ppt

2012-01-04

opengl 迷宫 交互

opengl 迷宫 交互

2011-12-27

opengl雪花koch

opengl雪花kochopengl雪花koch

2011-12-26

基于opengl mfc 的地球程序

基于opengl mfc 的地球程序基于opengl mfc 的地球程序

2011-12-26

[PHP.手册.官方中文版].php_manual_zh

刚刚下了一个别人的手册,发现自己被骗了,这个是我花了好久才找到的。里面的只是很全,还对各种函数分了类。相信你值得拥有。

2011-11-19

QQwry纯真数据库

可以根据IP查询到IP物理地址。其编码是gb2312,编写网站时如果出现乱码,可以先进行编码转换。

2011-08-27

java模拟腾讯qq,实现其基本功能-源码

这是一个模拟腾讯qq的java软件。大家可以参考一下。目前是1.0版,如果有什么问题请联系作者。

2011-06-12

java通信参考程序

这是一个java通信的实验程序。我们的java上机实验就要求我们做的。大家可以参考一下

2011-05-14

java通信程序参考

这是我们的一个作业。主要是通过socket来实现两个文件的通信。

2011-05-14

汇编语言编辑器 适于初学者

个人认为还不错,分享一下。一款功能使用的汇编编辑器

2011-04-18

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除