三次聚合、四种算法助力数据治理和数据建模实战

原文链接：点击打开链接

摘要： 半云科技的联合传世人/CTO陈卫强在2017年12月7日云栖大会苏州峰会上做了题为《城市大脑——数据治理与数据建模实战》的主题演讲。半云科技是一家数据智能公司，目前在做城市大脑领域。其中关于“公交线路优化、城市大脑、公共安全、企业全景洞察”等项目都是首次对外详细剖析，具有借鉴意义。

半云科技的联合传世人/CTO陈卫强在2017年12月7日云栖大会苏州峰会上做了题为《城市大脑——数据治理与数据建模实战》的主题演讲。半云科技是一家数据智能公司，目前在做城市大脑领域。其中关于“公交线路优化、城市大脑、公共安全、企业全景洞察”等项目都是首次对外详细剖析，具有借鉴意义。
以下是视频精彩内容整理：

半云科技是一家专注于做数据智能和城市大脑的探索者公司，并在今年四月份与阿里云组成混合团队建设苏州市的城市数据大脑。

什么是城市数据大脑？

城市数据大脑是从城市管理者的高度，认为数据资源比国土资源更加重要，以解决城市管理和社会治理主要问题为导向，驱动政府相关部门建立数据资源汇聚、共享和应用机制，解决信息孤岛的老大难问题，打通数据通道，建立大数据平台，采用人工智能技术，实现城市态势从微观到宏观的实时感知和动态监测能力，初步形成对整个城市全方面、多维度、纵景深的认知能力和治理能力。
城市大脑数据治理理念：
（1） 以数据资源优化城市公共资源。以城市数据为资源，提升政府管理能力，解决城市治理突出问题，实现城市治理智能化、集约化、人性化。
（2） 利用数据推动城市治理模式提升。更精准地随时随地服务企业和个人，城市的公共服务更加高效，公共资源更加节约。
（3） 通过数据开放，推动城市产业发展。开方的城市数据资源是重要的基础资源，对产业发展发挥催生带动作用，促进传统产业转型升级。
城市大脑的目的就是最终帮助城市实现全网数据实时汇聚，让数据真正成为资源，并且保障数据安全，提升数据质量，对数据进行调度，实现数据价值。

公司在城市大脑上的发展情况

公司汇聚了市公安局、市交通运输局、市容市政、市旅游局、轨交中心等五大部门，电信、联通、移动等三大运营商以及高德地图、腾讯地图、百度地图、139出行等互联网的数据，这包括79种数据源、2600个数据项还有1000亿条原始数据。这79个数据源的数据包括1000亿条结构化数据，2.5T非结构化数据。为了处理这个海量数据，公司制定了相应的数据规范及标准，并利用了50+算法基础指标来进行数据处理。
处理数据的过程主要包括四个阶段：
（1） 把云上的单位资源（包括政府管理数据、政府交通公共服务数据、运营商数据、互联网数据等）进行数据汇聚，与汇聚层进行交换。
（2） 汇聚层对数据做清洗，将数据按视频、公交、出租车、基站服务、互联网地图等类型进行分类，然后整合到基础主题层。
（3） 基础主题层将所有数据转换成四大类：路（包括路口、信号灯、电子警察等），车（包括货车、私家车、出租车、电动车、公交车等），人（包括驾驶员和行人），事件（包括应急、事故、拥堵等），并对数据进行建模，然后整合到数据集市层。
（4） 数据集市层根据模型来进行路况分析、堵点分析、路口分析、区域分析、公交分析、车辆分析等。

从数据源的采集到最终在数据集市层进行分析的过程中，做了三次聚合。第一次的数据聚合是在部门数据层到基础中间层之间。第二次的聚合基础中间层和应用层之间。第三次数据聚合是在应用中间层和数据集市层之间。这三次聚合，实现了对数据的清洗、转换和整合，去除了杂质数据，对数据进行了分类整理，更有助于建模和分析。
在数据融合算法中应用了四种算法，分别是多元融合OD分析算法、公交专用道运行评估算法、商业中心客流预算算法以及公交优化算法。在苏州，公司可以拿到运营商的数据，利用多元融合OD分析算法，做了苏州市的公交专用道评估。这个算法能使数据很好的反映真实公交道路情况。
数据优化分析的案例——公交线路优化

首先根据运营商数据、公交刷卡数据、公交车GPS数据、公交排班数据、卡车过口数据，高德数据、出租车GPS数据等数据来进行客流需求分析，包括跨区客流总需求和跨区客流走廊分析。其次根据公交运力、运营速度、步行后撤时间来进行公交运营分析，关注公交线路沿线客流的需求，包括客流分担率 、线路运营速度、满载率分析、站点步行时间等。分析结果可以得到人群出行时间分布、公交出行分担率、公交驾车出行时间对比、公交能力与人群OD匹配度等。利用得到的线路走向与客流需求匹配度以及公交排班与客流需求匹配度，可以得出公交优化方案，比如公交线路优化方案（新增线路、调整已有线路）、公交排班及调度优化方案、公交信号有限和专用道管理方案等。
利用数据分析和数据建模，能进行数据总览，态势感知，公交优化，人流预测等。

在城市大脑中的实践成果

实践一：城市大脑

通过视频、高德、WIFI探针、运营商等数据对人群密集区域进行有效的感知监控，检测所需要的运力。根据出行提供调整和规划公交车班次，接驳车路线，出租车调度指挥，将重点场馆与重要交通枢纽的滞留率降到最低。
目前苏州利用城市大脑，实现了城市的公交优化，降低了人群滞留率，公共出行利用率提供，各公交试点的客流量增加了10%~17%。
实践二：公共安全
通过对全局进行防空，对重点区域进行包围，充分利用互联网数据、公安海量数据、人车立淘分析、安保实战模型，实现实时全局数据分析和研判，有效调配和优化警力、警情、装备。实现安保态势检测、预警与管控。
城市大脑在公共安全领域的优势有四点：
（1） 即时在线。从原理时候数据报表到实时数据改变出警方式；数据由事后研判到事前在线警情感知；利用钉钉考勤系统，即时知道警务出警。
（2） 全量分析。打通数据孤岛，充分利用视觉。嗅觉、味觉、听觉等各类感知数据，打造全量人员画像。
（3） 全网融合。实现公安网、互联网、视频数据融合，构建安保态势检测预警系统，警务能力从事后处理走向预测、预警、预防。
（4） 全视频追踪。充分挖掘视频数据价值，让机器智能提升警务效能；围绕“核心区管人、核心区外管车”的指导思路，实时追踪人员车辆。
实践三：企业全景洞察
在这个实例中，从宏观和微观两个角度，对数据进行筛选、评估、查找和推理，得到企业概览和企业图谱。实现了工业园区内的全景概览（包括全景分析、区域经济趋势，企业变化趋势、经典企业监控、就业人员异动）、全景透视（通用标签、正向标签、负向标签、经营标签、财务标签）、企业画像（综合评估、英雄榜、明星企业榜、问题企业榜、潜力企业榜）。

以上由云栖社区小组younger123整理，毛鹤校审，郭雪梅编辑。