“该项目案例由中诚信征信提交申报,参与数据猿推出的《寻找新冠战“疫”,中国数据智能产业先锋力量》的公益主题策划活动。
大数据产业创新服务媒体
——聚焦数据 · 改变商业
新年伊始,一场突如其来的新冠病毒肺炎“抗疫战”拉开了序幕。万众一心,众志成城,如何打赢这场没有硝烟的阻击战,成为举国上下最刻不容缓的事。
自新型肺炎疫情爆发以来,新型冠状病毒导致的肺炎疫情牵动着所有中诚信人的心。作为一家投资湖北、深耕湖北的企业,中诚信集团对疫区遭受的困难感同身受。中诚信集团积极筹措医用物资驰援湖北疫区,全力抗击疫情。作为集体一份子,中诚信征信积极贯彻实施国家疫情防控政策,响应集团号召,在配合好复工防疫检查的同时,率先在业内推出《2019-nCoV疫情研究报告》从数据分布上观察和验证数据的合理性,全面分析了疫情扩散现状。
同时,作为国内领先的信用科技服务机构,中诚信征信也一直在思考如何在这个非常时期,特别是在互联网、人工智能、大数据等科技手段高速发展的今天,如何更好、更迅速的打赢这场防疫战,方便大家了解疫情实时动态,做好安全防护。发挥企业自身优势,充分运用大数据、科技的力量,在举国同心抗击疫情的关键时刻尽一份企业的社会责任。
项目起止时间
2020年2月7日开发,2月12日上线。
应用场景
新冠肺炎全国疫情场所实时查询平台(NCPS),由中诚信征信智能风控部独立研发,利用“大数据+AI”技术手段,收集汇总来源于全国各地卫健委发布的新冠肺炎确诊患者的行动轨迹、旅居史等,最终形成“列表+地图”双模式的可视化疫情感染场所实时查询平台,服务于全国(含港澳台)居民。
用户可以通过平台直观地查询确诊患者曾逗留场所,随时随地获取疫情感染场所与用户之间的距离、疫情感染场所逗留过的确诊人次、最后逗留时间、原始来源链接等,为广大居民精准防”疫”提供参考。
帮助全国居民出行时高效规避、远离疫情披露场所进而避免感染,充分解决用户获取信息渠道分散、获取不及时、需去多个平台查询较为繁琐等问题。
通过技术手段帮助用户实时计算自身与疫情场所的距离,以可视化方式呈现疫情场所信息与风险,解决实用性、易用性、好用性的问题。
中诚信征信坚持倡导“信用科技”、“科技向善”理念,尤其在这样的特殊关键时期,以公司具备的产品和技术能力,为社会贡献一份公益力量。
面临挑战
疫情感染场所实时查询平台从立项到4个版本的发布上线,仅用了不到一个月的时间,我们经过不懈努力保证完成质量的同时,也面临如下挑战:
开发环境的艰难
疫情感染场所实时查询平台开发期正处于疫情爆发期间,整过团队从头脑风暴、立项、开发、测试及上线整过阶段都是在家办公,沟通交流变的困难,开发人员开发环境的不熟悉及各个团队的配合工作也面临巨大的挑战。
数据采集难度大
疫情感染场所实时查询平台数据通过人工采集+上报数据+网络数据智能采集的方式收集。为了保证数据的准确及完善,我们需要对各种来源的大量数据进行数据分析、加工、挑选和去重,在短时间内要完成整套设计开发工作难度不言而喻。
产品的合理设计
为了区别于市场同期出现的其它产品,除了数据精确和完善外,在产品的设计上要做到自己的特色,预期计划功能如下:
1)疫情场所列表展示(场所卡片、场所跳转地图)
2)疫情场所地图展示(按与我距离、按逗留人次)
3)按省、市、区选择
4)按时间、标签筛选
5)全国疫情数据+选择城市疫情数据展示
6)自主输入定位
7)提供线索、场所纠错、分享提示
8)新增场所NEW标识提示
9)覆盖场所数、浏览人次数、数据更新时间展示
10)疫情场所数据及疫情汇总数据说明
实施过程
疫情感染场所实时查询平台(ncps)的技术架构设计采用微服务、大数据分析、AI语义识别等技术,采用松耦合的方式,整体可划分为客户层、应用层、数据处理层、基础层、数据存储层6层结构,前端可视化采用vue、高德地图开放平台提供的相关技术,实现了毫秒级响应、可高并发访问、数据精确的预期设计。
ncps系统架构图
客户层:包括疫情感染场所实时查询平台(ncps)在客户端访问的h5浏览器设备、引流方系统集成环境及第三方api调用客户端。
应用层:gateway作为疫情感染场所实时查询平台(ncps)的最外层级,它提供了最基本的路由功能,作为所有api访问的入口,同时也提供了请求的安全检测、参数校验及灰度发布等功能;ncps平台数据采集服务,包含人工数据录入平台、数据上报服务及网络数据采集平台三种采集方式的服务模式;ncps应用服务作为h5统浏览器请求、引流方请求及第三方api请求的核心api输出服务。
数据处理层:对应用层三种采集方式采集的数据进行提取分析、转换去重等处理,最终存储到数据层中,供ncps应用服务使用。
基础层:作为ncps微服务系统的基础层级,包含Hadoop集群环境、实时消息服务、系统安全稳定的监控服务及微服务的配置中心等。
数据层:ncps平台中的采集原始数据、核心分析结果数据、系统配置数据、用户访问数据、缓存数据、为其它系统提供的疫情图数据等数据的存储层级。数据库采用了mysql、redis、hbase、hdfs文件存储、noe4j等。
(一)数据采集
疫情感染场所实时查询平台(ncps)采取了三种数据采集方式,其中以公司内部人工采集为主,采集团队每天将相关疫情数据通过后台管理系统录入。考虑到疫情数据采集的工作量及可能出现的数据遗漏,平台也采用了用户填报及网络数据采集的方式,尽可能将数据完善。
其中,用户在使用疫情感染场所实时查询平台时,可通过平台提供的“提供线索”这个功能,将遗漏的信息提交给后端。另外,平台也定时对全国各地卫健委提供的网站或者微信小程序进行数据抓取,将关键数据存储到数据库中。
ncps人工采集录入平台
ncps h5端用户上报界面
(二)数据分析
平台通过cetl组件,将三种方式采集的数据进行数据抽取、数据分析、转换去重、加载等操作,具体流程如下:
ncps h5数据处理流程
数据抽取:通过数据抽取处理器,分别将存储于不同数据库的人工采集数据、上报数据及网络采集数据抽取到数据存储容器中,等待进行数据分析。
数据提取分析:从数据存储容器中获取到不同类型数据,对于上报数据和网络采取数据,需要进行数据校验和NER数据分析,NER数据分析主要提取符合疫情信息的字段,如患者逗留场所、逗留时间、地址等信息,将其结构化,对于人工采集的结构化数据仅做数据校验处理,最终将符合条件的数据进行筛选并存放回数据存储容器,等待下一步处理。
数据转换去重:从数据存储容器中获取已经进行过检测和筛选的数据,对每条数据地址进行坐标转换及地址规范化等操作,最后对所有数据进行去重处理,处理后的数据再次存储到cetl数据存储容器。
数据加载:从数据存储容器获取已处理好的数据,通过数据加载处理器存储到核心数据库中,已提供给ncps应用服务使用。
(三)系统应用特点
通过完整的数据采集和处理过程,我们将得到的数据进行不同纬度的应用,整过系统可归纳为如下特点:
一)覆盖范围广。平台覆盖全国全量疫情场所,包括确诊病例的旅居史、历史路径、逗留场所等,截至2020年2月20日,平台已覆盖全34个省份、261个地级市、9808个场所地点,并将持续实时更新。
二)场所标签化。非常清晰直观,场所数据不只包括小区,还有村镇、医院、商超、餐厅、酒店、火车站、机场、地铁站、学校、药店、银行等多达15种标签。
三)信息可溯源。平台的所有信息均来自卫健委、疾控机构、权威媒体等发布信息,可实现数据溯源,让用户直接查看了解数据来源和原始链接。
四)“列表+地图”双模式。支持全国范围(含港澳台)地图的实时查询,可以一键查询疫情场所与用户的距离,地图坐标展示信息可切换显示“与我距离”与“逗留人次”,疫情场所还可显示最后逗留时间,帮助广大群众更有针对性地做好防护。
五)“全国+城市”疫情实时数据。提供全国疫情实时统计数据,并自动定位当前城市,展示当前城市的疫情数据,也可切换任意城市,让用户更方便快捷查看自己所关心地区的疫情数据。
六)提供线索和纠错。提供用户充分参与的权利,一方面可以提交我们未发现场所有确诊疫情的线索,经核实后会在平台第一时间发布;另一方面对已有的任意一条数据有疑问或发现错误,均可通过“纠错”功能给予反馈,我们核实后进行修改,以期和用户共同努力打造更加准确、更贴近事实的数据服务。
应用效果
中诚信征信结合各地卫生健康委员会、疾控机构以及权威媒体的公开信息,独立研发上线“新冠肺炎全国疫情场所实时查询平台”,覆盖34省,263市,疫情感染场所9808多家。不仅可以帮助用户出行时尽量远离疫情披露场所进而避免感染,并完美实现了“只隔离病毒但不隔离服务”,有效避免了新冠病毒场所人群聚集。
自上线以来备受关注,与人力窝合作,上线了人力窝疫情实时监测平台,并正式入驻支付宝【城市服务】。截至目前平台PV总量已超1400万,UV总量也近100万,在举国同心抗击疫情的关键时刻尽一份企业的社会责任。
关于中诚信征信
中诚信征信作为国内领先的信用科技服务商,将中诚信集团二十多年的信用风险管理经验与大数据、人工智能、区块链等为代表的金融科技相结合,致力于打造全方位的大数据风控和资产管理解决方案。
中诚信征信作为信用科技行业开拓者,在信用管理、智能风控、管理咨询、社会信用体系建设等领域拥有丰富经验。公司将始终坚守中立、客观、公正的理念,秉持专业、诚信、严谨的操守,做市场认可国内领先的独立第三方信用科技服务机构。
中诚信征信提供服务的核心价值,聚焦于数据价值的挖掘与应用,结合自身多年对信用风险的理解,对于风险的把控,构建特有信用评价体系来进行信用评估,并不断向金融资本和社会信用市场延伸,开创了我国信用服务的智能时代。
点击文末左下角“阅读原文”,还可了解更多关于中诚信征信的近况。
—— / END / ——
职位热招中
资深银行行业BD-华北/华东JD、资深非银行业BD-华东/华南JD、数据分析师JD丨点击“这里”了解详情
大数据架构师、Java架构师丨点击“这里”了解详情
大数据运维支持工程师、大数据研发工程师、SDK研发工程师、数据分析师、销售经理(上海、北京、深圳)、高级数据产品经理、测试开发工程师丨点击“这里”了解详情
均为实习生招募—研发类:数据研发工程师、JAVA工程师、前端工程师丨算法类:机器学习算法工程师丨产品类:数据产品经理丨点击“这里”了解详情
均为市场及品牌岗位:数据品牌管理、数据中台整合营销、数据中台内容运营、数据中台渠道策略运营丨点击“这里”了解详情
社招:JAVA开发工程师丨校招:数据开发工程师、JAVA开发工程师丨点击“这里”了解详情
了解第一波招聘点“这里”
了解第二波招聘点“这里”
了解第三波招聘点“这里”
提示:如贵公司近期有职位发布需求,可发送内容至数据猿寻求友情扩散fabu@datayuan.cn
2019数据猿年度榜单:
数据猿公益策划活动