【CSDN现场报道】12月7-9日,由中国计算机学会主办,CCF 大数据专家委员会承办,中国科学院计算技术研究所、中科天玑数据科技股份有限公司、CSDN协办的2017中国大数据技术大会(BDTC 2017),在北京新云南皇冠假日酒店隆重举行。本次大会以“大数据与智能为主题,聚焦最纯粹的技术干货分享,和最接地气的深度行业案例实践,汇聚国内外顶尖技术专家,共论最新的大数据技术实践与发展趋势。
CCF大数据专家委员会副秘书长 潘柱廷
继7日公布TOP10评选结果正式对外发布后,8日下午,CCF大数据专家委员会副秘书长潘柱廷主持了“TOP10大数据应用最佳案例实践”分论坛的上半场环节。
数赢未来,中兴通讯大数据产业应用实践
中兴通讯股份有限公司首席架构师 罗圣美
目前,城市信息化发展面临了巨大挑战:
- 缺乏互联互通:业务系统是由各委办局分散建设、管理、运维的垂直系统,多重壁垒导致已有数据无法共享
- 缺少价值发掘:未实现数据到知识的转变,业务决策支撑智能不足
- 缺少决策依据:缺少大数据的支撑,不能为城市管理者提供数据资源与决策依据
中兴通讯股份有限公司首席架构师罗圣美,率先分享了《数赢未来,中兴通讯大数据产业应用实践》的主题报告。他首先介绍了中兴通讯大数据发展战略分析了大数据国家产业政策,并介绍了中兴通讯大数据全球重点市场应用和解决方案架构。通过在金融、电信、智慧城市等行业的典型应用案例,分享了中兴通讯在大数据产业应用方面的实践。据悉,全球范围共有超过200家客户选择了中兴通讯大数据产品,应用领域覆盖通信、智慧城市、公共安全、金融、教育等诸多领域
数据挖掘与机器学习技术在电力领域应用
中国电力科学研究院技术战略研究中心大数据联合攻关项目部工程师 张国宾
中国电力科学研究院技术战略研究中心大数据联合攻关项目部工程师张国宾,进行了《数据挖掘与机器学习技术在电力领域应用》的主题分享。设备重过载运行是引起故障停电的主要原因之一,同时重过载现象通常也伴随着三相不平衡、电压偏移等其他问题,严重影响供电质量。另一方面,设备长时间处于重过载状态会加快元件的非正常损耗,降低设备使用寿命,给电网带故障隐患和运行风险。因此台区重过载治理一直是配网运维检修工作的重要内容。
针对台区一级的重过载预测,目前的研究大多数仍然以配变负荷预测为切入点,包括利用历史负荷数据外推负荷典型变化规律,加入气象条件、经济指标等外部间接因素分析与负荷关联程度,尝试各类机器学习方法构建负荷预测模型,最后基于负荷预测结果对重过载进行判断。
但目前各类负荷预测方法在预测精度上的局限性导致基于负荷预测结果的重过载预测不能适应业务实际情况:
- 对于短期负荷预测,考虑到目前消除重过载的手段以实施周期较长的线路切改和设备改造为主,短期的预测结果不足以提供足够的时间裕度消除重过载隐患;
- 对于中长期负荷预测,考虑到台区负荷的突变性和波动性,负荷预测结果本身不能满足对重过载进行判断的基本精度。
基于以上两点,案例直接从配变重过载状态出发同时响应重过载管理工作的现状需求,提出基于数据挖掘与机器学习的重过载事件预测方法,包括:
- 基于概念聚类的重过载事件分类方法,从重过载发生时段、持续时长、发生相别、负载率水平等多个方面对重过载事件进行细分;
- 基于关联规则挖掘的重过载影响因素分析方法,从设备和用户属性、自然环境、短期负荷特性中挖掘针对各类重过载事件的关联规则;
- 从关联项中提取重过载影响因素并基于深度学习方法建立重过载事件预测模型,对重过载进行周期性预测。
医疗大超人(大数据+超级计算+人工智能)
国家超算长沙中心副主任/教授 彭绍亮
在昨天7日主会keynote主题报告后,8日,国家超算长沙中心副主任/教授彭绍亮在TOP10分论坛又再次进行了《医疗健康大数据驱动下的人工智能医生》的主题分享。演讲分为AI医生体系、分导诊机器人、准确率分析三部分。
医疗大数据的门槛非常高。其中,数据、算法、算力是三个最大的门槛。智超医疗所研发的CDSS系统是结合了“大数据+超级运算+人工智能“技术的计算机辅助诊断系统。大数据与人工智能的介入与应用,不仅能提高临床诊疗效率,还能有效缓解因医疗资源分布不均带来的诊疗体验与效果差异,促进分级诊疗制度建设。系统最大的优势在于,诊断和处方建议都是量化的,可操作性和可验证性强。系统将挂号准确率提升到99%,诊疗准确率提升了10-20%,医生诊疗效率提高了2-10倍,全面超越人工医生和国际国内相关技术和产品。
产品在矢量化算法、神经元算法、贝叶斯算法的基础上,研发了更符合医学逻辑的VQ算法/RBF算法/BP算法。同时推出了算法集成平台,对上述算法的结果做了修正。通过天河超级计算机,将本来需要3-5年的计算工作时间,缩短到1-3小时,甚至秒级目前有三种形态产品:分导诊机器人、分导诊PAD版、分导诊微信版。
滴滴实时计算平台在运营监控方面的应用
滴滴大数据架构部技术研究员 罗李
针对运营监控,滴滴大数据架构部技术研究员罗李分享了《滴滴实时计算平台在运营监控方面的应用》的相关内容。罗李通过实时平台架构体系、实时应用案例、实时平台功能简介详细的介绍了滴滴的大数据架构体系,架构体系如下图:
滴滴通过实时计算集群架构,维护了SparkStreaming和Flink两套流计算引擎,通过Druid实时聚合数据指标,建立独立的实时集群,跟离线分开和任务级的管控/监控报警/日志诊断和流处理作业的恢复功能。
在演讲最后,罗李植入招聘广告,他说:“互联网公司最后一页ppt都是招聘,欢迎大家一起来做事”。想去滴滴的朋友可以去试试。
金融科技在互联网金融风险防范领域的应用
宜信致诚信用技术总经理 胡鹏飞
就分布式系统、社交图谱等技术问题,宜信致诚信用技术总经理胡鹏飞分享了《金融科技在互联网金融风险防范领域的应用》的主题演讲。
随着互联网金融行业规模的不断扩大,借贷需求持续增加,行业整体的风控水平亟待提升,为防范行业系统性风险的集中爆发,推动行业健康发展,致诚信用推出了致诚阿福风控平台,这是专为网贷机构、消费信贷、小额信贷、银行信用卡中心等提供身份识别、反欺诈、信用评估等服务的一站式智能风控云平台。
胡鹏飞介绍了致诚信用旗下的致诚阿福风控云平台。致诚阿福以共享为核心,基于宜信强金融属性数据及先进风控经验、自身大数据分析能力及评分建模能力,采用分布式服务化系统架构,帮助信贷机构防范贷前调查、贷中授信和贷后管理中因信息不对称所带来的潜在风险。
平台最大化地将金融科技与业务融合,以知识图谱为底层架构建立反欺诈的风控体系,创新性地研发了福网。福网以经过校验核实的千万级宜信多条业务线的风险数据、超过亿级的社交数据以及其他数据为基础进行整合,在提升数据纯度的基础上有效释放数据价值,通过自然语言处理、机器学习、聚类算法等方法构建模型,创建多维度数据画像。通过量化评分、风险分级,对风险实现最优排序性和区分度,准确识别用户欺诈可能性并为机构反馈精准且区隔度高的风险信息。
中国科学院计算技术研究所副研究员、博士查礼,主持了下半场的“TOP10大数据应用最佳案例实践”分论坛的下半场环节。
阿里商品知识图谱-智能消费导购与商品管控背后的“商品大脑”
阿里巴巴产品专家 施喆琦
在下半场,阿里巴巴产品专家施喆琦率先分享了《阿里商品知识图谱-智能消费导购与商品管控背后的“商品大脑”》的话题。施喆琦具有丰富的大数据从业经验,现负责阿里商品知识图谱产品设计,曾从事电信、银联的数据产品工作。演讲中,施喆琦介绍阿里三万亿背后的“商品大脑”——阿里商品知识图谱的构建与应用。
“大脑”的一个应用场景就是导购。而所谓导购,就是让消费者更容易找到他想要的东西,比如说买家输入“我需要一件漂亮的真丝丝巾”, “商品大脑”会通过语法词法分析来提取语义要点 “一”、“漂亮”、“真丝”、“丝巾”这些关键词,从而帮买家搜索到合适的商品。在导购中为让发现更简单,“商品大脑”还学习了大量的行业规范与国家标准,比如说全棉、低糖、低嘌呤等。
此外,它还有与时俱进的优点。“商品大脑”可以从公共媒体、专业社区的信息中识别出近期热词,跟踪热点词的变化,由运营确认是否成为热点词,这也是为什么买家在输入斩男色、禁忌之吻、流苏风等热词后,出现了自己想要的商品。最后,智能的“商品大脑” 还能通过实时学习构建出场景。比如输入“海边玩买什么”,结果中就会出现泳衣、游泳圈、防晒霜、沙滩裙等商品。
“让发现变简单、让判断更智能”,通过阿里的知识图谱,人们的消费购物将变得更加简单。
工业互联网
东方国信市场总监 王立忠
全球范围内新一轮科技革命和产业变革蓬勃兴起。工业互联网作为新一代信息技术与制造业深度融合的产物,日益成为新工业革命的关键支撑和深化“互联网+先进制造业”的重要基石。作为工业互联网专家,并拥有工业领域20+年的信息化咨询及应用经验的东方国信市场总监王立忠,针对《工业互联网》领域分享了东方国信的工业互联网平台和应用,这也是TOP10获奖企业中唯一一家针对工业大数据的主题演讲。
东方国信不断卡位大数据优势行业,持续深化“大数据+行业”的战略布局,已经成功服务于通信、金融、城市大数据、智慧旅游、精准医疗、公共安全、保险、新闻媒体、工业、农业等十大领域,奠定了更为坚实的行业基础。凭借自主可控大数据技术,为具有海量数据的国内外客户提供大数据规模化处理。
最后,王立忠讲解了工业锅炉、空压机远程运维、园区环境安全信息化平台、安全生产监测预报警平台、政府工业大数据监测预警等多个东方国信的案例应用。
互联网数字营销广告数据管理平台应用
精硕科技技术副总裁兼总架构师 刘喆
精硕科技技术副总裁兼总架构师刘喆分享了《互联网数字营销广告数据管理平台应用》的内容,演讲针对高并发、高扩展、易监控、自动化、智能化、混合异构、数字营销应用等方面,阐述了精硕科技的方案思路。
由于数据源是有广告数据、文本数据、数据库数据、视频和图片数据等,每个用户对系统的响应速度要求也不一样,所以AdMaster开发了一个混合异构大数据平台项目,深度整合了多个开源大数据平台,并融入了AdMaster自己的技术基因,真正把开源技术活学活用,一方面解决了公司自己的问题,提升了数据管理效率;另一方面回馈开源,为大数据的综合应用方案提供了可行的案例。案例创新点如下:
- 自主研发的高并发数据收集服务,单机每秒1.2w次以上;
- 按业务不同,自动调度优先级,智能调配资源;
- 页面仿真录屏,分析最真实的广告;
- 为数据科学家提供交互式数据分析平台R/SQL/Spark;
- 实时和稳定的消息收发平台, 全国30多机房,数据汇总延迟不超过3分钟
作为广告监测领域的TOP10代表,他们的方案在广告监测、舆情分析、人群画像的成果在广告行业大数据应用中有很突出的示范意义。
研究垃圾短信大数据自动识别的新方法
中移(苏州)软件技术有限公司 大数据产品部算法工程师 杨希
垃圾短信是困扰我们每个人的问题,大家对这个话题的关注度可见一斑。作为TOP10获奖企业之一的中移(苏州)软件技术有限公司,其大数据产品部算法工程师杨希分享了《研究垃圾短信大数据自动识别的新方法》的演讲。
经与业界领先互联网公司算法进行测试比对,其研发算法查全率与其基本持平,但识别准确率(99.8%)远高于对方(93.7%),处于领先水平。由实际生产需求驱动创新研发,并最终实现了研发成果的应用落地,并用机器识别替代传统治理模式。根据统计数据可知,目前月均可减少不法分子发送的垃圾短信约8500万条,有效的保障了广大用户的通信权益,创造了巨大的社会效益。
该案例中应用的技术水平已处于国际先进、国内领先地位。为我国自动化识别技术在垃圾短信治理中应用,创新探索出了一条切实可行的道路。
大数据助力传统供应链降本增效
杭州览众数据科技有限公司副总经理 金亮亮
近年来,供应链管理在企业发展中占据着越来越重要的战略地位,成为企业“第三利润的源泉”。对于很多物流不是核心业务的企业来说,供应链既是主要成本的产生点,又是降低成本的关注点。针对供应链领域的发展需求,杭州览众数据科技有限公司副总经理金亮亮分享了《大数据助力传统供应链降本增效》的主题演讲。
览众数据智能决策引擎云平台软件主要包括销售预测、智能要货、智能采购、智能分类四大产品,可以针对不同行业,提取典型的决策场景进行分析,为企业提供SaaS服务,针对零售业和制造业所提供的数据进行分析,可以打通上下游环节,实现企业数据资本化,企业之间合作最大化。
整个系统包含两个方面的层次关系,一个是软件的画面表现层,体现在网页浏览器中,是用户最终能看到的部分;另一个是逻辑层,包含整个软件的运行时逻辑以及计算、绘图。
在公司供应链智能决策引擎的帮助下,浙江的一鸣食品总体销售额同比增加10%,库存成比例降低30%,客户满意度提升5%。
活动最后,中国科学院计算技术研究所副研究员、博士查礼总结的活动意义。目睹了大数据长达十年的发展,其技术已趋向成熟,通过实际应用效果选出的这10家不同行业案例,为整个大数据企业树立起行业标杆。他期望,未来将有更多优秀的行业案例涌现出来,从而推动大数据技术落地到我国的各行各业。
更多精彩内容,请关注直播专题2017中国大数据技术大会(BDTC),
新浪微博@CSDN,
观看大会图文直播,请扫描二维码关注CSDN资讯微信公众号。