NLPIR语义挖掘技术助力建设大数据智能城市

　　随着信息技术的高速发展、数据库管理系统的广泛应用，人们积累的数据量急剧增长，大量的信息给人们带来方便的同时，也带来了诸如：信息过量难以消化，信息真假难以辨识，信息安全难以保证，信息形式不一致难以统一处理等问题。如何从海量的数据中提取有用的知识成为当务之急。数据挖掘就是为顺应这种需要应运而生发展起来的数据处理技术。
　　数据挖掘作为近年来新兴的一门计算机边缘学科，其在国内外引起了越来越多的关注。并且随着数据挖掘技术的不断改进和数据挖掘工具的不断完善，数据挖掘必将在各行各业中得到广泛的应用。数据挖掘从大量的数据中通过算法搜索隐藏于其中信息的过程。这项以数据库技术、统计分析、人工智能等为依托的综合性运用技术的出现有其必然性和可行性。首先，信息社会的到来对数据的筛选和利用提出了更高的要求，而少量数据的出现又使得基于传统数据处理方法的人们面对大量数据无从下手，此时必然要求有更为先进的数据处理技术;其次，计算机性价比的提升和磁盘存储器价格的大幅度降低，使得人们借助计算机来完成数据的分析和处理成为可能。
　　  城市是生存繁衍最好的地方、是社会交往的地方、是文化享受的地方，按照城市的职能，我们让它智能化，比如智慧安防、智慧环保、智慧能源、智慧城管、智慧养老、智慧国土规划、智慧交通等都是让人有更好的环境来生存繁衍。在经济发展方面，可以推动智慧制造、工业互联网、物联网。在文化享受方面，可以考虑智慧户外流媒体、智慧教育、智慧旅游等等。其中，数字城市技术把基础地理数据、正射影像、街景影像数据、全景影像数据、三维模型数据结合在一起，这产生了大量的地图数据，而在智慧城市的建设和应用中，将产生从TB到PB级越来越多的数据，从而进入大数据时代。而对于这些大数据来说，传统的数据分析工作已经不适合对现有数据进行合理的分析，导致了一种“数据爆炸但知识贫乏”的现象。目前在智慧城市中的各种应用如智慧交通，智慧国土等应用中的数据库系统主要局限于实现数据的录入、查询、统计等功能，但无法有效地发现数据中存在的关系和规则，很难把握数据背后隐藏的知识，无法根据现有的数据预测未来的趋势。这在一定程度上阻碍了智慧城市的应用与普及。而数据挖掘技术恰恰是解决这一难题的最佳方法。应用数据挖掘技术，可以从GIS数据库中发现更多的地理知识和地理规律、对专题数据进行有效、合理的分析，从而达到城市的智能运行、政府的科学决策、公众的便捷生活及企业的高效运营。
　　北京理工大学大数据搜索与挖掘实验室张华平主任研发的NLPIR大数据语义智能分析技术是满足大数据挖掘对语法、词法和语义的综合应用。NLPIR大数据语义智能分析平台是根据中文数据挖掘的综合需求,融合了网络精准采集、自然语言理解、文本挖掘和语义搜索的研究成果,并针对互联网内容处理的全技术链条的共享开发平台。
　　NLPIR大数据语义智能分析平台主要有精准采集、文档转化、新词发现、批量分词、语言统计、文本聚类、文本分类、摘要实体、智能过滤、情感分析、文档去重、全文检索、编码转换等十余项功能模块，平台提供了客户端工具，云服务与二次开发接口等多种产品使用形式。各个中间件API可以无缝地融合到客户的各类复杂应用系统之中，可兼容Windows，Linux， Android，Maemo5, FreeBSD等不同操作系统平台，可以供Java，Python，C，C#等各类开发语言使用。
　　在现今社会，数据挖掘技术已经可以被应用与所有的领域和行业中。在人们生活里的各个方面几乎都可以用到数据挖掘技术数据挖掘技术不但给我们的日常生活带来了巨大的改变和影响，并且这种影响还深深的改变着我们的生活方式。在各个领域的应用也会越来越广泛和深入，相关的研究也会越来越全面和深入，综合应用数据挖掘技术和人工智能技术，为各个行业提供更多帮助。