这些行业已经开始用数据挖掘了,我们的前途光明

转载 2004年10月03日 18:20:00

 从数据中挖掘更多的业务信息、对未来的发展做出辅助分析,这就是数据挖掘
的强大功能之一。那么,企业是否已经开始对数据挖掘感兴趣甚至开始运用了呢?近日
,我们对国家统计局、中国地质调查局等单位的CIO进行了调查。
  让数据像人脑一样智慧,具有自动分析、判断和预测能力,这看似不可思议的应用
,正是数据挖掘的功能。数据挖掘正吸引着越来越多的企业的眼球。近日,北京长城仪
器厂、国家统计局、北京统计局等不少单位的有关人员纷纷表示正在关注数据挖掘。
  究竟什么是数据挖掘?国内哪些单位已经应用了数据挖掘?如何挖掘数据?效果如
何?有哪些可借鉴的经验?本期采访了中国地质调查局、中石化石油勘探开发研究院、
北京长城仪器厂、重庆港务局、国家统计局、湖南统计局、泰安国税总局等20家大中型
企事业单位的有关人员及我国数据库专家王珊教授。
  
20%已应用,20%在建设,25%正在关注
  数据挖掘离我们并不遥远。调查显示,中国地质调查局、重庆港务局、湖南统计局
、南宁地税等4家单位(占20位被调查企业的20%)已经在应用数据挖掘为分析、决策作
支持。
  据中国地质调查局信息中心数据挖掘项目负责人张永波介绍,为了查找矿产资源,
需要对海量地质信息进行综合处理、分析和评价。传统方法是由许多专家根据自身经验
进行人工评估。人工评估不仅周期长,不利于及时发现、开采矿产资源,也不可避免地
带有主观色彩,甚至使判断失误,这间接造成了大量经济损失。为此,早在上世纪80年
代,地质行业就引入了计算机,并开始探索数据挖掘,通过数据挖掘对海量地质信息进
行自动处理、评价,从而帮助人们预测哪些地方最可能蕴藏着矿产资源。经过近二十年
的研发、完善和应用,目前数据挖掘在地质行业开始广泛应用。
  与中国地质调查局不同,重庆港务局、湖南统计局和南宁地税都在近两年才开始建
设数据仓库,并在此基础上摸索着开展了数据挖掘应用,目前已经初步投入使用,有效
辅助了领导进行分析决策。
  除此之外,中石化石油勘探开发研究院、国家统计局、国家工商银行、中国民生银
行等20%的被采访企业表示,数据挖掘系统正在建设中。北京长城仪器厂、国家统计局、
北京统计局等25%的被采访企业表示正在关注,希望了解国内有哪些成功案例。其他35%
的被采访企业则表示,目前的信息化重点是铺设网络,完善办公系统、应用系统等,对
数据挖掘不了解,暂时也没考虑。
  
认识数据挖掘
  什么是数据挖掘?怎样实现数据挖掘?它如何让数据像人脑一样具有自动分析、判
断和预测能力?
  据中国计算机学会副理事长数据库专业委员会主任王珊教授介绍,数据挖掘是信息
化发展到一定程度的产物,是数据利用的一个高级阶段。随着数据库技术的迅速发展,
积累的数据越来越多。尽管目前的数据库系统可以实现数据的录入、修改、统计、查询
等功能,但无法发现数据中潜存的关联和规则,无法根据现有的数据预测未来的发展趋
势。如何发现数据背后隐藏的重要信息,并对其进行更高层次的分析,以便更好地利用
这些数据,促使了数据挖掘的出现。目前数据挖掘有许多不同定义,简而言之,就是从
数据挖掘就是从大量不完全的实际应用数据中,提取隐含在其中的、人们事先不知道的
但又可能有用的信息和知识的过程。
  数据挖掘的海量数据有两种来源,可以是从数据仓库中来的,也可以是直接从数据
库中来。所有的数据都需要再次进行选择,具体的选择方式与任务相关。
  而所谓的数据仓库不是可以买到的现成产品,是一种解决问题的方案。数据仓库以
传统的数据库技术作为存储数据和管理资源的基本手段,以统计分析技术作为分析数据
和提取信息的有效方法,以人工智能技术作为挖掘知识和发现规律的科学途径。数据仓
库的建立不是要取代原有的数据库,而是数据库技术的一种新的应用,用于支持决策分
析。
  正是由于数据仓库集成了丰富的海量信息,能大大简化数据挖掘过程,因此中国地
质调查局、重庆港务局、湖南统计局、南宁地税等4家单位的数据挖掘都是在数据仓库的
基础上实现的。
  “而让数据像人脑一样具有自动分析、判断和预测的关键就是建立分析模型”,王
珊表示:“建模就是把你的专业经验、一般规律或普遍情况抽象成一种分析模型。一旦
模型建好之后,就可以把它应用到那些情形相似,而结果未知的判断中。”
  比如,假设你是一个电信公司的营销主管,公司想发展一些新的长途电话用户。依
据自身经验,当你要寻找谁是最有潜力的新客户时,你可以先了解一下在长途电话上花
费时间比较多的老客户是哪些人。因为你对老客户的很多信息了解得一清二楚,如年龄
、性别、信用记录以及长途电话使用状况。这相当于你也掌握了很多潜在客户的同样的
信息。通过对这些老客户的年龄、性别、信用记录等信息进行统计分析,你就可以推断
出最有潜力的新客户是哪些群体。这比盲目地推销要有效得多。
  而建模就是在数据仓库里把上述分析过程建成一个模型,从具体应用中抽象出若干
变量。比如,长途电话用户的一个简化模型可以用客户的职业、职务、年薪、每个月长
话费、性别、地区等变量来表示。根据这个模型,系统就能设法从老客户的大量通话记
录中挖掘出潜在的新客户的年龄、性别等信息,帮助你发现新的长途电话客户群体。
  实际上,数据挖掘系统再有能耐,最终还是要靠人来设计、指挥。挖掘数据的过程
就是按照人们设计的“模型”对数据进行处理、分析、预测的过程,它是人的经验、分
析过程在计算机中的实现。
  
效果不错,标准、建模是关键
  谈起数据挖掘的应用效果和建设经验,中国地质调查局、湖南统计局、重庆港务局
和南宁地税局的有关负责人一致认为:效果不错;有必要,也是未来的发展趋势。但实
现很不容易,系统还有待完善。总结经验,他们认为:首先数据规划要有统一标准;其
次,建模很重要。
  据中国地质调查局信息中心数据挖掘项目负责人张永波介绍,从效果来看,首先,
数据挖掘的分析效率比人工评价提高了很多倍;其次,数据挖掘还能做原来人工没法做
的工作,比如叠加处理。地质数据的种类很多,任何一个空间点上都有几十种地质数据
,不同专家对此会有不同的评价,如何把几十种数据叠加起来形成一个综合评价,依靠
传统的人工操作,根本不可能实现,而数据挖掘就可以。因此,数据挖掘对矿产资源的
查找、分析、决策比人工操作相对高效、完整。
  与此同时,他也认为,实现的难度很大,最难的就是建模,因为它是一个不断反复
、不断完善的过程。如何把专家的经验、思想体现出来,不仅要用到专业知识,还要用
到神经网络、概率统计、模糊数学等多学科理论。
  对此,湖南统计局数据仓库办公室副主任肖胜利也深有同感。他认为,建模是一个
用户与开发商共同参与的过程,一般要求使用者具备专家的理论水平,否则,可能不知
道该怎么用。另外,建模的过程一般是专家经验、普遍经济规律的抽象,它受到外界的
人为干扰因素越少,挖掘效果就越好,因此,更适合按市场规律运行的行业企业。
  根据两年来的建设经验,湖南统计局、南宁地税局、重庆港务局的有关人员都认为
,前期的数据规划、数据标准的制订非常重要,否则,数据就没有可比性,挖掘分析的
结果就不准确。
  总之,目前达到理想状态的应用还很少,多数用户仍处于摸索阶段。另外,我国许
多中小企业的基础系统还没建立,数据无法集成,这也使得数据挖掘难以开展。因此,
普及还有待时日。但已经有不少大中型行业用户已经开始关注和应用了数据挖掘技术,
数据挖掘并不是遥不可及的应用。文字

前途一片光明

  能力/专长 专业证书:CCNA     可长期出差  ...
  • fkdmt
  • fkdmt
  • 2006年09月08日 14:54
  • 488

看《Linux:有光明没前途》

看到一篇比较受关注的文章:《Linux:有光明没前途》http://sunyongjie68.blog.sohu.com/66134395.html这里就文中观点提出几点看法:1、用户习惯问题。文章举...
  • YidingHe
  • YidingHe
  • 2007年10月10日 17:32
  • 1649

我像一只趴在玻璃上的苍蝇,前途一片光明,我却找不到出路........

         欲渡黄河冰塞川,将登太行雪满山。停杯投箸不能食,拔剑四顾心茫然。         温情的面纱掩盖着一个喋血的社会,形势大好的背后是人们艰难的挣扎。然而身上的枷锁是自己亲手套上去的,且...
  • cafardhaibin
  • cafardhaibin
  • 2007年08月06日 13:13
  • 1013

总有一段时间我们会期待被放逐放逐到无尽的开阔

啊,谁不曾试想过人生的其他可能,如果没有念现在的大学,如果选择其他的专业,如果现在从事着另外一个行业,如果没有认识某一人,等等等等,不过,我也忽然意识到,其实在想这些的时候,我们已经被周围的环境给限制...
  • u014782796
  • u014782796
  • 2014年04月18日 13:15
  • 117

【资讯类】海量遥感影像数据管理的独具匠心(转自3sNews)

导读:我国卫星遥感技术近来发展迅速,资源一号、二号、三号以及天绘一号等卫星相继发射成功,后期我国还将在“十二五”发射“百箭百星”,这些都在预示着未来我们所要面临的影像数据将会越来越多越丰富。那么,什么...
  • arcgis_all
  • arcgis_all
  • 2012年12月03日 19:41
  • 1305

程序员:我们都有光明的前途~

身为程序员的我: 老板在写PPT;产品经理在出需求;我在码代码:我们都有光明的前途! 事实是, 在女儿眼里的我: 看得好心酸。。 在客户眼中的我: 没有不...
  • w3cschoolcn
  • w3cschoolcn
  • 2016年09月02日 18:00
  • 186

2017年,我们发布了这些利器

Hello,大家好,先祝大家新年快乐!大家的元旦假期都过得怎么样呢?是不是在吃吃吃、买买买、逛逛逛中愉快度过了呢?元旦前我们给大家出的人工智能年终复习指南不知道有没有帮你get 到去年一整年的重点?今...
  • Y2c8YpZC15p
  • Y2c8YpZC15p
  • 2018年01月03日 00:00
  • 370

轨迹数据挖掘(trajectory data mining)

位置采集和移动计算技术的进步已经产生了大量的空间轨迹数据,这些数据代表了移动物体(如人,车辆和动物)的移动性。在过去十年中,已经提出了许多技术来处理,管理和挖掘轨迹数据,促进了广泛的应用。在本文中,我...
  • zzyy0929
  • zzyy0929
  • 2017年10月25日 22:36
  • 818

前途会是光明的

  即将要走出大学的门了,有一些迷茫。又很期待。可能是对自己还没有踏进的职场的担忧吧。不过时光已经过了二十多载,是要到社会上经历风雨了。几多忧愁,几多期许!我相信未来会是美好的,前途也会是光明的!!!...
  • zhudezhi0558
  • zhudezhi0558
  • 2009年12月14日 20:03
  • 115

IT开发工程师的悲哀现状和可能前途

IT开发工程师的悲哀现状和可能前途  本文所指的开发工程师,仅指程序开发人员和以数字电路开发为主的电子工程师。当你选择计算机或者电子、自控等专业进入大学时,你本来还是有机会从事其它行业的,可你毕业时执...
  • lanyd
  • lanyd
  • 2008年01月06日 00:55
  • 920
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:这些行业已经开始用数据挖掘了,我们的前途光明
举报原因:
原因补充:

(最多只允许输入30个字)