大数据发展与情报资源整合的关系探索

摘要：通过对大数据发展轨迹的分析，对情报资源整合进行研究和剖析，摸索找到一个更好的收集、共享利用情报的方法，以有效促进情报资源整合的效率提高，推动相关行业的发展。

大数据的发展无比迅猛，随着社会方方面面的发 展，对于大数据的挖掘利用方面的要求也越来越高， 因此，做好数据收集工作（包括前期的积累和梳理） 对后面数据的利用和应用将起到引导性的作用。我国 是名副其实的数据大国，人口数量居全球第一，国土 幅员广阔，加上我国正处在经济社会快速发展和综合 国力的全面上升期，由此产生的各种经济活动和社会 活动的数据体量是海量的，如在2014年年底，我国的 网页数量就突破了1 899亿个 [1]，因此，加强数据的利 用和有效应用将对社会发展起到重要意义。本文将基 于互联网的发展和基础，对情报收集技术进行深入解 析，希望能顺应形势，找到一个更好的情报收集的发 展之道，给行业发展带来便利和帮助。

1 互联网技术的发展历程和情报收集体系 

1.1 互联网技术的发展现状以及未来展望 

在20世纪80年代末，美国开始对计算机网络技术 进行大量研究，并且成立了相应的基金会，计算机 网络技术取得了历史性的突破。当时，美国学者阿 尔 · 戈尔首先提出了“信息高速公路”理念，而后这 个理念在网络上迅速发展。这样的发展形势也改变了 整个世界的交流模式，深深地影响着人们的生活和生 产方式，整个社会迎来了巨大的变化。理念的转换促 进了生产的提升，从而增强了国家的综合国力，提高 了民族凝集力。不仅如此，互联网的整体架构以及细 致的内容也随之发生了改变。2001年世界范围内举行 了“危机会议”，“信息高速公路”理念得到正式认可。从此，互联网的格局逐渐发生了改变并出现了一些明 显的特征。这些特征总结如下 ：

（1）用户共享模式。

用户在使用网络的过程中， 不管是网络信息还是网络客户端，都无法避免共享这 个形式，尤其是大数据时代的来临，共享资源才能共谋发展，因此，在共享的基础上，有效信息才能得到 最大程度的利用。因此，聚合实际上就是在一定条 件下，对一个或者是很多个群体提供一个开放性的组 织或是平台，在这个平台中，用户可以进行交流与共 享。当前这个信息爆炸的时代，要求情报工作人员考 虑怎样合理合法地开展互联网情报工作。 

（2）信息杂乱现象。

互联网时代带来了便捷的 同时也带来了一些阻碍，主要体现在信息的杂乱无 章，以及各种良莠不齐的信息掺杂其中。互联网为信 息发展提供了平台，从而导致了海量信息的出现，同 时也含有许多不良信息，该怎样对不良信息进行整改 成为了一直以来的难题。既然不能够在互联网中彻底 解决这些不良信息，那么就需要寻找一个管理的方法 将这些信息进行有效地分类与整理。

1.2 情报学的相关研究途径 

情报研究工作早在1 000多年前就已经出现，经 过漫长的发展历程，情报学的研究与发展现已进入 了一个全新的阶段。现将情报工作方法总结为以下 几点 ： 

（1）社会调查法。

社会调查法是指对一个地区 进行实地调查研究，并由此得出相应的结论。目前来 说这是使用率最高的一种方法。研究人员通过实地调 查，能够清楚地了解到社会目前的发展形势，并且能 够取得预期的成果。

（2）文献计量法。

文献计量法是指通过文件计 量的方法从文献中将想要的资料找出来，并对其进行 归纳与整理，在得到相应的资料之后，建立相应的数 学模型，从以往和现在的发展状况入手，对一般性或 是定量的问题进行分析，在此基础上对将来可能要发 生的事情进行预测。

（3）数学分析法。

现代数学领域中出现的许多 分支都可以应用于信息科学的研究之中，如信息检索 技术和情报收集技术等都涉及到了数学的相关知识， 包括对数字的计算、对图案的解读、对微积分的应用等等，可见数学分析法的用处广泛。

（4）系统分析评价法。

系统分析评价法是指从 各个角度和不同的方向对信息进行综合分析，实现信 息发展的整体化和有效化，进而对系统的理论进行分 析与评价，促进信息的健康稳定发展。该方法可以对 情报信息进行处理，对出版物进行关键字或敏感字检 索，检测情报产品，强调情报研究的严谨性以及情报 研究的智能化 [2], 对情报服务进行评价。 

（5）历史研究法。

历史研究法并非是研究历史， 而是对历史材料进行研究。采用历史研究法首先需要 对历史资料进行收集和整理，而后对已经整理好的历 史资料进行分析。在分析历史资料的过程中，能够了 解到信息科学的发展历史，从而了解历史中信息发展 的时间、地点和原因，以及发生的途径等。

1.3 互联网时代的情报技术与手段发展 

在远古时代就产生了情报，优秀的情报机制至今 依然适用于互联网之中。然而，并不是所有的情报机 制都适用于网络之中，因此，一些情报工作的方式发 生了变化。这些变化主要可概括为以下三方面。

1.3.1 互联网调查技术手段取得明显进步 

由于以前的技术手段不够先进，因此进行社会 调查的难度较大，而且进行调查的成本也较高。随着 现代科学技术的进步，互联网几乎在世界各地都通 行，不管是发达国家还是发展中国家，互联网用户 人数都在不断上升。发达国家的互联网用户几乎占 据所有人口的60% 以上。我国互联网使用人数也在 不断增加。根据有关机构的统计，2010年，我国的 互联网用户同比往年有了跨越式的增加，达到了5亿 多人。以新浪微博为例，现在全国范围内使用新浪 微博的用户有5亿多人，在新浪微博上进行注册的实 际用户也已达到了3亿人。由此可见，互联网在我国 已经得到了很大的发展。很多涉及国家安全的工作 人员不可避免地要在互联网上进行工作 ；除此以外， 教师、作家等拥有较高学历的人也需要通过互联网进行工作。所以从互联网用户的整体来看，目前我 国用户的知识水平还是比较高的。如今在互联网上 查询信息是十分容易的，比如相关单位在网络上明 晰了这一段时间的发展规划，互联网用户就可以通 过查询得出该机构的工作现状。

1.3.2 互联网调查的覆盖面已有显著扩大

“互联网 +”的提出不仅带来了更多的就业机会，也为生活带来了更多的便利，体现了科技改变 生活的发展目标。目前 , 全世界使用互联网的相关用 户数量依旧呈现上升的趋势，且在近些年这种上升的 趋势不会被变，全民上网已成为了一种趋势。对一个 国家或地区的上网人数进行统计，就基本上可以得出 这个国家或地区的总体人数。以往使用互联网的用户 大多数是知识水平比较高的知识分子，但是随着计算 机、便携式上网设备等的逐渐普及，越来越多的人开 始接触网络并成为了网络的使用者。另外，随着互联 网使用费用的进一步降低，越来越多人用得起互联 网，网民的数量因此大幅增长。 

1.3.3 文献分析、历史研究方法的成本减少 

互联网在刚刚产生之时的主要服务对象是进行 科研的人群，为科研人员提供进行科学研究的基础， 但是如今，互联网的工作方向已经在悄然间发生了变 化，主要服务的对象也从科研群体变成了普通大众， 普通的用户也能够查询出自己想要的科研结果，例如 各种科研论坛频频出现，科研人员也在其中发布一些 资料。互联网的内容与以往的科研资料体系相结合， 使得互联网的文献分析以及相关研究都取得了重大 的突破。现在只需打开电脑，在搜索引擎中输入一些 关键字句，就能够迅速地检索出想要的内容。越来越 多的期刊和文献也都能够在互联网中找到。此外，在 网络之中不仅能够找到需要的资料，甚至可以实现与 资料供应者或者作者的直接对话，了解作者的创作理 念以及思想，学习作者的创作思路，有效地进行学习与研究。2010年，美国的一个研究机构对某公司的研发人 员进行了研究，结果发现通过使用互联网对论文的检 索和查找，能够在研发人员之中建立一种联系，通过 对这些资料和人员的分析，能够得出准确的研究结 果。倘若不采取这种方式，而是采取传统的工作方 式，在这项工作上所耗费的人力和物力将不可设想， 同时也会占用一大部分的人力资源，对经济造成一定 的压力。

2 互联网情报收集与处理技术 

公共情报可以通过互联网进行收集。公共情报中 包含大量的数据和内容，内容较为浅显易懂，方便大 众阅读，将这些数据和内容进行简单化处理能够促进 用户的阅读和使用，因此具有很高的实用价值。公共 情报的来源十分宽广，并不局限于一个单独的渠道， 主要来源于报纸、图书、手册以及电视节目中。

2.1 困难 

由于信息技术的飞跃式发展，互联网涉及的范 围也越来越广，包括军事、经济、工业等领域，因 此，互联网是公共信息的重要来源。基于这样的形 势，大众需要掌握基于互联网之下的公共情报收集 以及处理技术，这一过程中所涉及的主要困难包括 以下三方面。 

（1）互联网的公共职能收集及处理的系统缺乏整体框架。

互联网从诞生之日起就为世界的发展带来 了巨大的影响，但是在其带来便捷的同时也给未来的 发展提出了挑战。由于传统的信息收集及处理都是通 过人工的方式进行，大大降低了工作效率，并且给从 事这项工作的人们造成很大的困扰，因此，大家热切 希望能够出现一种全新的工作方式，希望能够通过机 器对信息进行整合和处理。也就说，需要建立起一个 完善的互联网公共职能收集及处理的框架。

（2）对互联网中的公共情报进行有效收集。

互联网中的信息繁多，信息的质量也是良莠不齐，需要结合信息检索技术才能以最快的速度对互联网的信 息进行收集。信息检索技术的出现在很大程度上解决 了人们在实际生活中所遇到的困难，但是其自身也存 在一定的缺陷。信息检索技术的工作模式是处于被动 状态的，人们在搜索时需要准确地输入关键词汇或语 句。现阶段的信息检索技术只能识别已输入的文字， 却无法通过对文字进行智能解读来完成工作，假设在 进行检索时所输入的文字是不准确的，那么就不会出 现相关的知识，从而阻碍了工作的实际进程。为了解 决这个问题，在搜集资料的时候就需要按照使用者的 想法进行改变，作出灵活的、具有跳跃性思维的主题 搜索设计，以此解决用户搜索信息的需求问题。 

（3）对于公共情报的处理。

对公共信息进行过 滤和筛选，能够实现对有效信息的采集。合理利用公 共情报能够解决信息缀余的问题。

2.2 系统结构 

通过互联网将情报更公开地收集与处理，或者是 对用户所确定的信息进行整合搜集，都需要建立一个 完整的系统。该系统的结构主要由情报的收集、情报 的整理、情报的筛选、情报的查询与处理以及对情报 库的后期维护组成。在这样的系统结构下，情报收集 工作者首先需要对情报进行简单的筛选和排查，过滤 掉互联网中不良和无用的信息，为用户提供更好的体 验；另外，也要重视知识库为用户提供权威网站和资 料的作用。同时，专业的知识对于用户来说也是必不 可少的，它包含了专业的词汇以及语句，同时也包括 这些专业知识的外文词汇等等。

2.3 公开情报的收集

2.3.1 按照用户兴趣定制与文档相关的模型 

用户通过信息检索找出所需要的资料然后下载。在用户下载资料之前，情报人员可以根据自己的兴趣 爱好先行对这些资料进行筛选和排查。对于每一类的 关键字，情报人员都可以先进行搜索，并且将和关键 字相关的文字也加入到列表之中，从而保证用户下载资料的质量。 

2.3.2 主动式专题搜索引擎 

借助活动特性搜索引擎，在互联网上对公开情报进行收集，找到与之相关的资料和信息，用户可以在 此基础上按照自己的意愿对文件进行筛选。

2.4 公开情报的处理 

至于公开情报的处理方面，则可以通过设置搜索 引擎，在信息初始阶段完成对资料分类处理。搜索引 擎的设置包括两种类型：第一种是将信息内容不同的 文件进行重新排版；第二种是按照用户的想法对文件归档分类。

3 大数据下的科技资源整合之路 

当下，互联网技术飞速发展，创新活动所需的物 质与信息资源在快速流动，对社会各方面的渗透愈发深入，同时也对我们提出了更多的要求。各种创新资 源要如何加速汇聚、融合与共享才能为社会贡献更多 的创新成果呢？综上所述，基于互联网思维的科技创 新资源的开放、共享、共用已成为当前科技创新活动的必然选择 [3]。伴随着互联网经济的快速发展和强势 推进，互联网思维理念应运而生，跨区域、跨行业、 跨国界的新经济跨界整合必将成为社会发展的新常态 [4]，可见互联网思维必将大行其道。它是基于对行 业的科技创新资源公共服务需求分析的基础上，提出 如何加快推进科技创新资源开放共享、助力创新驱动 的解决之道。推进发展是政府、高校、企业共同亟待解决的问 题。开放、共享科技创新资源，可使社会创新成本呈 递减趋势，从而会带来收益递增 [5]，有效促进社会经 济发展。互联网思维的核心理念通常可归纳为开放、 共享、体现以用户需求为导向的服务理念，强调用户 在创新驱动发展过程中的主体作用和中心地位，尊重 用户的个性需求，要从依靠数量和规模扩大的外延式 发展模式转变到加强软实力的内涵建设 [4]。在互联网时代，基于互联网思维的科技创新资源开放、共享、 共用已成为当前科技创新活动的必然选择，互联网技 术也将成为政府和各界在发展中进一步节约成本的创新之道。

参考文献及英文摘要略

本文转自：赖志杰,刘敏颖,黄宝强.大数据发展与情报资源整合的关系探索——基于互联网的情报收集技术解析[J].科技创新发展战略研究,2018,2(04):94-98.].