基于 Web 的网络爬虫的设计与实现

随着互联网的飞速发展，web已经成为人们主要的检索，和发布的主要平台，在海量的数据中如何快速，准确的找到用户所需要的信息成为人们当前所需求的，而网络爬虫就是为了满足这一需要而产生的研究领域。在现实中我们的资源是有限的，如何在有限的资源中区分我们每个人不同的需求，有的想听歌，有的想看电影，而有的是工作需要的机密文件，不想让别人看，只能自己看等等一系列这样的问题，他能保护每个人的隐私以及满足不同人的需求，因此，分不同用户区分爬取内容还是有研究必要的。
无论是站内信息检索还是特定的 Web 信息搜集, 都离不开全文搜索引擎系统的核心模块——网络爬虫, 本文详细介绍 了一种设计及实现方案, 包括页面搜集器和页面索引器的基本工作流程、数据存储结构、核心算法及主要的技术难点。该系统经实际运行, 效果良好, 最后给出了有待进一步改进的地方。
本网站基于B/S模式对该爬虫网站进行设计，并要求爬取的操作简单，多用户数据鲜明，开发一个爬虫网站实现对多用户管理，数据分层管理，并且把数据存储到指定的数据库中。分辨重复的网页以及去重问题;确定主题相关性;更快速的抓取数据;存储数据;实现数据可视化。
关键词：搜索引擎; 网络爬虫; 信息检索; 页面索引
Abstract:With the rapid development of the Internet, the web has become the main platform for people to search and publish. How to quickly and accurately find the information that users need in the massive data has become the demand of people, and the web crawler is to satisfy The field of research that arises from this need. In reality, our resources are limited. How to distinguish the different needs of each of us in limited resources, some want to listen to songs, some want to watch movies, and some are confidential documents needed for work, do not want others to see, only I can watch a series of such problems by myself. He can protect everyone's privacy and meet the needs of different people. Therefore, it is necessary to study the content of different users. 
Whether it is in-site information retrieval or specific web information collection, it is inseparable from the core module of the full-text search engine system - web crawler. This paper describes in detail a design and implementation scheme, including page collector and page indexer. Basic workflow, data storage structure, core algorithms and major technical difficulties. The system was actually operated and the results were good. Finally, the areas for further improvement were given.
This website is based on the B/S mode to design the crawler website, and requires simple crawling operation and clear multi-user data. Develop a crawler website to implement multi-user management, hierarchical data management, and store data to a specified database. in. Identify duplicate web pages and deduplication problems; determine topic relevance; capture data faster; store data; and visualize data.
Keywords: search engine; web crawler; information retrieval; page index
1 引言
时间稍纵即逝，时代发展急速，信息技术成为顺应时代发展的产物，人们的生活节奏随着信息化进程的发展而加快，人们的人生水平也越来越高，逢前过节人们的过节方式也逐渐发生变化，出行旅游人数也越来越多，这种生活方式也是一种新型的网页搜索方式方式，在出行时候消费者和工作人员不用见面就可以跨地区的购票。这种模式方便了人们的出行，提前网页搜索方式，提高效率。
最近几十年，人们生活方式也经历了很多社会变革，在应用模式中也发生了翻天覆地的变化，1959年美国诞生了第一台计算机，标志着信息时代的到来，随后社会信息化的发展猛速发展。后来很多发达国家和一些发展中国家开始大规模地使用计算机网络预订系统。网上申请实现了用户无论在哪个地方都可以自动订票，无论是什么行业都可以使用网站出行旅游，大大提高人的旅游效率和质量，在没有出门时候已经查好出行路线、消费地点等，使得人们的出行更加灵活、自动、舒适和快捷。
在国内，最近几年出现了很多应用软件，美团、马蜂窝、饿了么等APP，预订系统的发展状况呈现出从功能来看，消费方式的发展由单纯的预约服务发展呈现出综合服务的方式，国内预约方式呈现处跨国中心方式，封闭型的消费转化为社会开放式的消费方式；目前下下飞机有神州转车和租赁小汽车的服务，信息技术的应用，可以更好的了解旅游者的个性和需求爱好，更好的对市场进行调查统计分析，集中式处理向分布式设备发展，庞大的移动终端设备决定丰富的移动网络业务是未来的发展趋势。