基于Python的网络攻击方法的爬取与可视化分析-计算机毕业设计源码+LW文档

摘 要
随着计算机和互联网的普及，搜索引擎成了人们常用的工具。通过搜索引擎来查询网络攻击方法，搜索引擎首先对关键词进行分析，然后返回查询的结果。但是随着网络信息量的急速增长，产生了大量的垃圾信息和网络广告，使得查询结果越来越困难。针对这一问题，本系统通过对网络爬虫的分析，研究网络攻击方法，尝试使用Python技术进行开发，将网络攻击方法尽可能的爬取出来，并对结果进行可视化分析，为用户提供精确的查询结果，过滤垃圾信息。基于Python的网络攻击方法的爬取与可视化分析系统旨在提高数据挖掘的效率，便于科学的管理和分析网络攻击方法。
本文研究的内容包括：分析网络攻击方法的背景和意义；对常见的爬虫原理，获取策略，信息提取等技术进行分析；本系统使用python进行开发，MySQL数据库进行搭建，实现了网络攻击方法的数据爬取；对数据库的查询结果进行可视化分析，对系统的前台界面进行管理，分析爬取的结果，并对结果进行管理；最后通过测试实现了数据爬取，存储过滤和数据可视化分析，以及系统管理等功能。
通过对网络上有用的网络攻击方法的爬取，提升了信息的管理能力和分析能力，极大的提高了工作效率。

[关键词] 爬虫，python，搜索引擎，关键字，攻击方法

Abstract
With the popularity of computers and the Internet, search engines have become a commonly used tool. Search engines are used to query network attack methods. Search engines first analyze keywords, and then return the query results. However, with the rapid growth of the amount of network information, a large number of junk information and online advertisements have been generated, making the query results more and more difficult. To solve this problem, the system studies network attack methods through the analysis of web crawlers, tries to use Python technology to develop, crawls out the network attack methods as much as possible, and visually analyzes the results, providing users with accurate query results and filtering garbage information. The crawling and visual analysis system of network attack methods based on Python aims to improve the efficiency of data mining and facilitate scientific management and analysis of network attack methods.
The contents of this paper include: analyzing the background and significance of network attack methods; Analyze common crawler principles, acquisition strategies, information extraction and other technologies; This system is developed with Python and built with MySQL database to realize data crawling of network attack methods; Visually analyze the query results of the database, manage the foreground interface of the system, analyze the crawling results, and manage the results; Finally, the functions of data crawling, storage filtering, data visualization and analysis, and system management are realized through testing.
By crawling the useful network attack methods on the network, the information management ability and analysis ability are improved, and the work efficiency is greatly improved.

[keywords] Crawler, python, search engine, keyword, attack method.

 目  录
摘 要    I
Abstract    II
1 绪论    3
1.1 课题背景    3
1.2 课题意义    4
1.3 研究内容    4
2 相关技术介绍    6
2.1 系统开发环境    6
2.2 数据爬取    6
2.3 Python技术    7
2.4 Node.js和Vue.js    8
3 系统分析与设计    9
3.1 可行性分析    9
3.2 需求分析    9
3.2.1功能性需求分析    9
3.2.2非功能性需求分析    11
3.3 系统功能设计    12
3.3.1系统功能设计    12
3.3.2系统流程设计    13
3.4 数据库设计    15
4 系统实现    18
4.1数据采集的实现    18
4.2后台数据库操作的实现    19
4.3后台服务的实现    19
4.4前台数据查询    20
4.5数据可视化的实现    21
5 系统测试    24
5.1测试目的    24
5.2功能测试    24
5.3测试总结    25
结    论    26
参 考 文 献    27
致 谢    28

在国内，互联网的兴起推动了数据的发展，越来越多的人参与网络，在进行网络活动的同时，也在无时无刻的创造着数据。因此，数据规模日益增大，并且呈现多样化的趋势。在众多的数据面前，人工处理显得微不足道，只有通过人工智能和大数据技术进行分析，才能提高工作效率，在此背景下，抓住信息化时代的发展机遇，利用计算机平台，快速的发展大数据，并对数据进行抓取、处理和管理，形成专业的研究领域，才能将数据演变为数据资产。随着技术的发展，可以看出数据具有可研究性以及可用性，而且数据的收集并不是靠单一爬取即可达成效益，必须通过日积月累的积累和分析，才能形成规模资产，为社会发展做贡献。通过大数据可以发现社会发展的规律和经济效益，进而制定相应的决策手段，促进发展。目前数据大多来路来自于互联网，通过收入引擎可以获取有效的数据信息，利用网页的数据，将文本和图片进行分析，提取特定的内容保存到数据库。目前常用的方法是编写爬虫软件来获取互联网上的指定内容。经过多年的发展，爬虫也呈现出多样化的趋势，通过不同的编程语言，也可以编写出不同的爬虫系统，但是本质的内容就是去网络上爬取数据，然后进行分析整理，爬虫通常可以分为web爬虫和增量爬虫。
随着大数据的发展，爬虫的需求也日益增长。比如八爪鱼团队开发了相对完善的爬虫管理系统，并通过爬虫技术实现商业化的收益，也有一些技术团队研究最新的爬虫技术来获取电商网站的购物数据，以便分析最受欢迎的热门单品和价格趋势。常用的爬虫框架有Scrapy 、Nutch等python编写的爬虫软件。通过爬取软件极为方便的进行数据抓取，然后数据挖掘监测，整理出需要的数据信息。像百度搜索引擎也是通过团队开发的爬虫进行互联网数据抓取，然后分门别类的进行数据整理，我们通过输入引擎，输入关键字获取到对应的信息索引，通过点击搜索引擎提供的结果，跳转到目标网站，然后查看信息。
在国外，最先出现的搜索引擎是雅虎，因为创建时间较早，当时受到了很大的欢迎，至此，输入引擎进入了快速发展的行列。最初因为互联网上资源较少爬取渠道的资源有限，所以搜索结果也较少，但经过数据的积累后，如今的网络信息量已经很多可以爬取更多的数据信息。目前大多通过分布式技术进行爬取，通过多个爬虫去互联网上收集，然后统一存储，提高爬虫的工作量。对于数据爬取还存在另外一种形式，就是通过目标网站的数据接口进行数据提取，不需要进行主动检索，只需要调用对方的API进行访问即可。但是这种形式局限性较高，只有目标网站开放API才能使用，限制较多。而通过爬虫可以无差别的进行数据收集，目前更多的进行这种主动的爬取方式。

在技术上，本文利用Python技术进行数据爬取，这种简洁快速，类库丰富的编程语言可以轻松的实现爬虫方法。先分析目标网站的网页信息，然后进行数据处理，完成抓取后进行数据存储，最后完成数据的可视化呈现。数据存储使用的是MySQL数据库，这种数据库轻巧而功能强大，可以有效的满足系统的开发。
在业务上，本系统利用用户无法在海量的网络中查找到有效的网络攻击方法，因此设计了本系统对网络攻击方法进行存储，然后整理网络攻击方法，并通过可视化的方式展现出来，并通过关键字搜索功能，通过用户输入的关键字到数据库中查询出对应的网络攻击方法信息，可以有效的提高用户查询的效率，并得到满意的搜索结果，提高了查询的速度。在后台也可以对这些网络攻击方法进行整理，删除低质量的内容，为用户提供更加精确的网络攻击方法信息。
本文根据软件开发的思路，共设计了六个章节。
第一章绪论，介绍基于Python的网络攻击方法的爬取与可视化分析系统的背景意义，分析爬虫相关的技术和目前发展的趋势。
第二章对系统的技术进行分析，包括Python技术、爬虫技术和数据库技术等。
第三章对系统进行需求分析，分析系统具有的功能需求。
第四章系统设计，通过设计爬虫和系统功能以及数据库来完成系统开发的设计阶段。
第五章系统实现，通过系统实现的功能模块，分步骤的介绍实现过程和相关的代码。
第六章系统测试，通过测试过程来介绍系统所达到的功能以及可以实现的目的。
最后进行总结、开发。总结开发过程并提出对应的展望，为未来的发展做出方向指引。