计算机组成原理（十五周）

1.网络爬虫

网络爬虫（Web Crawler）是依照一定规则主动抓取网页的程序，是搜索引擎获得信息的渠道之一。通常根据给定 URL 种子爬取网页，得到新的 URL 存放至待爬行 URL中，当满足一定条件时停止爬行。网络爬虫一般分为通用网络爬虫、深度网络爬虫和主题网络爬虫 3 类。 主题网络爬虫通常给定 URL 种子集，依照预先规定的主题，由特定的分析算法算出爬行网页的主题相关度，并过滤与主题无关的网页，优先抓取相关度高的网页，当满足一定条件时停止。主题网络爬虫根据主题对 Web 进行分块采集并整合采集结果，从而提高 Web 页面利用率;

2.数据可视化

在计算机学科的分类中，利用人眼的感知能力对数据进行交互的可视化表达以增强认知的技术，称为可视化。16 世纪，天体和地理的测量技术得到发展， 通过三角测量等技术可精确绘制地图，数据可视化开始萌芽。20 世纪 60 年代计算机的发展使得数据可视化加速发展，通过计算机图像处理等技术，新的可视化方法和技术迎来爆炸性增长。数据可视化将相对复杂、冗杂的大数据经过挖掘、转化，提炼出结构化数据内容，并通过可视的方式以用户更易理解的形式 展示出来，清晰表达数据内在的信息和规律;

3.网络爬虫需求

通过对爬取网页的html分析，爬取网页的数据，将爬取的数据保存到文件，用于对数据进行可视化;

4.数据可视化需求

使爬取网站的数据用更直观的效果展示，当数据获取完成，我们使用相关模块对数据进行清洗处理，并对数据做可视化分析，并理解每一个图标所代表意义；