基于python 爬虫的数据库设计开题报告_爬虫开题报告

们的生活。

来越多的应用涉及到大数据，而这些大数据的属性、包括数量、速度、多

样性等等都是呈现了大数据不断增长的复杂性。从而，大数据的获取和分析在大数据

领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。

万维网上有着无数的网页，包含着海量的信息，无孔不入、森罗万象。但很多时

候，无论出于数据分析或产品需求，我们需要从某些网站，提取出我们感兴趣、有价

值的内容，但是纵然是进化到

21

世纪的人类，依然只有两只手，一双眼，不可能去每

一个网页去点去看，然后再复制粘贴。所以我们需要一种能自动获取网页内容并可以

按照指定规则提取相应内容的程序，这就是爬虫。爬虫本身不区分到底是运行在

windows

还是

Linux

，又或是

OSX

，但从业务角度讲，我们把运行在服务端

(

后台

)

的，

称之为后台爬虫。而现在，几乎所有的爬虫都是后台爬虫。

而爬虫数据获取的基础，

经过这么多年的发展，

除了面对

surfaceweb

(

即表层

Web

，

由网页沟通，网页之间通过超链接关联)的常用爬虫，各种面对垂直领域和特定主题

的爬虫(

focusedcrawler)

成为热点。