qq_64685349的博客

原创 爬虫知识点

㈠爬虫简述爬虫，又叫网络爬虫，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外还有一些名字，例如蚂蚁、自动索引、模拟程序或蠕虫。㈡爬虫优点定向数据采集，数据定制化很强，数据针对性强。㈢爬虫分类⒈通用网络爬虫(广度)优点：爬行范围和数量巨大，对于爬行页面的顺序要求相对较低，有较强的应用价值。缺点：对于爬行速度和存储空间要求较高，要较长的时间才能刷新一次页面。⒉聚焦网络爬虫(深度)优点：极大的节省了硬件和网络资源，保存的页面更新快，很好的满足一些特定人群对特定领