q851510764的博客

转载 爬虫初步了解

什么是爬虫：- 通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程。爬虫的价值：- 实际应用- 就业爬虫究竟是合法还是违法的？在法律中是不被禁止具有违法风险善意爬虫 恶意爬虫爬虫带来的风险可以体现在如下2方面：- 爬虫干扰了被访问网站的正常运营- 爬虫抓取了收到法律保护的特定类型的数据或信息爬虫在使用场景中的分类- 通用爬虫：抓取系统重要组成部分。抓取的是一整张页面数据。- 聚焦爬虫：是建立在通用爬虫的基础之上。抓取的是页面中特定的局部内容。- 增量式爬虫