m0_56257689的博客

原创 爬虫学习笔记

1、爬虫的定义 网络爬虫，又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。 2、爬虫的基本原理 网络爬虫的基本原理，网络爬虫是捜索引擎抓取系统的重要组成部分。爬虫的主要目的是将互联网上的网页下载到本地形成一个或联网内容的镜像备份。这篇博客主要对爬虫以及抓取系统进行一个简单的概述。 3、爬虫的设计思路： 1）首先确定需要爬取的网页URL地址。 2）通过HTTP/HTTP...