yqyandcy的博客

原创 爬虫学习笔记

一、什么是爬虫？ 爬虫的本质是一个向网站或URL发送请求，获取资源后分析并提取有用数据的应用程序。可用来获取文本数据，也可以用来下载图片或音乐等。爬虫可以验证超链接和HTML代码，用于网络抓取。网络搜索引擎等站点通过爬虫软件更新自身的网站内容或对其他网站的索引。 二、爬虫的工作步骤。 （一）、获取数据 根据提供的网址向服务器发出请求。 确定需要爬取数据的目标url以及发送请求（request）时所需要携带的数据和各种HTTP头部信息。发送请求时常用urlib库和安装的requests库。 （二）