01 Python爬虫环境与爬虫简介
内容:爬虫的定义 + 网络爬虫的类别 + 获取到内容的合法性的讨论
- 本章对爬虫及反爬虫进行了一个基本概述,同时简要介绍了Python爬虫环境,对本章内容做小结如下。
- 爬虫是一种可以自动下载网页的脚本或计算机工具,可大致分为4种运作原理,用于个人或学术研究的爬虫通常是合法的。
- 反爬虫为网站针对爬虫进行检测和限制的过程,爬虫需针对反爬虫手段制定对应的爬取策略。
- Python常用的爬虫库包含urllib、requests、urllib 3、scrapy、lxml和BeautifulSoup 4等库,通常需要配套数据库用于存储爬取的数据。
浏览网页基本流程
- 浏览器发送请求给网页服务器,网页服务器返回相应内容给浏览器。
爬虫的概念
- 网络爬虫也被成为网络蜘蛛、网络机器人,是一个自动下载网页的计算机程序或自动化脚本。
- 网络爬虫就像是一只蜘蛛🕷️一样在互联网上沿着URL的丝线爬行,下载每一个URL所指向的网页,分析页面内容。
爬虫的原理
爬虫的合法性与Robots协议