学习笔记 | python网络爬虫 爬虫简介

01 Python爬虫环境与爬虫简介

内容：爬虫的定义 + 网络爬虫的类别 + 获取到内容的合法性的讨论

• 本章对爬虫及反爬虫进行了一个基本概述，同时简要介绍了Python爬虫环境，对本章内容做小结如下。
• 爬虫是一种可以自动下载网页的脚本或计算机工具，可大致分为4种运作原理，用于个人或学术研究的爬虫通常是合法的。
• 反爬虫为网站针对爬虫进行检测和限制的过程，爬虫需针对反爬虫手段制定对应的爬取策略。
• Python常用的爬虫库包含urllib、requests、urllib 3、scrapy、lxml和BeautifulSoup 4等库，通常需要配套数据库用于存储爬取的数据。

浏览网页基本流程

• 浏览器发送请求给网页服务器，网页服务器返回相应内容给浏览器。

爬虫的概念

• 网络爬虫也被成为网络蜘蛛、网络机器人，是一个自动下载网页的计算机程序或自动化脚本。
• 网络爬虫就像是一只蜘蛛🕷️一样在互联网上沿着URL的丝线爬行，下载每一个URL所指向的网页，分析页面内容。

爬虫的原理

爬虫的合法性与Robots协议

Python爬虫相关库