Python爬虫（初级）Task 1

开发环境搭建、网页结构基础知识、爬虫原理

Anaconda3安装：

清华大学开源软件镜像站：

https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/

根据自己的开发环境选择下载

 

网页结构基础知

HTML：定义网页的内容,HTML使用开始标记和结束标记来标记一个网页元素。
CSS:描述了网页的布局，可以修饰网页。
JavaScript:描述了网页的交互行为。

三者一同工作，构成了基本的网页。

HTML结构：

 

爬虫原理

爬虫的原理就是模拟浏览器对目标网站发送请求，然后从网站返回的数据中提取有用的数据，并将有用的数据存放于数据库或文件中。
分为三大步骤：
1.模拟计算机对服务器发起Request请求
2.接收服务器端的Response内容并解析、提取所需的信息
3.存储数据

反爬手段

一些网站会识别浏览器用户身份，从而限制爬虫的大量访问，从而降低服务器负载和保护数据安全。

一种最简单的反爬方式就是构造爬虫的headers头部
我们在爬虫使用的get请求时加上headers，从而将爬虫伪装成一个浏览器用户
我们可以模仿浏览器用户的正常信息
使用Chrome(其他浏览器也行，例如Firefox)打开一个网页F12找到源代码，再F5刷新一下
在XHR中，找到最下边的user-agent ，将它复制到爬虫的headers头部即可。