Python爬虫之一：爬虫基础

一 、爬虫介绍

1、什么是爬虫

爬虫是一个模拟人类请求网站行为的程序。可以自动请求网页，并把数据爬取下来，然后使用一定的规则提取有价值的数据。

2、爬虫的应用场景

• 搜索引擎（百度或者谷歌）
• 伯乐在线
• 惠惠购物助手
• 数据分析
• 抢票软件

3、为什么使用python写爬虫程序

• PHP：PHP是世界上最好的语言，但是他天生不是做这个的，而且对多线程、异步支持不是很好，并发处理能力弱。爬虫是工具性程序，对速度和效率的要求比较高。
• Java：生态圈完善，是Python爬虫最大的竞争对手，但是Java语言本身很笨重，代码量大，重构成本较高，任何修改都会导致代码大量改动。爬虫经常要修改采集代码。
• C/C++：运行效率是无敌的，但是学习和开发成本高，写个小爬虫程序可能需要大半天时间。
• Python：语法优美、代码简洁、开发效率高、支持的模块多。相关的HTTP请求模块和HTML解析模块非常丰富。还有Scrapy和Scrapy-redis框架让我们开发爬虫变得异常简单。

二 、爬虫开发工具

1、Python 安装

Python官网：https://www.python.org/

2、Pycharm 安装

python基础中有详细介绍：链接

3、Chrome 安装

谷歌官网：https://www.google.cn/intl/zh-CN/chrome/

三、Http协议介绍

1、Http协议

• Http协议：全称是HyperText Transfer Protocol，中文意思是超文本传输协议，是一种发布和接收HTML页面的方法，服务器端口号是80。
• Https协议：是Http协议的加密版本，在Http下加入了SSL层。服务器端口号是443端口。

2、URL详解

URL是Uniform Resource Locator的简写，统一资源定位符。一个URL由以下几部分组成：
scheme://host : port/path/?query - string = xxx#anchor

• scheme：代表的是访问协议，一般为http、https、ftp等。
• host：主机名、域名，比如：www.baidu.com
• port：端口号，当你访问一个网站的时候，浏览器默认使用80端口。
• path：查找路径，比如：www.jianshu.com/trending/now，后面的rending/now就是path。
• query-string：查询字符串，比如：www.baidu.com/s？wd=python，后面的wd=python就是查询字符串。
• anchor：锚点，前端用来做页面定位，现在一些前后端分离项目，也用锚点来做导航。

在浏览器中请求一个url，浏览器会对这个url进行一个编码。除英文字母、数字和部分符号外，其他的全部使用百分号+十六进制码值进行编码。

3、常见的请求Method

在HTTP协议中，定义了八种请求方法。

• get请求：一般情况下，只从服务器获取数据下来，并不会对服务器资源产生任何影响的时候会使用get请求。
• post请求：向服务器发送数据（登录、上传文件等），会对服务器资源产生影响的时候会使用post请求。

以上两种是网站开发中常用的两种请求方法，并且一般情况下都会遵循使用原则，但是有的网站和服务器为了做反爬虫机制，也检测不按常理出牌，有可能一个应该使用get方法的请求就一定要改成post请求，这个要视情况而定。

4、常见的请求头参数

在HTTP协议中，向服务器发送一个请求，数据分为三部分，第一个是把数据放在url中，第二个是把数据放在body中（在post请求中），第三个是把数据放在head中。

• User-Agent：浏览器名称。这个在网络爬虫中经常会被使用到。请求一个网页的时候，服务器通过这个参数就可以知道这个请求是由哪种浏览器发送的，如果我们通过爬虫发送请求，那么我们的User-Agent就是python，这对于那些反爬虫机制的网络来说，可以轻易的判读你这个请求是爬虫。因此我们要常设置这个值为一些浏览器的值，来伪装我们的爬虫。
• Referer：表明当前这个请求是从哪个url过来的，这个一般也可以用来做反爬虫技术。如果不是从指定页面过来的，那么就不做相关的响应。
• Cookie：http协议是无状态的，也就是同一个人发送了两次请求，服务器没有能力知道这两个请求是否来自同一个人，因此这时候就用cookie来做标识，一般如果想要登录之后才能访问网站，那么就需要发送cookie信息了。

5、常见的请求状态码

• 200：请求正常，服务器正常返回数据。
• 301：永久重定向。比如：访问www.jingdong.com会重定向到www.jd.com
• 302：临时重定向。比如访问一个需要登录的页面的时候，但此时没有登录，那么就会重定向到登录页面。
• 400：请求的url在服务器上找不到。换句话说就是请求url错误。
• 403：服务器拒绝访问，权限不够。
• 500：服务器内部错误，可能是服务器出现bug了。

四、Chrome抓包工具简介

1 、Elements

获取网页的HTML语言代码，可以帮助我们分析网页结构，获取想要的数据，但是Elements下是最终呈现的网页数据，有时候网页数据是通过ajax请求得到的，因此Elements下的数据不能完全相信。

2、Console

前端开发的控制台，可以打印js编程信息，用来打印网页的一些信息。

3、Sources

可以看到整个网页加载的所有文件

4、Network

查看整个网页发送的所有网络请求，一般我们想要去查看某个请求信息，都可以到network里面去查看。

五、小结及联系

1、知识点

• 什么是网络爬虫
• 爬虫有哪些应用领域
• HTTP协议知识（请求头、响应状态码、请求method等
• ）Chrome抓包工具
• 学习爬虫需要的相关软件安装

2、练习题

网站：https://www.guazi.com/www/buy/
1.走的是什么协议？
答：https协议
2.User-Agent是什么？
答：Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36

3.点击下一页走的是什么method？
答：get请求