python 爬虫初步

1.requests库使用

爬虫首先要做的第一步就是获取所需信息所在的网页地址，这时就需要我们的requests库。
本文仅介绍其中的get请求。
具体模式如下

import requests#导入requests库
url="（在此粘贴你所需的网页域名）"
head={
"User-Agent":"（你的ua信息）"
}
oi=requests.get(url,headers=head)#变量名随意起，但最好有针对性

2.请求头

目前大多数网页都会设置ua权限，使得客户端只能以浏览器访问网页。ua，即user-agent，它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等等。设置ua权限是一种简单的防爬手段，因为一般爬虫发起请求时是不会具有以上那些信息在请求头里的，所以很容易被拒绝访问。
所以我们要主动添加ua信息以免服务端拒绝提供服务。
而ua信息我们在浏览器的就能查找到
点击进入浏览器，单击右键，再点击检查就能看到网页的检查元素工具，上面找到网络，进入任意文件查找（如果没有文件就刷新网页）找到标头，其中就要请求头，里面就有相关的ua信息了。
复制值粘贴到headers里就行
如上代码块所示。

3.html语言

学习爬虫需要一定程度的前端知识，所以可以先去了解http协议以及html（超文本标记语言）再来深入学习。
总之，html可以简单理解为网页的编写语言，网页的各种功能都是由它来实现的。所以获取在网页上我们所需要的信息需要从网页的html相关代码中获取。
本文仅介绍基本方法

4.获取网页源代码

我们只需在之前获取网页的变量后面加上，.txt即可获取相关网页源代码。
随后可以用print直接显示出来。
而想要对其中的有关部分代码进行提取还需要学习另外的知识，如xpath或者正则等等。

本文仅初步说明爬虫的基本要求。