第一个爬虫程序
怎样扒网页呢?
其实就是根据URL来获取它的网页信息,虽然我们在浏览器中看到的是一幅幅优美的画面,但是其实是由浏览器解释才呈现出来的,实质它是一段HTML代码,加 JS、CSS,如果把网页比作一个人,那么HTML便是他的骨架,JS便是他的肌肉,CSS便是它的衣服。所以最重要的部分是存在于HTML中的,下面我们就写个例子来扒一个网页下来
from urllib.request import urlopen
response = urlopen("http://www.baidu.com")
print(response.read().decode())
真正的程序就两行,执行如下命令查看运行结果,感受一下
看,这个网页的源码已经被我们扒下来了,是不是很酸爽?
常见到的方法
- requset.urlopen(url,data,timeout)
- 第一个参数url即为URL,第二个参数data是访问URL时要传送的数据,第三个timeout是设置超时时间。
- 第二三个参数是可以不传送的,data默认为空None,timeout默认为 socket._GLOBAL_DEFAULT_TIMEOUT
- 第一个参数URL是必须要传送的,在这个例子里面我们传送了百度的URL,执行urlopen方法之后,返回一个response对象,返回信息便保存在这里面。
- response.read()
read()方法就是读取文件里的全部内容,返回bytes类型 - response.getcode()
返回 HTTP的响应码,成功返回200,4服务器页面出错,5服务器问题 - response.geturl()
返回 返回实际数据的实际URL,防止重定向问题 - response .info()
返回 服务器响应的HTTP报头
Request对象
其实上面的urlopen参数可以传入一个request请求,它其实就是一个Request类的实例,构造时需要传入Url,Data等等的内容。比如上面的两行代码,我们可以这么改写
from urllib.request import urlopen
from urllib.request import Request
request = Request("http://www.baidu.com")
response = urlopen(requst)
print(response.read().decode())
运行结果是完全一样的,只不过中间多了一个request对象,推荐大家这么写,因为在构建请求时还需要加入好多内容,通过构建一个request,服务器响应请求得到应答,这样显得逻辑上清晰明确
比如我们在爬虫是需要设置很多的User-Agent,如果不设置,你去爬别人的网站,别人一下就知道你不是正常访问
from urllib.request import urlopen
from urllib.request import Request
import random
url = "http://www.baidu.com"
user_agent = [
"Mozilla/5.0 01"
"Mozilla/5.0 02"
"Mozilla/5.0 03"
]
headers = {
"User-Agent": random.choice(user_agent)
}
req = Request(url, headers=headers)
resp = urlopen(req)
info = resp.read()
print(info)
Get请求
大部分被传输到浏览器的html,images,js,css, … 都是通过GET方法发出请求的。它是获取数据的主要方法
Get请求的参数都是在Url中体现的,如果有中文,需要转码,这时我们可使用
- urllib.parse.urlencode()
- urllib.parse. quote()
煮个栗子:
from urllib.request import Request, urlopen
url = "https://www.baidu.com/s?wd=爬虫"
headers = {
"User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Mobile Safari/537.36"
}
request = Request(url, headers=headers)
response = urlopen(request)
info = response.read()
print(info.decode())
上面这段代码看起来很完美
可是一执行:
UnicodeEncodeError: 'ascii' codec can't encode characters in position 10-11: ordinal not in range(128)
编码错误,就是因为url中包含中文。
第一种写法:
from urllib.request import Request, urlopen
from urllib.parse import quote
args = "爬虫"
url = "https://www.baidu.com/s?wd=" + quote(args)
headers = {
"User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Mobile Safari/537.36"
}
request = Request(url, headers=headers)
response = urlopen(request)
info = response.read()
print(info.decode())
第二种写法:
from urllib.request import Request, urlopen
from urllib.parse import urlencode
args = {
"wd": "爬虫",
"ie": "utf-8"
}
url = "https://www.baidu.com/s?" + urlencode(args)
headers = {
"User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Mobile Safari/537.36"
}
request = Request(url, headers=headers)
response = urlopen(request)
info = response.read()
print(info.decode())
爬取贴吧案例
from urllib.request import Request, urlopen
from urllib.parse import urlencode
def get_html(filename, url):
"""
:param filename: 要获取的文件名
:param url: 要爬取的url
:return: url中的html信息
"""
print("正在获取:" + filename)
headers = {
"User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Mobile Safari/537.36"
}
request = Request(url, headers=headers)
response = urlopen(request)
# print(response.read().decode())
return response.read()
def save_html(filename, html):
"""
:param filename: 要保存的文件名
:param html: 要保存的信息
"""
print("正在保存:" + filename)
with open(filename, "wb") as f:
f.write(html)
def main():
"""
控制方法
"""
info = input("请输入要保存的贴吧:")
num = int(input("请输入要保存多少页:"))
base_url = "https://tieba.baidu.com/f?{}"
for i in range(1, num + 1):
args = {
"kw": info,
"pn": (i - 1) * 50
}
new_url = base_url.format(urlencode(args))
# print(new_url)
filename = "贴吧" + str(i) + "页.html"
html = get_html(filename, new_url)
save_html(filename, html)
if __name__ == '__main__':
main()
Post请求
我们说了Request请求对象的里有data参数,它就是用在POST里的,我们要传送的数据就是这个参数data,data是一个字典,里面要匹配键值对
先上代码
from urllib.request import Request, urlopen
from urllib.parse import urlencode
url = "https://www.xxx.cn/index/login/login.html"
headers = {
"User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Mobile Safari/537.36"
}
form_data = {
"username": "xxx",
"password": "xxx"
}
f_data = urlencode(form_data)
request = Request(url, headers=headers, data=f_data.encode())
response = urlopen(request)
info = response.read().decode()
print(info)
可以看的出Post和Get请求爬虫的规则基本相同,区别在于:
- Request中多了一个data=" "
发送请求/响应header头的含义:
名称 | 含义 |
---|---|
Accept | 告诉服务器,客户端支持的数据类型 |
Accept-Charset | 告诉服务器,客户端采用的编码 |
Accept-Encoding | 告诉服务器,客户机支持的数据压缩格式 |
Accept-Language | 告诉服务器,客户机的语言环境 |
Host | 客户机通过这个头告诉服务器,想访问的主机名 |
If-Modified-Since | 客户机通过这个头告诉服务器,资源的缓存时间 |
Referer | 客户机通过这个头告诉服务器,它是从哪个资源来访问服务器的。(一般用于防盗链) |
User-Agent | 客户机通过这个头告诉服务器,客户机的软件环境 |
Cookie | 客户机通过这个头告诉服务器,可以向服务器带数据 |
Refresh | 服务器通过这个头,告诉浏览器隔多长时间刷新一次 |
Content-Type | 服务器通过这个头,回送数据的类型 |
Content-Language | 服务器通过这个头,告诉服务器的语言环境 |
Server | 服务器通过这个头,告诉浏览器服务器的类型 |
Content-Encoding | 服务器通过这个头,告诉浏览器数据采用的压缩格式 |
Content-Length | 服务器通过这个头,告诉浏览器回送数据的长度 |
响应的编码
响应状态码
响应状态代码有三位数字组成,第一个数字定义了响应的类别,且有五种可能取值。 常见状态码:
号码 | 含义 |
---|---|
100~199 | 表示服务器成功接收部分请求,要求客户端继续提交其余请求才能完成整个处理过程 |
200~299 | 表示服务器成功接收请求并已完成整个处理过程。常用200(OK 请求成功) |
300~399 | 为完成请求,客户需进一步细化请求。例如:请求的资源已经移动一个新地址、常用302(所请求的页面已经临时转移至新的url)、307和304(使用缓存资源) |
400~499 | 客户端的请求有错误,常用404(服务器无法找到被请求的页面)、403(服务器拒绝访问,权限不够) |
500~599 | 服务器端出现错误,常用500(请求未完成。服务器遇到不可预知的情况) |
Ajax的请求获取数据
有些网页内容使用AJAX加载,而AJAX一般返回的是JSON,直接对AJAX地址进行post或get,就返回JSON数据了
from urllib.request import Request, urlopen
url = "https://movie.douban.com/j/chart/top_list?type=11&interval_id=100%3A90&action=&start=0&limit=20"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36"
}
request = Request(url, headers=headers)
response = urlopen(request)
info = response.read()
print(info.decode())
请求 SSL证书验证
现在随处可见 https 开头的网站,urllib可以为 HTTPS 请求验证SSL证书,就像web浏览器一样,如果网站的SSL证书是经过CA认证的,则能够正常访问,如:https://www.baidu.com/
如果SSL证书验证不通过,或者操作系统不信任服务器的安全证书,比如浏览器在访问12306网站如:https://www.12306.cn/mormhweb/ 的时候,会警告用户证书不受信任。(据说 12306 网站证书是自己做的,没有通过CA认证)
爬取Https请求方式:
from urllib.request import Request, urlopen
import ssl
url = "https://www.12306.cn/mormhweb/"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36"
}
request = Request(url, headers=headers)
# 忽略证书
context = ssl._create_unverified_context()
resp = urlopen(request, context=context)
info = resp.read()
print(info.decode())
如果我们不添加ssl忽略证书代码的话,可能(为什么说是可能,是因为有的网站同时支持http和https)会报如下错误:
ssl.CertificateError