Python简单爬虫实现

1、使用urlopen实现

我这里使用的Python 3.6.7版本，下面是通过urlopen()方式发起http请求，抓取站点的网页内容，这种方式的缺点是请求头中User-Agent的值是python的信息，这样对于爬虫来讲是不合格的，因为一般网站都能识别且会屏蔽此类请求，所以我们通常会使用浏览器的User-Agent信息。

from urllib.request import urlopen

# 1.爬取站点访问地址
url = "http://www.baidu.com/"

# 2.使用urlopen发送请求，resp为响应内容
resp = urlopen(url)

# 3.获取响应resp中的内容
info = resp.read()

# 4.转码并打印输出
print(info.decode())

2、模拟浏览器的User-Agent信息

我们优化一下代码，引入Request对象，然后从chrome浏览器控制台复制一个User-Agent信息，然后封装到请求头中，这样，当爬虫访问服务器时，服务器会认为是一个从浏览器端发送的正常请求。

from urllib.request import urlopen
from urllib.request import Request

# 1.爬取站点访问地址
url = "http://www.baidu.com/"

# 2.设置请求头信息
headers = {
    "User-Agent":" Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36"
}

# 3.将请求头信息封装到Request对象中
req = Request(url, headers=headers)

# 4.使用urlopen发送请求，resp为响应内容
resp = urlopen(req)

# 5.获取响应resp中的内容
info = resp.read()

# 6.转码并打印输出
print(info.decode())

3、使用随机代理信息

上面我们已经模拟了浏览器的访问效果，但是我们还可以加点随机性，引入random中的choice函数，从定义个的多个User-Agent中随即选择

from urllib.request import urlopen
from urllib.request import Request
from random import choice

# 1.爬取站点访问地址
url = "http://www.baidu.com/"

# 2.模拟多个浏览器的User-Agent（分别为Chrome、Firefox、Edge）
user_agents = [
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36",
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:77.0) Gecko/20100101 Firefox/77.0",
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/18.17763"
]

# 3.随机设置请求头信息
headers = {
    "User-Agent": choice(user_agents)
}

# 4.将请求头信息封装到Request对象中
req = Request(url, headers=headers)

# 5.使用urlopen发送请求，resp为响应内容
resp = urlopen(req)

# 6.获取响应resp中的内容
info = resp.read()

# 7.转码并打印输出
print(info.decode())