爬虫伪装
有些网站不会同意程序直接进行访问,如果识别有问题,那么站点根本不会响应,所以为了完全模拟浏览器的工作需要进行伪装自己
1.1 设置请求头
其中User-Agent
代表用的哪个请求的浏览器
代码如下:
from urllib.request import urlopen
from urllib.request import Request
url = 'http://www.server.com/login'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers = { 'User-Agent' : user_agent }
request = Request(url, headers=headers)
response = urlopen(request)
page = response.read()
对付防盗链,服务器会识别headers中的referer(客户机通过这个头告诉服务器,它是从哪个资源来访问服务器的)是不是它自己,如果不是,有的服务器不会响应,所以我们还可以在headers中加入referer
代码如下:
headers = {
'User-Agent' : 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)',
'Referer':'http://www.zhihu.com/articles'
}
提示
在此可以使用多个User_Agent:然后随即选择
import urllib.request
import random
ua_list = [
"Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0)",
"Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1",
"Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.13 (KHTML, like Gecko) Version/3.1",
"Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.13 (KHTML, like Gecko) Chrome/0.2.149.27",
"Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) ; QIHU 360EE)"
]
user_agent = random.choice(ua_list)
request = urllib.request.Request("http://www.baidu.com")
request.add_header("User-Agent",user_agent)
#区分大小写
print(request.get_header("User-agent"))
或者通过 fake_useragent
包的UserAgent
来随机生成
#使用方法
fake_useragent import UserAgent
print(UserAgent().firefox) #火狐的User-Agent
print(UserAgent().ie) #ie浏览器
print(UserAgent().opera) #opera浏览器
print(UserAgent().chrome) #谷歌浏览器
print(UserAgent().safari) #safari浏览器
print(UserAgent().random) #任意一家浏览器
1.2 设置代理Proxy
假如一个网站它会检测某一段时间某个IP 的访问次数,如果访问次数过多,它会禁止你的访问。所以你可以设置一些代理服务器来帮助你做工作,每隔一段时间换一个代理,网站君都不知道是谁在捣鬼了,这酸爽!
分类:
透明代理:目标网站知道你使用了代理并且知道你的源IP地址,这种代理显然不符合我们这里使用代理的初衷
匿名代理:匿名程度比较低,也就是网站知道你使用了代理,但是并不知道你的源IP地址
高匿代理:这是最保险的方式,目标网站既不知道你使用的代理更不知道你的源IP
代码如下:
from urllib.request import ProxyHandler
from urllib.request import build_opener
#proxy = ProxyHandler({"http/https看是那种格式":"ip:port(端口)"})
proxy = ProxyHandler({"http": "119.109.197.195:80"})
#proxy = ProxyHandler({"username(账户):password(密码)@http/https看是那种格式":"ip:port(端口)"}) #需要密码账户的
opener = build_opener(proxy)
url = "http://www.baidu.com"
response = opener.open(url)
print(response.read().decode("utf-8"))
两种方式一块的
from urllib.request import urlopen
from urllib.request import Request
from urllib.request import ProxyHandler
from urllib.request import build_opener
url = 'http://www.server.com/login'
headers = { 'User-Agent' : 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'}
request = Request(url, headers=headers) #还是先生成request文件
proxy = ProxyHandler({"http": "119.109.197.195:80"})
opener = build_opener(proxy)#将ip输入
response = opener.open(requst)#通过opener的open来返回网页源码
print(response.rear().decode())