python爬虫基础二

上一篇博客中我们有提到，经过python爬虫去爬取服务器端的代码可能会被服务器阻拦，所以，我们要有措施来应对阻碍我们前进的障碍。
当我们用python访问的时候，hearder中的User-Agent会显示python+版本号，我们可以通过修改它的值来达到隐藏的效果。

在python爬虫基础一的博客中我们谈到爬取有道翻译的过程，在这个例子中我们加入隐藏字段：

head = {}
head['User-Agent'] = "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"

其中，User-Agent的内容即网页中的User-Agent,这样修改之后的结果并没有变化，但我们在爬取服务器时可以隐藏代码访问的痕迹。

还有一种方法，使用add_header将User-Agent的内容追加进去。

req = urllib.request.Request(url,data)
req.add_header('User-Agent',"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36")

完整代码如下：

import json
import urllib.request
import urllib.parse

content = input('请输入需要翻译的内容：')
url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'

#head = {}
#head['User-Agent'] = "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"

data = {}
data['i'] =  content
data['from'] = 'AUTO'
data['to'] =  'AUTO'
data['smartresult'] = 'dict'
data['client']= 'fanyideskweb'
data['salt'] = '1522810548560'
data['sign']  = '1c3052fed220e88ca910ac44dedd91ea'
data['doctype'] = 'json'
data['version']  = '2.1'
data['keyfrom']  = 'fanyi.web'
data['action']  = 'FY_BY_REALTIME'
data['typoResult']  = 'false'

data = urllib.parse.urlencode(data).encode('utf-8')

#req = urllib.request.Request(url,data,head)
req = urllib.request.Request(url,data)
req.add_header('User-Agent',"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36")

response = urllib.request.urlopen(url,data)
html = response.read().decode('utf-8')

#print(html)
target = json.loads(html)
print('翻译结果 %s' % (target['translateResult'][0][0]['tgt']))

当我们使用爬虫爬取网页图片的时候，服务器可以通过记录每个IP地址的访问频率来判断是否四爬虫，因此我们需要来模拟是正常人类在访问。有两种方法，一种是延迟访问时间，一种是使用代理。

第一种，引入time模块，使用sleep函数。

 time.sleep(2)

但是延时处理的弊端就是会比较慢，我们也可以使用代理：
1，参数是一个字典{‘类型’：‘代理IP:端口号’}

proxy_support = urllib.request.ProxyHandler（{}）

2，定制创建一个opener

opener = urllib.request.build_opener（proxy_support）

3，a,安装opener（一劳永逸）

urllib.request.install_opener（opener）

b,调用opener（方便一时使用）

opener.open（url）

import urllib.request

url = "http://www.whatismyip.com.tw"
proxy_support = urllib.request.ProxyHandler({'http':'58.240.53.196:8080'})
opener = urllib.request.build_opener(proxy_support)
urllib.request.install_opener(opener)

response = urllib.request.urlopen(url)
html = response.read().decode('utf-8')

print(html)

这里有很详细的一篇关于爬取妹子图的博客
戳链接写给小白看的爬虫系列之爬虫入门爬取妹子图