python学习笔记之爬虫基础

爬虫事实上就是一个程序，用于沿着互联网结点爬行，不断访问不同的网站，以便获取它所需要的资源

URI 是统一资源标识符（Universal Resource Identifier）
URL 是统一资源定位符（Universal Resource Locator）
用一句话概括它们的区别：URI 是用字符串来标识某一互联网资源，而 URL 则是表示资源的地址（我们说某个网站的网址就是 URL），因此 URI 属于父类，而 URL 属于 URI 的子类。

通过发送的 HTTP 头中的 User-Agent 来进行识别浏览器与非浏览器，服务器还以 User-Agent 来区分各个浏览器
在网络信息的传输中会出现偶然的“丢包”现象，有可能是你发送的请求服务器没收到，也有可能是服务器响应的信息不能完整送回来……尤其在网络阻塞的时候。所以，在设计一个“称职”的爬虫时，需要考虑到这偶尔的“丢包”现象。
HTTP 是基于“请求-响应”模式，Request 即请求的意思，而 Response 则是响应的意思。由客户端首先发出 Request，服务器收到后返回 Response。
HTTP 有好几种方法（GET，POST，PUT，HEAD，DELETE，OPTIONS，CONNECT）
使用 get_method() 方法获取 Request 对象具体使用哪种方法访问服务器。最常用的无非就是 GET 和 POST 了，当 Request 的 data 参数被赋值的时候，get_method() 返回 ‘POST’，否则一般情况下返回 ‘GET’
关于登录问题的cookie：服务器通过判断你提交的 cookie 来确定访问是否来自”熟人“。
简单来说 cookie 可以分成两类：

• 一类是即时过期的 cookies，称为“会话” cookies，当浏览器关闭时（这里是 python 的请求程序）自动清除
• 另一类是有期限的 cookies，由浏览器进行存储，并在下一次请求该网站时自动附带（如果没过期或清理的话）

解决服务器会将访问认为是爬虫软件，从而屏蔽访问
爬虫–隐藏
修改headers

1. 通过request的headers参数修改
2. 通过Request.add_header()方法修改

#使用headers对代码进行隐藏，在爬虫的时候不会被服务器所屏蔽，header的类型必须是字典
import urllib.request
import urllib.parse  #导入转义传入response中的data类型
import json
content=input("请输入需要翻译的内容：")
url="http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule"
'''
head = {}
head['User-Agent']='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36'
'''
data={}
data['i']= content
data['from']= 'AUTO'
data['to']= 'AUTO'
data['smartresult']= 'dict'
data['client']= 'fanyideskweb'
data['doctype']= 'json'
data['version']= '2.1'
data['keyfrom']= 'fanyi.web'
data['action']= 'FY_BY_REALTlME'
data=urllib.parse.urlencode(data).encode('utf-8')#使用parse对data进行转义，在把data转为utf-8的形式

req = urllib.request.Request(url,data)
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36')

response = urllib.request.urlopen(req)
html=response.read().decode('utf-8')#意思就是把页面中读取的数据转义为utf-8的编码形式
target = json.loads(html)
print("翻译结果：%s" % (target['translateResult'][0][0]['tgt']))

运行：

================ RESTART: C:/Users/lenovo/Desktop/test_youdao.py ===============
请输入需要翻译的内容：我爱中国
翻译结果：I love China
>>> req.headers
{'User-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36'}

爬虫–延长访问时间，避免服务器会认为是爬虫软件，但是效率不高

#使用headers对代码进行隐藏，在爬虫的时候不会被服务器所屏蔽，header的类型必须是字典
import urllib.request
import urllib.parse  #导入转义传入response中的data类型
import json
import time

while True:
    content=input("请输入需要翻译的内容(输入'q!'退出程序)：")
    if content=='q!':
        break
    url="http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule"
    '''
    head = {}
    head['User-Agent']='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36'
    '''
    data={}
    data['i']= content
    data['from']= 'AUTO'
    data['to']= 'AUTO'
    data['smartresult']= 'dict'
    data['client']= 'fanyideskweb'
    data['doctype']= 'json'
    data['version']= '2.1'
    data['keyfrom']= 'fanyi.web'
    data['action']= 'FY_BY_REALTlME'
    data=urllib.parse.urlencode(data).encode('utf-8')#使用parse对data进行转义，在把data转为utf-8的形式

    req = urllib.request.Request(url,data)
    req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36')

    response = urllib.request.urlopen(req)
    html=response.read().decode('utf-8')#意思就是把页面中读取的数据转义为utf-8的编码形式
    target = json.loads(html)
    print("翻译结果：%s" % (target['translateResult'][0][0]['tgt']))
    time.sleep(5)

运行：

================ RESTART: C:/Users/lenovo/Desktop/test_youdao.py ===============
请输入需要翻译的内容(输入'q!'退出程序)：我
翻译结果：I
请输入需要翻译的内容(输入'q!'退出程序)：爱
翻译结果：love
请输入需要翻译的内容(输入'q!'退出程序)：中国
翻译结果：China
请输入需要翻译的内容(输入'q!'退出程序)：q!
>>> 

爬虫–代理
步骤：

1. 参数是一个字典{'类型'：'代理ip：端口号'}如 proxy_support=urllib.request.ProxyHandler({})
2. 定制、创建一个opener opener=urllib.request.build_opener(proxy_support)
3. a.安装opener urllib.request.install_opener(opener)
   b.调用opener opener.open(url)

#测试poxy
import urllib.request
import random
iplist = ['118.254.202.168:30626','111.1.32.28:81'] #可以用这个数组整一堆IP地址，随机取出来一个访问
url = 'http://www.whatismyip.com.tw'#测试本机IP地址
proxy_support = urllib.request.ProxyHandler({'http' : random.choice(iplist)})
opener = urllib.request.build_opener(proxy_support)
opener.addheaders[('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36')]
urllib.request.install_opener(opener)
response = urllib.request.urlopen(url)
html = response.read().decode('utf-8')
print(html)