python 爬虫

基础知识：

        1）http协议

        2）python协议

1）目的

通过有道翻译和百度翻译的爬虫，学习python 爬虫抓取。

 需要注意的事情，网站具有反爬虫机制，需要遵守爬虫机制.

2）有道翻译的爬虫

import requests
import json
 
i = input('您要翻译的内容是：')
Request_URL = 'http://fanyi.youdao.com/translate'
#创建Form_Data字典，存储Form Data
Form_Data = {}
Form_Data['from'] = 'AUTO'
Form_Data['to'] = 'AUTO'
Form_Data['i'] = i
Form_Data['doctype'] = 'json'
Form_Data['version'] = '2.1'
Form_Data['keyfrom'] = 'fanyi.web'
# Form_Data['ue'] = 'ue:UTF-8'
Form_Data['action'] = 'FY_BY_REALTIME'

#传递Request对象和转换完格式的数据

r = requests.post(Request_URL, data=Form_Data)
res = r.json()
result = res["translateResult"][0][0]["tgt"]

print("翻译的结果是：%s" % result)

3）百度翻译爬虫
wd = input('您要翻译的内容是：')
Request_URL = 'https://fanyi.baidu.com/sug'
#创建Form_Data字典，存储上图的Form Data
Form_Data = {}
Form_Data['kw'] = wd

#传递Request对象和转换完格式的数据

r = requests.post(Request_URL, data=Form_Data)
res = r.json()
result = res["data"][0]["v"]

print("翻译的结果是：%s" % result)

4)通过网站调试，获取爬虫入口实例