1.接口解析
2.第三方破解
通用爬虫 -》 今日头条 谷歌 百度
url(网址) -》DNS解析 -》下载网页
聚焦爬虫 精准的抓取网页
监控爬虫 定时爬虫
url组成:http (http + ssl(安全套接层 )) http(超文本传输协议) 域名
#已被淘汰
import urllib
#现在常用
import requests
#获取百度的对象
response = requests.get('https://www.baidu.com/')
#返回成功 也就是200
print(response)
#返回页面,但有部分乱码,因为是中文字节
print(response.text)
#转码,在Windows下用gbk,在 unix下用utf-8
print(response.content.decode('gbk'))
返回错误,是gbk错了,就去看网页的Content-Type内容类型,发现是utf-8
更改之后会返回一小段html
headers = {
#再加上浏览器类型,就会返回详细的html
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36'
}
注意response也要改一下
response = requests.get('https://www.baidu.com/', headers=headers)
利用有道翻译实现翻译的小练习
import requests
url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'
data = {
'i': 'f事实上',
'from': 'AUTO',
'to': 'AUTO',
'smartresult': 'dict',
'client': 'fanyideskweb',
'salt': '15947810674971',
'sign': 'd37bff6027e46f0f83745f2f718c156e',
'ts': '1594781067497',
'bv': 'c74c03c52496795b65595fdc27140f0f',
'doctype': 'json',
'version': '2.1',
'keyfrom': 'fanyi.web',
'action': 'FY_BY_REALTlME'
}
headers ={
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36'
}
response = requests.post(url,data=data,headers = headers)
print(response.json())
下载Fiddler,安装证书就可以正常使用了
#:传输类型
Result:传输结果,200为成功
Protocol :传输协议
Host:地址
URL:域名
body:内容大小
Content-Type:内容的格式类型
Caching:
xpath
根节点://
节点:/
属性:@
全选://
例:a/img/@src a下面的img下面的src属性
例://a/img/@src 全选所有的A标签
例://img[@class=’‘scrollLoading’’]/@src 全选有这个值class属性的img标签
例://a[@target="_blank"]/img/@src