今天学习了python爬虫知识中关于post请求的知识,因为马虎一个小问题百度了好久。
具体实例:
通过在线翻译网站,抓取数据构造post,代码如下:
import urllib.request
import urllib.parse
import re
c = input("请输入要翻译的内容:")
header = {
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.100 Safari/537.36"
}
formdata={
"f":"auto",
"t":"auto",
"w":c
}
formdata = urllib.parse.urlencode(formdata).encode("utf8")
url = "http://fy.iciba.com/ajax.php?a=fy"
res = urllib.request.Request(url=url,data=formdata,headers=header)
resp = urllib.request.urlopen(res)
content = resp.read().decode("utf8")
print(content)
pat = re.compile(r'out":"(.*?)","')
jieguo = re.findall(pat,content)
print("翻译结果为:",jieguo[0])
问题总结:
1 提交的数据,必须是字典的形式,由于自己基础不好,把字典的格式写错了,直接粘贴抓包工具中的数据 。。。。
2 url编码问题,导致各种报错,后来百度解决了。
重要的代码写三次:
formdata = urllib.parse.urlencode(formdata).encode(“utf8”)
formdata = urllib.parse.urlencode(formdata).encode(“utf8”)
formdata = urllib.parse.urlencode(formdata).encode(“utf8”)
------------------------写完继续学!---------------------------------------