最近爬取网站遇到的一些难题总结出来,GET和POST,form data和json,表单数据和请求载荷,python爬取知识

验证码问题,这个比较简单,保存验证码图片到本地,人工肉眼识别验证码并输入就行.

POST和GET,这是HTTP协议中向网站发送请求的两种方法,

每个网站用的方法不一样,甚至一个网站的每个网页用的方法都不一样,
GET方法最简单,因为它把想要的数据,参数都放到网址里,所以用一条网址直接就能获得网站的数据.

而POST方法抓起来就有点难度,因为它想提交的数据参数都不放在网址里,所以比较隐蔽,需要打开浏览器的F12调试模式.在后台查POST都提交了哪些参数数据请求.

找到要查找的网页,看它用的是POST还是GET.

如果是POST方法,还要看它提交的数据是什么类型,就目前我看到的,有form data和json两种,form data翻译过来是表单数据

表单数据也比较简单,把表单数据全部复制下来,然后使用POST函数时,当data参数用就行.

urlPost = '访问的网址'
dataPost = {
   
    'ScriptManager1' : "UpdatePanel1|BtnOk",
    '__EVENTTARGET' :   '',
    '__EVENTARGUMENT':  '', 
    'hdkId': '',
    'hdKVal': '',
    'UserId'