python实战学习6——爬虫

初始爬虫

1.cookie登陆

相比于之前的cookie登陆，本节还由通过验证码登陆的功能

这里以古诗词网的登陆页面为例

该网站运用了一个全新的反扒手段：隐藏域——hidden*(隐藏域数据即在源码中可以找到的，但是不会在网页页面中显示的数据)

#首先获取古诗词网的登陆页面源码
import requests
url='http://www.网址.com'
headers={
    'ua':'ua'
}
response=requests.post(url=url,headers=headers)
html=response.content
#解析页面源码，获取隐藏域数据——即__VIWESTART和__VIWESTARTGENERATOR
from lxml import etree
element = etree.HTML(html)
viwestart=element.xpath('//input[@id="__VIEWSTATE"]/@value')
#变量值为：UywtEn/psKZGA7rByfWXjKyKK49F5sgdHsLnDdcWTTdq7F6ahgEXKKej2LarvzwbLdefvpBc+8nGKJblBzqyCj42vZZEgCXCsGNeF3Frlqrm2M1XP9H9xS4RUKnjc+0ygQB7fFsW35cqCDVXznrCkRD0BIk=
viwestartgenerator=element.xpath('//input[@id="__VIEWSTATEGENERATOR"]/@value')
#变量值为：C93BE1AE
#拿到隐藏域数据之后就可以处理验证码的问题了
#获取验证码图片
code=element.xpath('//img[@id="imgCode"]/@src')
code_url='http://so.gushiwen.cn'+code       #拼接数据形成完整的url
session=requests.session()
#验证码url的内容
response_code=session.get(code_url)
#注意此时要用二进制数据 因为我们要使用的是图片的下载
content_code=response_code.content
#wb模式就是将二进制文件写入到文件中
with open('code.jpg','wb')as fp:
    fp.write(content_code)
#获取了验证码的图片之后，下载到本地，然后观察验证码，之后再在控制台输入验证码，接着验证码传递给code的参数，最后便完成登陆、
code_name=input("请输入你的验证码")
url1='http://www.网址.com'
headers1={
    'ua':'ua'
}
data1={
    'data':'data',
    '__VIWESTART':viwestart,
    '__VIWESTARTGENERATOR':viwestartgenerator

}
response_post=session.post(url=url,headers=headers1,data=data1)
content_post=response_post.text
#之后下载到本地即可