Python requests爬取淘宝商品信息

作者：achen

联系方式：wh909077093

这里记一下大概的思路以及实现方法，有基础的小伙伴看了基本就能实现了，如果有业务需要可以联系我哈哈哈哈哈哈

本文代码参考猪哥66的思路

 

项目内容

指定关键词爬取淘宝上商品标题-价格-销量-店铺-地区

爬取测试关键词是「防伪」，排序规则选择为总价「由低到高」

 

项目起因

最近接了一单，需要爬取某地区所有的天猫店铺，于是博主用十来个账号对各个关键词进行了疯狂的扫描，终于扫出来了几万个店铺名~~

 

项目步骤

1、手动登录淘宝，拿到几个关键参数

username
ua
password2
csrf_token
umidToken
hsiz

这几个参数，通过火狐登录 https://login.taobao.com/ 之后，打开高级模式，然后登录，之后搜索一下参数名就可以找到，这几个参数大概3天左右变化一次？具体的规律目前没有掌控

 

2、携带参数，获取cookie

# 检测是否需要验证码的URL
user_check_url = 'https://login.taobao.com/newlogin/account/check.do?appName=taobao&fromSite=0'
# 验证淘宝用户名密码URL
verify_password_url = "https://login.taobao.com/newlogin/login.do?appName=taobao&fromSite=0"
# 访问st码URL
vst_url = 'https://login.taobao.com/member/vst.htm?st={}'
# 淘宝个人 主页
my_taobao_url = 'http://i.taobao.com/my_taobao.htm'

#1 验证用户名密码

verify_password_headers = {
    'Connection': 'keep-alive',
    'Cache-Control': 'max-age=0',
    'Origin': 'https://login.taobao.com',
    'Upgrade-Insecure-Requests': '1',
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.135 Safari/537.36',
    'Content-Type': 'application/x-www-form-urlencoded',
    'Referer': 'ttps://login.taobao.com/member/login.jhtml?spm=a21bo.2017.754894437.1.5af911d9mlqEnw&f=top&redirectURL=https%3A%2F%2Fwww.taobao.com%2F',
}

verify_password_data = {
    'loginId': username,
    'password2': password2,
    'keepLogin': 'false',
    'ua': ua,
    'umidGetStatusVal': '255',
    'screenPixel': '1440x900',
    'navlanguage': 'zh-CN',
    'navUserAgent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.135 Safari/537.36',
    'navPlatform': 'MacIntel',
    'appName': 'taobao',
    'appEntrance': 'taobao_pc',
    '_csrf_token': csrf_token,
    'umidToken':umidToken,
    'hsiz': hsiz,
    'bizParams': '',
    'style': 'default',
    'appkey': '00000000',
    'from': 'tbTop',
    'isMobile': 'false',
    'lang': 'zh_CN',
    'returnUrl': 'https://www.taobao.com/',
    'fromSite': '0'
}


response = requests.Session().post(verify_password_url, headers=verify_password_headers, data=verify_password_data,timeout=timeout)

st_url_match = re.search(r'"(https://passport.*?)"', response.text)

st_url = st_url_match[0].replace("\"", '')

response = requests.Session().get(apply_st_url)
st_match = re.search(r'"data":{"st":"(.*?)"}', response.text)
st = st_match.group(1)
headers = {
    'Host': 'login.taobao.com',
    'Connection': 'Keep-Alive',
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.135 Safari/537.36',
}
response = requests.Session().get(vst_url.format(st), headers=headers)

正常的话到这里就是登录成功了，具体的检测呀，优化呀，我就不发在这里了

3、带cookie，访问搜索页，注意：这里只能访问商品搜索页，店铺搜索页那里接口不一样，访问3-5页之后就会被禁，这也是疯狂扫描的原因。。。

下面上个截图