爬取京东商品信息出现登陆页面的解决

错误信息

原因：京东一般都有反爬

代码

import requests
url = "https://item.jd.com/2967929.html"
try:
    kv = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36",
        "cookie": "8ipiu591lktf4so07w5be3rp730lxbs6" #cookie信息每个人都不同，需登录到京东网站，通过浏览器查看cookie信息
    }
    r = requests.get(url, headers = kv) 
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[:1000])
except:
    print("爬取失败")

注意事项

Cookie信息每个人是不同的，需要登陆到京东网站，通过电脑的浏览器查看登陆的cookie信息

以下提供Mac的Safari浏览器下查看京东登陆Cookie信息（主要说明选取哪一部分）

Safari浏览器查看cookie信息的方法：查看方法
选择红色部分作为代码中cookie的信息 只需要选中拷贝，然后删除多余的就行

结果展示（基于Anaconda）