Python爬取淘宝商品失败---解决：淘宝的反爬虫机制！

淘宝商品比价定向爬虫

功能描述

• 目标：获取淘宝搜索页面的信息，提取其中的商品名称和价格
• 理解：淘宝的搜索接口以及翻页的处理

程序的结构设计

1. 提交商品搜索请求，循环获取页面
2. 对于每个页面，提取商品名称和价格信息
3. 将信息输出

遇到问题

爬取成功，数据有问题

打印 html 文件，返回如下

<script type="text/javascript">
  TRLang = {
    ERROR_NICK_BLANK: "请填写账户名",
    ERROR_PASSWORD_BLANK: "请输入密码",
    ERROR_NICK_PASSWORD_BLANK: "请输入账户名和密码",
    ERROR_CHECKCODE_BLANK: "请输入验证码",
    TIPS_REMEMBER_PASSWORD: "记住密码",
    TIPS_NOT_REMEMBER_PSW_ON_PUBLIC: "不要在公共计算机记住密码，防止账户被盗"
  };
</script>

觉得应该是用户并未登陆问题，应该是淘宝的反爬虫机制导致。

---

处理方法

1. 登陆淘宝，打开开发者模式，例如 Chrome 右键检查
2. 点选 NetWork，DOC，然后刷新页面，在 network 中选择 doc，在请求的 headers 中搜索 cookie
3. 获取对应的 cookie 以及 user-agent
4. 在代码中添加到 headers 里面