淘宝商品比价定向爬虫
功能描述
- 目标:获取淘宝搜索页面的信息,提取其中的商品名称和价格
- 理解:淘宝的搜索接口以及翻页的处理
程序的结构设计
- 提交商品搜索请求,循环获取页面
- 对于每个页面,提取商品名称和价格信息
- 将信息输出
遇到问题
爬取成功,数据有问题
打印 html 文件,返回如下
<script type="text/javascript"> TRLang = { ERROR_NICK_BLANK: "请填写账户名", ERROR_PASSWORD_BLANK: "请输入密码", ERROR_NICK_PASSWORD_BLANK: "请输入账户名和密码", ERROR_CHECKCODE_BLANK: "请输入验证码", TIPS_REMEMBER_PASSWORD: "记住密码", TIPS_NOT_REMEMBER_PSW_ON_PUBLIC: "不要在公共计算机记住密码,防止账户被盗" }; </script>
觉得应该是用户并未登陆问题,应该是淘宝的反爬虫机制导致。
处理方法
- 登陆淘宝,打开开发者模式,例如 Chrome 右键检查
- 点选 NetWork,DOC,然后刷新页面,在 network 中选择 doc,在请求的 headers 中搜索 cookie
- 获取对应的 cookie 以及 user-agent
- 在代码中添加到 headers 里面