python爬取网易藏宝阁手机版_用 Python 爬取网易严选妹子内衣信息，探究妹纸们的偏好...

作者：周萝卜警告：本教程仅用作学习交流，请勿用作商业盈利，违者后果自负！如本文有侵犯任何组织集团公司的隐私或利益，请告知联系萝卜删除！！！ 声明：这是一篇超级严肃的技术文，超！级！严！肃！请本着学习交流的态度阅读，谢谢！

网易商品评论爬取

- 分析网页评论分析

进入到网易精选官网，搜索“文胸”后，先随便点进一个商品。

在商品页面，打开 Chrome 的控制台，切换至 Network 页，再把商品页面切换到评价标签下，选择一个评论文字，如“薄款、穿着舒适、满意”，在 Network 中搜索。

可以发现，评论文字是通过 listByItemByTag.json 传递过来的，点击进入该请求，并拷贝出该请求的 URL：

https://you.163.com/xhr/comment/listByItemByTag.json?csrf_token=060f4782bf9fda38128cfaeafb661f8c&__timestamp=1571106038283&itemId=1616018&tag=%E5%85%A8%E9%83%A8&size=20&page=1&orderBy=0&oldItemTag=%E5%85%A8%E9%83%A8&oldItemOrderBy=0&tagChanged=0

将该 URL 放入 Postman 中，逐个尝试 url query params，最后能够发现，只需保留 itemId 和 page 两个请求参数即可。

请求返回的是一个 JSON 格式的数据，下面就是分析该 JSON 数据了。

不难发现，所有的评论数据都存储在 commentList 中，我们只需保存该数据即可。

下面就是如何获取 itemId 的信息了，这个是产品的 ID，我们回到网易精选首页，继续分析。

产品 ID 获取

当我们在搜索框中输入关键字进行搜索的时候，同样能够发现在 Network 中有很多请求，此时可以观察各个请求，通过请求文件的名称(此处需要一些经验，守规矩的程序员都不会乱起名字)，我们可以定位到搜索时展示搜索结果的请求。

搜索一般都是 search，所以我们就锁定了这个 search.json 的请求。同样把请求 URL 拷贝到 Postman 中，逐个验证传参，最后保留 page 和 keyword 两个参数即可。

该请求返回的数据较多，还是需要耐心的分析数据，也能够发现，在 result->data->directly->searcherResult->result 下面的 id 值，即为我们要获取的产品 ID。

以上，我们基本完成了前期的分析工作，下面开始代码的编写。

编写代码获取产品 ID

def search_keyword(keyword):