python爬虫实例，一小时上手爬取淘宝评论（附代码）

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

1 明确目的

通过访问天猫的网站，先搜索对应的商品，然后爬取它的评论数据。可以作为设计前期的市场调研的数据，帮助很大。

2 爬取评论并储存

（首先要进行登录，获取cookie）搜索你想收集的信息的评价，然后点开对应的产品图片。找到对应的评价的位置。

找到对应的位置之后就可以进行数据的爬取了，但是在爬取的过程中发现始终无法获取对应的数据。判断可能是因为没有添加cookie导致的，但是在添加了cookie之后发现依旧无法解决问题。

最后，发现应该是显示的数据是通过json解析之后显示在网页上的，因此需要多一些步骤来获取真正的爬取链接。

首先在network中，清除掉以往的数据信息，然后将页面进行刷新，复制其中的一条信息，进行搜索。在4中获得链接，并在5中获取到链接。

找到文件里面的访问url、cookie、referer、agent，将其复制在程序里。

大功告成，现在就可以进行数据的爬取了。

import pandas as pd
import requests
import re
import time
data_list = []
for i in range(1,20,1):
    print("正在爬取第" + str(i) + "页")
    #构建访问的网址，这个网址可有讲究了
    first = 'https://rate.tmall.com/list_detail_rate.htm?itemId&