爬虫项目五：最详细的京东商品、评价爬虫、词云展示

最新推荐文章于 2024-05-12 12:52:39 发布

@lizhihang

最新推荐文章于 2024-05-12 12:52:39 发布

阅读量9.4k

点赞数 13

本文链接：https://blog.csdn.net/weixin_47163937/article/details/115019797

版权

文章目录

前言
一、京东商品信息爬虫
二、京东商品评价爬虫

前言

本文内容包含京东商品列表爬虫的详细教程以及商品评价数据的详细教程

提示：以下是本篇文章正文内容，下面案例可供参考

一、京东商品信息爬虫

我们要知道京东商品页的数据有一半是通过动态加载出现的，一页60条数据一半是动态加载，也就是说我们如果单纯的用requests访问url的话只能拿到一半的数据，那另一半的数据拿到有两种方法：1.selenium 2.找到接口。这里以selenium为例。

在这里插入图片描述

1.分析URL

如果我们是通过selenium爬取的话，其实只需要循环点击下一页就可以了。下面我们来看一下url的构成

我们来看url，keyword就是商品关键词，我们把它换成中文也是可以的，page是页数，那剩下的一堆东西是没有用的我们可以把他们全部删除

https://search.jd.com/Search?
keyword=%E7%BA%A2%E7%B1%B3K40  ==》查询的关键词  《===》红米K40
&suggest=1.his.0.0
&wq=%E7%BA%A2%E7%B1%B3K40  ==>也是关键词
&page=1  ==》页数
&s=1
&click=0

我们来看一下简化后的url

https://search.jd.com/Search?keyword=红米K40&page=1

url对比，page规律：page等于当前页数×2-1

1：https://search.jd.com/Search?keyword=红米K40&page=1
2：https://search.jd.com/Search?keyword=红米K40&page=3
3：https://search.jd.com/Search?keyword=红米K40&page=5
4：https://search.jd.com/Search?keyword=红米K40&page=7

2.实例化chrome

我们明白了url的构成，首先我们用selenium实例化一个chrome，进而去获取数据了

写一下基本的配置

用input的方法交互式的输入你想采集的关键词，设置禁止图片的加载加快浏览器的速度，不想看到浏览器直接设置为无头浏览器，还有防规避检测（可能已失效）

代码如下（示例）：

   key = input("请输入要采集商品的关键字：")  # 商品的关键字
   option = ChromeOptions()
   prefs = {'profile.managed_default_content_settings.images': 2}
   option.add_experimental_option('prefs', prefs) # 禁止图片加载，加快速度
   option.add_argument('--headless')
   option.add_argument('--disable-gpu') # 设置无头浏览器
   bro=webdriver.Chrome(options=option)
   bro.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
       "source": """
       Object.defineProperty(navigator, 'webdriver', {
         get: () => undefined
       })
     """
   }) ===》可能已失效

3.加载完整数据

最开始我们已经提到了京东有一般的数据是通过动态加载的那我们要获得这一半的数据就要让他加载出来，用的方法是让浏览器向下滚动一个屏幕

代码如下（示例）：

   bro.maximize_window() # 最大化浏览器
   url="https://search.jd.com/Search?keyword=%s"%(key)
   bro.get(url)  #访问url
   bro.execute_script('window.scrollTo(0, document.body.scrollHeight)') # 向下滑动一屏

4.实现翻页

方式一：对page循环访问(推荐)

page就是页数为了获取一共有多少页可以通过定位下图的位置获取
在这里插入图片描述

page=bro.find_element_by_xpath('//span[@class="p-skip"]/em/b').text

我们知道了page变化的规律、知道了总页数那么就好写代码了

代码如下（示例）：

 page=bro.find_element_by_xpath('//span[@class="p-skip"]/em/b').text
 for i in range(1,int(page)+1):
     sleep(1)
     print("-" * 30 + "已获取第%s页数据" % (i) + "-" * 30)
     url = "https://search.jd.com/Search?keyword=%s&page=%d" % (key,i*2-1)
     bro.get(url)
     parser_data(bro.page_source) #解析数据函数
 bro.quit()

方式二：循环点击下一页（不推荐）

因为我们用的是selenium 所以我们可以用循环点击下一页的方式实现翻页效果，写一个while循环

while循环一直循环，当什么时候结束循环呢，当下一页元素的class属性是"pn-next disabled"时就结束循环，当其class属性是"pn-next disabled"就是到了最后一页了，就可以结束循环，反之就会一直点击下一页按钮实现翻页，因为在最后一个的class属性值和在其他页数的属性值是不一样的，所以可以利用这个因素制作循环

最后一页的a标签class属性

其他页a标签的class属性

为了爬虫效果我们在爬虫过程中打印一下当前是第几页，所以用到了下图的按钮，利用这个元素打印出当前是第几页，我们用xpath定位可知他的xpath：//span/input[@class=“input-txt”] 其中他的value属性就是当前页数，所以再用.get_attribute(“value”)获取当前页数
在这里插入图片描述
代码如下（示例）：

while True:
    sleep(1.2)
    parser_data(bro.page_source) # 解析数据函数
    # 当到最后一页时停止循环
    try:
        if bro.find_element_by_xpath('//span[@class="p-num"]/a[last()]').get_attribute("class")=="pn-next disabled":
            break
        else:
            page = bro.find_element_by_xpath('//span/input[@class="input-txt"]').get_attribute("value")  # 获取当前为第几页
            print("-" * 30 + "已获取第%s页数据" % (page) + "-" * 30)
            bro.find_element_by_xpath('//span[@class="p-num"]/a[last()]').click() # 点击下一页按钮
    except:
        try:
            bro.find_element_by_xpath('//span[@class="p-num"]/a[last()]').click()  # 点击下一页按钮
        except:
            pass
print("共获取%s页数据"%(bro.find_element_by_xpath('//span/input[@class="input-txt"]').get_attribute("value")))

推荐使用方式一实现翻页，方式二会出现重复采集的现象，方式一相比更加稳定，也可能是我代码问题，方式二当时抛砖引玉大家可以尝试修改使用

5.解析数据

我们懂得了url实现了翻页，最后就该是解析数据了，这就很简单了，利用chrome知道数据列表定位复制Xpath，制作一个循环在利用Xpath提取数据再把数据写成字典。我是在每一条数据现在写了一个csv保存实现边解析数据边保存的效果，可以根据自己需求来。

代码如下（示例）：

   html=etree.HTML(data)
   li_list=html.xpath('//ul[@class="gl-warp clearfix"]/li') #数据列表
   for li in li_list:
       dic={}
       dic["title"]=li.xpath('./div/div[@class="p-name p-name-type-2"]/a/em//text()')
       dic["commit"]=li.xpath('./div/div[@class="p-commit"]/strong/a/text()')[0]
       dic["shop"]=li.xpath('./div/div[@class="p-shop"]/span/a/text()')[0]
       dic["price"]=li.xpath('./div/div[@class="p-price"]/strong/i/text()')[0]
       dic["details"] = "https:"+li.xpath('./div/div[@class="p-name p-name-type-2"]/a/@href')[0]
       #保存数据
       with open(".//jd.csv", "a+", encoding="utf-8") as f:
           writer = csv.DictWriter(f, dic.keys())
           writer.writerow(dic)

到这里，京东商品信息爬虫就完成了

二、京东商品评价爬虫

如果我们还是利用requests 访问详情页url 也是抓不到数据的

京东商品评价的数据也是得通过点击”评价“这个按钮才可以加载出来

在这里插入图片描述

1.找到接口

下面我们利用chrome的抓包工具来找到评价数据的接口

我们点击商品评价后出现了很多的数据包，可以利用search功能查找一下，复制评价中一个人的昵称查找
在这里插入图片描述

2.分析url

我们找到了数据包，现在我们来观察分析一下他的url

https://club.jd.com/comment/productPageComments.action?
callback=fetchJSON_comment98
&productId=100018642180  ==>商品ID
&score=0  ==》表示评价类型（0：全部评价  还有1、2、3 好评、中评、差评）
&sortType=5
&page=0  ==》页数
&pageSize=10  ==》每一页加载的数据个数
&isShadowSku=0
&fold=1

现在我们来试着去除一些参数简化url（callback必须去掉）

https://club.jd.com/comment/productPageComments.action?
&productId=100018642180
&score=0
&sortType=5
&page=0
&pageSize=10

现在的url我们可以用添加params的方式访问url 通过改变params中的page来实现翻页效果即：

params={
    "productId": 100018642180,
    "score": 0,
    "sortType": 5,
    "page": 0,
    "pageSize": 10
}
head={
"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36"
}
url="https://club.jd.com/comment/productPageComments.action?"
requests.get(url=url,headers=head,params=params)

3.解析数据

我们通过简化后的url进行访问，复制数据到json.cn 解析数据，对其折叠后我们可以看到每一条数据都是再comments中的

在这里插入图片描述
我们打开其中一条数据观察，可以找到评论内容、评论时间等数据

有了这些我们就可以写代码了，我们同访问返回的内容json化拿到数据

代码如下（示例）：

 text=requests.get(url=url,headers=head,params=params).json()
 data=text["comments"]
 for da in data:
     dic={}
     dic["nickname"] = da["nickname"]
     dic["productColor"] = da["productColor"]
     dic["productSize"] = da["productSize"]
     dic["replyCount"]=da["replyCount"]
     dic["usefulVoteCount"]=da["usefulVoteCount"]
     dic["content"]=da["content"]
     dic["creationTime"]=da["creationTime"]
     with open(".//comments.csv", "a", encoding="utf-8") as f:
         writer = csv.DictWriter(f, dic.keys())
         writer.writerow(dic)

到这里，对商品评价数据的爬取就结束了

4.词云

既然都有了数据，那就来做个简单的词云展示吧，我采集的是红米K40Pro的商品数据，现在看一下
在这里插入图片描述
可以看到对K40的评价中提到最多的是屏幕音效、外形外观、运行速度、拍照效果

代码如下（示例）：

from wordcloud import WordCloud
import pandas as pd
import matplotlib.pyplot as plt
plt.style.use('fivethirtyeight')
plt.rc('figure',figsize=(20,8),dpi=80)
names=['nickname','productColor','productSize','replyCount','usefulVoteCount','content','creationTime']
df=pd.read_csv('comments.csv',names=names)
font = r'C:\Windows\Fonts\simfang.ttf'
wc = WordCloud(font_path=font, background_color='White',width=1920,height=1080).generate(" ".join(df['content']))
plt.imshow(wc)
plt.axis("off")
plt.show()

好了，到这里这篇文章就结束了，如果觉得这篇文章不错对你有帮助的话就点个赞吧关注我博客持续更新爬虫项目

转载请标明出处

文章所用的爬虫源码在公众号”阿虚学Python“中，回复”京东“获取
在这里插入图片描述
最后谢谢大家的观看

@lizhihang

关注

13
点赞
踩
105

收藏

觉得还不错? 一键收藏
7
评论
爬虫项目五：最详细的京东商品、评价爬虫、词云展示

文章目录前言一、京东商品信息爬虫1.分析URL2.实例化chrome3.加载完整数据4.实现翻页5.解析数据二、京东商品评价爬虫1.找到接口2.分析url3.解析数据4.词云前言本文内容包含京东商品列表爬虫的详细教程以及商品评价数据的详细教程提示：以下是本篇文章正文内容，下面案例可供参考一、京东商品信息爬虫我们要知道京东商品页的数据有一半是通过动态加载出现的，一页60条数据一半是动态加载，也就是说我们如果单纯的用requests访问url的话只能拿到一半的数据，那另一半的数据拿到有两种方法.
复制链接

扫一扫