python应用案例-爬取京东商品评论

最新推荐文章于 2024-05-12 12:52:39 发布
最新推荐文章于 2024-05-12 12:52:39 发布
阅读量4.7k 收藏 92
点赞数 12
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xu__ying/article/details/107697029
版权

目标：爬取京东某商品的评论

1.任意选择一个商品
在这里插入图片描述
2.找到url
在这里插入图片描述
3.写代码
导入模块requests
（可以通过cmd的pip install requests命令安装requests模块）
在这里插入图片描述

import requests
url='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=68767398029&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1'

4.根据商品url地址发起请求获取响应结果

import requests
url='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=68767398029&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1'
html= requests.get(url).text

5.输出查看是否出错

import requests
url='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=68767398029&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1'
html= requests.get(url).text
print(html)

在这里插入图片描述
可以看出以上代码已成功获取内容
接下来选取出所需要的评论信息

6.择取评论
注意到：刚才返回的是一个json字符串，需要将json字符串转换为python数据类型
导入json模块

import requests
import json
url='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=68767398029&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1'
html= requests.get(url).text
html=html[20:-2]
html=json.loads(html)

观察评论位置

import requests
import json
url='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=68767398029&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1'
html= requests.get(url).text
html=html[20:-2]
html=json.loads(html)   
html=html['comments']
for i in html:
        print(i['content'])

运行结果
在这里插入图片描述
7.可以看出爬取的只是第一页的评论
现在尝试获得更多评论
观察后面几页的urll：
第二页：https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=68767398029&score=0&sortType=5&page=1&pageSize=10&isShadowSku=0&rid=1&fold=1
第三页：https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=68767398029&score=0&sortType=5&page=2&pageSize=10&isShadowSku=0&rid=1&fold=1
可以看出url的变化规律
使用循环来获得前十页的评论：

import requests
import json
url='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=68767398029&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1'
for count in range(10):
    if count!=0:
        url='https://club.jd.com/comment/productPageComments.action?callback=fetch'\
             'JSON_comment98&productId=68767398029&score=0&sortType=5&page='+str(count)+'&pageSize=10&isShadowSku=0&rid=0&fold=1'
    html= requests.get(url).text
    html=html[20:-2]
    html=json.loads(html)
    html=html['comments']
    for i in html:
        print(i['content'])

输出结果：
在这里插入图片描述
8.调整输出格式，获得评论人的id，评论分数

import requests
import json
url='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=68767398029&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1'
for count in range(10):
    if count!=0:
        url='https://club.jd.com/comment/productPageComments.action?callback=fetch'\
             'JSON_comment98&productId=68767398029&score=0&sortType=5&page='+str(count)+'&pageSize=10&isShadowSku=0&rid=0&fold=1'
    html= requests.get(url).text
    html=html[20:-2]
    html=json.loads(html)
    html=html['comments']
    for i in html:
        print('用户id: '+str(i['id'])+'\n'+'评分：  '+str(i['score'])+'颗星'+'\n'+'评论:   '+i['content']+'\n')

9.将打印内容存入一个文件中

import requests
import json
url='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=68767398029&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1'
for count in range(10):
    if count!=0:
        url='https://club.jd.com/comment/productPageComments.action?callback=fetch'\
             'JSON_comment98&productId=68767398029&score=0&sortType=5&page='+str(count)+'&pageSize=10&isShadowSku=0&rid=0&fold=1'
    html= requests.get(url).text
    html=html[20:-2]
    html=json.loads(html)
    html=html['comments']
    for i in html:
        file=open("comment.txt", 'a')
        file.writelines('用户id: '+str(i['id'])+'\n'+'评分：  '+str(i['score'])+'颗星'+'\n'+'评论:   '+i['content']+'\n\n')
    file.close()

10.增加获取评论的数量

import requests
import json
url='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=68767398029&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1'
for count in range(100):
    if count!=0:
        url='https://club.jd.com/comment/productPageComments.action?callback=fetch'\
             'JSON_comment98&productId=68767398029&score=0&sortType=5&page='+str(count)+'&pageSize=10&isShadowSku=0&rid=0&fold=1'
    html= requests.get(url).text
    html=html[20:-2]
    html=json.loads(html)
    html=html['comments']
    for i in html:
        file=open("comment.txt", 'a')
        file.writelines('用户id: '+str(i['id'])+'\n'+'评分：  '+str(i['score'])+'颗星'+'\n'+'评论:   '+i['content']+'\n\n')
    file.close()

运行后发现中途报错
考虑到相同ip频繁访问，尝试使用代理ip，并修改user-agent

import requests
import json
url='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=68767398029&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1'
head = {}
head['Uxer-Agent']='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36 Edg/84.0.522.50'
for count in range(100):
    if count!=0:
        url='https://club.jd.com/comment/productPageComments.action?callback=fetch'\
             'JSON_comment98&productId=68767398029&score=0&sortType=5&page='+str(count)+'&pageSize=10&isShadowSku=0&rid=0&fold=1'
    proxies = [{'http':'socks5://117.69.13.180'},{'http':'socks5://113.194.130.117'},{'http':'socks5://110.243.15.253'},
               {'http':'socks5://125.108.72.92'},{'http':'socks5://110.243.15.253'},{'http':'socks5://171.35.149.223'},
               {'http':'socks5://125.108.108.150'},{'http':'socks5://123.163.116.56'},{'http':'socks5://123.54.52.37'},
               {'http':'socks5://113.124.87.85'},{'http':'socks5://171.11.29.66'},{'http':'socks5://163.204.92.79'},
               {'http':'socks5://117.57.48.102'},{'http':'socks5://125.108.110.245'},{'http':'socks5://115.218.6.85'},
               {'http':'socks5://219.146.127.6'},{'http':'socks5://120.83.101.249'},{'http':'socks5://223.242.225.19'},
               {'http':'socks5://121.8.146.99'},{'http':'socks5://110.243.7.237'},{'http':'socks5://115.218.2.104'},
               {'http':'socks5://183.195.106.118'},{'http':'socks5://49.86.176.16'},{'http':'socks5://222.89.32.141'},
               {'http':'socks5://1.198.73.202'},{'http':'socks5://136.228.128.6'},{'http':'socks5://136.228.128.6'},]
    proxies1 = random.choice(proxies)
    html= requests.get(url,head,proxies=proxies1).text
    html=html[20:-2]
    html=json.loads(html)
    html=html['comments']
    for i in html:
        file=open("comment.txt", 'a')
        file.writelines('用户id: '+str(i['id'])+'\n'+'评分：  '+str(i['score'])+'颗星'+'\n'+'评论:   '+i['content']+'\n\n')
    file.close()

运行后出错，检查后导入random模块

导入后，程序运行中途可能出现某些ip无法访问的问题
增加一个while循环，增加程序容错率

import requests
import json
import random
url='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=68767398029&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1'
head = {}
head['Uxer-Agent']='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36 Edg/84.0.522.50'
for count in range(100):
    if count!=0:
        url='https://club.jd.com/comment/productPageComments.action?callback=fetch'\
             'JSON_comment98&productId=68767398029&score=0&sortType=5&page='+str(count)+'&pageSize=10&isShadowSku=0&rid=0&fold=1'
    proxies = [{'http':'socks5://117.69.13.180'},{'http':'socks5://113.194.130.117'},{'http':'socks5://110.243.15.253'},
               {'http':'socks5://125.108.72.92'},{'http':'socks5://110.243.15.253'},{'http':'socks5://171.35.149.223'},
               {'http':'socks5://125.108.108.150'},{'http':'socks5://123.163.116.56'},{'http':'socks5://123.54.52.37'},
               {'http':'socks5://113.124.87.85'},{'http':'socks5://171.11.29.66'},{'http':'socks5://163.204.92.79'},
               {'http':'socks5://117.57.48.102'},{'http':'socks5://125.108.110.245'},{'http':'socks5://115.218.6.85'},
               {'http':'socks5://219.146.127.6'},{'http':'socks5://120.83.101.249'},{'http':'socks5://223.242.225.19'},
               {'http':'socks5://121.8.146.99'},{'http':'socks5://110.243.7.237'},{'http':'socks5://115.218.2.104'},
               {'http':'socks5://183.195.106.118'},{'http':'socks5://49.86.176.16'},{'http':'socks5://222.89.32.141'},
               {'http':'socks5://1.198.73.202'},{'http':'socks5://136.228.128.6'},{'http':'socks5://136.228.128.6'},]
    n = 0
    while n == 0:
    	try:
    		proxies1 = random.choice(proxies)
    		html= requests.get(url,head,proxies=proxies1).text
    		n += 1
    	except:
    		n = 0
    html=html[20:-2]
    html=json.loads(html)
    html=html['comments']
    for i in html:
        file=open("comment.txt", 'a')
        file.writelines('用户id: '+str(i['id'])+'\n'+'评分：  '+str(i['score'])+'颗星'+'\n'+'评论:   '+i['content']+'\n\n')
    file.close()

导入time模块，控制访问频率

import requests
import json
import random
import time
url='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=68767398029&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1'
head = {}
head['Uxer-Agent']='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36 Edg/84.0.522.50'
for count in range(100):
    if count!=0:
        url='https://club.jd.com/comment/productPageComments.action?callback=fetch'\
             'JSON_comment98&productId=68767398029&score=0&sortType=5&page='+str(count)+'&pageSize=10&isShadowSku=0&rid=0&fold=1'
    proxies = [{'http':'socks5://117.69.13.180'},{'http':'socks5://113.194.130.117'},{'http':'socks5://110.243.15.253'},
               {'http':'socks5://125.108.72.92'},{'http':'socks5://110.243.15.253'},{'http':'socks5://171.35.149.223'},
               {'http':'socks5://125.108.108.150'},{'http':'socks5://123.163.116.56'},{'http':'socks5://123.54.52.37'},
               {'http':'socks5://113.124.87.85'},{'http':'socks5://171.11.29.66'},{'http':'socks5://163.204.92.79'},
               {'http':'socks5://117.57.48.102'},{'http':'socks5://125.108.110.245'},{'http':'socks5://115.218.6.85'},
               {'http':'socks5://219.146.127.6'},{'http':'socks5://120.83.101.249'},{'http':'socks5://223.242.225.19'},
               {'http':'socks5://121.8.146.99'},{'http':'socks5://110.243.7.237'},{'http':'socks5://115.218.2.104'},
               {'http':'socks5://183.195.106.118'},{'http':'socks5://49.86.176.16'},{'http':'socks5://222.89.32.141'},
               {'http':'socks5://1.198.73.202'},{'http':'socks5://136.228.128.6'},{'http':'socks5://136.228.128.6'},]
    n = 0
    while n == 0:
    	try:
    		proxies1 = random.choice(proxies)
    		html= requests.get(url,head,proxies=proxies1).text
    		n += 1
    	except:
    		n = 0
    html=html[20:-2]
    html=json.loads(html)
    html=html['comments']
    for i in html:
        file=open("comment.txt", 'a')
        file.writelines('用户id: '+str(i['id'])+'\n'+'评分：  '+str(i['score'])+'颗星'+'\n'+'评论:   '+i['content']+'\n\n')
    file.close()
    time.sleep(1)
xu__ying
关注
  • 12
    点赞
  • 踩
  • 92
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
我的爬虫学习之旅 (八) 爬虫实战之京东商品评论爬取
m0_38102468的博客
04-29 3866
前言： 本次针对待爬取数据是由动态网页技术加载出的情形进行分析，在之前的实战案例中，爬取的数据内容都是随着URL变化来实现页面的跳转，而动态加载的形式使得我们原本可以在页面上看到的内容却在源码中找不到。这时，就需要使用另一种分析页面的方式进行爬虫的编写。 实战案例：爬取京东商品的用户评论 首先打开京东，进入某一指定商品页面，本次选择华为P30的商品信息页面 链接地址：https...
爬虫——python爬取京东商品用户评价
m0_64430775的博客
03-21 9805
python爬取京东商品用户评论，分别爬取好评、中评、差评，以小米手环7为例
京东商品评论python爬取评论方法（2024年5月）
m0_74049435的博客
05-12 1117
爬取京东商品评论的代码
Python如何运用爬虫爬取京东商品评论
m0_48891301的博客
08-30 6301
Python如何运用爬虫爬取京东商品评论？
爬虫手把手教你爬取10页京东商品评论（文章最后附完整代码）
fffyyyhhh12的博客
11-27 3200
接着切换到Headers窗口，在这里能找到所需url，请求头所需的内容如cookie，user-agent等内容，这里我们仅需要。，在主页面搜索“王小卤”，点击第一个商品，查看商品评价，选择“只看当前商品评价”。表示匹配任意字符（除了换行符）零次或多次，使用非贪婪模式，即尽可能少地匹配字符。将url和user-agent分别填入请求网址和请求头中。接着查看网络请求的响应信息，找到关键字。使用正则表达式指定要匹配的字符。爬取京东商城上的食品评论：王小卤。
利用python爬取京东平台评论及图片并进行分析
HUANGliang_的博客
08-13 1万+
课设作业
Python爬取京东商品评论
littlestar888的博客
01-08 1428
爬取京东商品评论
python爬虫开发 - 爬取京东图书信息案例
最新发布
05-31
本案例将聚焦于使用Python爬虫来爬取京东图书信息，这有助于我们了解网络数据的抓取过程，以及如何利用Python进行网页解析。 首先，要进行Python爬虫开发，我们需要熟悉一些基础的库，如`requests`用于发送HTTP请求...
python爬虫工程（爬取图片、爬取京东商城评论）
03-08
在这个案例中，我们有两个重点：爬取图片和爬取京东商城的全部评论。 首先，让我们深入理解爬取图片的过程。在Python中，常用的库如`requests`用于发送HTTP请求，`BeautifulSoup`或`lxml`用于解析HTML文档，而`os`...
Python数据分析案例实战-教学大纲.docx
12-16
* 案例6：看店宝主要通过 Python 的爬虫技术获取京东商城商品的相关数据，然后通过数据的分析、比拟、计算等方式实现京东商城商品的预警。 实验教学内容包括： 1. Python 数据分析环境搭建 2. NumPy 数值计算基础 ...
基于seleuim爬取京东评论.zip
03-29
【标题】：“基于Selenium爬取京东评论” 这个标题揭示了一个使用Selenium工具进行网络爬虫的项目，目的是抓取京东商品的用户评论数据。Selenium是一个强大的Web自动化测试工具，但同时也常被用于网页抓取，特别是...
Python-Python爬虫京东自动登录在线抢购商品源码.zip
09-29
在本资源"Python-Python爬虫京东自动登录在线抢购商品源码.zip"中，包含了一个使用Python编写的爬虫程序，旨在实现自动化登录京东网站并进行在线抢购商品的功能。这个程序对于开发者来说，是一个很好的学习案例，...
python爬虫（爬取京东商品评论）
xiangxueerfei的博客
04-07 1320
如果只需要代码可以跳转到最后一步（记着更换商品ID和评论页的的页数话不多说，直接开干！文章所提供的代码不能用于商业用途 仅建议学习交流使用 否则后果自负。
京东评论爬虫教程/手册 Python (4步操作 超级简单)
rileyjin的博客
02-12 3613
感谢 @biptcszy 本文由该博主的教程和code稍作更新而来 因为我做的改动稍微有点多 所以开了新post 原文地址:https://blog.csdn.net/weixin_42474261/article/details/88354134 原文地址:https://blog.csdn.net/weixin_42474261/article/details/88354134 原文地址:ht...
京东评论数据爬取
lin_xi_xi的博客
03-09 2261
根据我的数据需求，增加【score】评论类型，增加【imagecount】图片的数量，增加【productColor】消费者购买的产品种类，增加【usefulVoteCount】有用性投票，增加【creationTime】评论时间。由于网站限制，每个商品只能爬取1000条数据。爬取商品：完美日记口红。
Python大数据实践:selenium爬取京东评论数据
mynameispy的博客
03-18 1600
Selenium是广泛使用的模拟浏览器运行的库，用于Web应用程序测试。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样，并且支持大多数现代 Web 浏览器。
Python京东商品评论爬取及可视化
weixin_44765053的博客
11-27 2363
本文获取了京东上欧莱雅洗面奶的评论数据，对数据进行各个维度的分析，并用Python进行可视化。
爬取京东商品评价信息实战
学而思(xiejava的blog)
03-11 1307
上期介绍了通过《mitmproxy实战-通过mitmdump爬取京东金榜数据》，能够上京东金榜的商品一般评价都是比较好的，这次介绍如何爬取京东商品的评价信息。
利用Python爬虫技术爬取京东商品评论
热门推荐
x彭不秃头
07-03 1万+
这是我第一次接触python时，我们学校做的项目实训，其实整个项目实训过程很简单，并没有什么难度，认真学学就会。 首先，我们要明确我们的目标：从京东上爬取产品的评论。一般评论都是进行情感分析，但我还没进行到那一步，只能先进行相关数据爬取下来，然后把爬到的数据以csv或者json格式保存成文件。 其次，找到数据源的京东官网首页，然后点击搜索框填入手机，拿苹果手机举例 由于可以看到我们的评论是动态的，且可能不断更新，我们便在谷歌网页右键，点击检查或者直接F12快捷键，之后就是显示以下这种界面： 点击右上角
python怎么使用xpath爬取京东商品
09-13
要使用Python和XPath来爬取京东商品，你可以按照以下步骤进行操作： 1. 首先，导入相应的库，包括selenium库和xpath库。Selenium库用于模拟浏览器行为，而XPath库用于解析网页的HTML结构。 2. 接下来，使用Selenium库打开京东网站，并输入你想要查询的商品关键词，发送请求。 3. 等待网页加载完成后，通过XPath表达式来选取商品信息的节点。你可以使用Chrome浏览器的开发者工具来查看网页的HTML结构，以确定XPath表达式。 4. 使用XPath库提取商品的相关信息，比如名称、价格、评价等。 5. 如果还有下一页的商品需要爬取，可以使用循环来翻页。判断是否应该点击下一页的条件可以通过检查网页中是否存在“下一页”按钮的XPath来判断。 6. 最后，将爬取到的商品信息保存到文件或者数据库中，或者进行其他后续的数据分析处理。 需要注意的是，在爬取京东商品时，京东的网页有一部分是通过动态加载的，所以需要使用Selenium库来模拟浏览器的滚动操作，等待所有数据加载完成后再进行解析。 以上就是使用Python和XPath爬取京东商品的基本步骤。希望对你有帮助！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值