Python爬取京东商品评论（三）

最新推荐文章于 2024-05-12 12:52:39 发布
最新推荐文章于 2024-05-12 12:52:39 发布
阅读量3k 收藏 24
点赞数 3
分类专栏： Python爬虫学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/q_m_x_d_d_/article/details/106016542
版权

        本篇用作前两篇的首尾，并解决最后一个问题。

        第一篇中我介绍了Python爬虫的基本语法，介绍了如何分析页面、如何分析json文件，并将爬取评论的基本功能实现了，是最初的版本。链接：Python爬取京东商品评论（一）

        第二篇中我对第一篇的程序进行了大量的修改，改进了数据量、自动化等问题，对程序代码进行了整理，程序功能已经比较完整且稳定。链接：Python爬取京东商品评论（二）

        本篇解决第二篇中的一个遗留问题，即自动获取不同配色的手机的商品代码。上一篇的程序中，只能通过手动输入所有的商品代码才能去爬取对应的评论数据，本篇将会使该过程更自动化，只需输入一次该商品在京东的商品页网址，就能自动获取其他配色款式的商品代码，并自动爬取评论。

        需要指出的是，这里只针对某个固定的内存版本，也就是说，只能提取出所有64GB的配色，或者所有128GB的配色。

页面分析：

        分析页面的办法就不赘述了，这里我直接贴上保存商品代码的HTML语句，从图中可以看出，商品代码保存在一个id为“choose-attr-1”的div块下，我们首先需要提取出这个名为“choose-attr-1”的div块，然后使用正则表达式，取出商品代码。

        所以我们先获取该页面的HTML代码：

url=str(input("请输入网址："))
Req=urllib.request.Request(url=url)
content=urllib.request.urlopen(Req)
content=content.read().decode('utf-8')

BeautifulSoup库：

        这个库可以对HTML代码进行分析，提取出其中的信息，程序中只用了库中的find_all函数，所以该库的使用方法这里就不赘述了。我们先利用这个库来提取出id为“choose-attr-1”的div块：

soup=BeautifulSoup(content,'html.parser')
choose=soup.find_all(id='choose-attr-1')

        find_all函数得到的是一个迭代器，其中的元素即为所有id为“choose-attr-1”的div块中的HTML代码，且元素可以再次使用find_all函数来再次分析。

        在上面的页面分析中我们可以看出，商品代码保存在class为“item”的div块中，所以我们再次使用find_all函数：

    for i in choose:
        j=i.find_all(class_='item')

         此时j为迭代器，其中就是所有保存有商品代码的div块。

正则表达式：

        正则表达式同样可以从文本中提取信息。在得到商品代码的div块HTML代码后，我们就可以用一句简单的正则表达式来提取商品代码，并保存到list中：

web_regex=re.compile(r"[0-9]+")
for i in choose:
    j=i.find_all(class_='item')
    for one in j:
        text=web_regex.findall(str(one))
        id_list.append(text[0])

程序代码：

        在第二篇中的程序中加入此部分的代码后，代码整理如下：

import urllib.request
from bs4 import BeautifulSoup
import re
import json
import random
import sys
import xlwt
import pandas as pd

start_url = "https://club.jd.com/comment/skuProductPageComments.action?callback=fetchJSON_comment98&productId={}&score={}&sortType=5&page={}&pageSize=10&isShadowSku=0&fold=1"
id_list = []
user_agents = [
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60',
    'Opera/8.0 (Windows NT 5.1; U; en)',
    'Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/2.0.0 Opera 9.50',
    'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; en) Opera 9.50',
    'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0',
    'Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2 ',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36',
    'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
    'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.133 Safari/534.16',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.101 Safari/537.36',
    'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER',
    'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)',
    'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 SE 2.X MetaSr 1.0',
    'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; SE 2.X MetaSr 1.0) ',
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
    "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
    "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
    "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
    "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
    "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
    "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
    "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52"
]
header = {
    'User_Agent': str(random.choice(user_agents)),
    'Referer': 'https://item.jd.com/100009177424.html'
}

def get_id_list():
    url=str(input("请输入网址："))
    Req=urllib.request.Request(url=url)
    content=urllib.request.urlopen(Req)
    content=content.read().decode('utf-8')
    soup=BeautifulSoup(content,'html.parser')
    choose=soup.find_all(id='choose-attr-1')
    web_regex=re.compile(r"[0-9]+")
    for i in choose:
        j=i.find_all(class_='item')
        for one in j:
            text=web_regex.findall(str(one))
            id_list.append(text[0])

def start_deal(start_url) -> int:
    req = urllib.request.Request(url=start_url, headers=header)
    content = urllib.request.urlopen(req)
    if content.getcode() != 200:
        print("爬取起始页失败！")
        sys.exit(0)
    content = content.read().decode('gbk', 'replace')
    content = content.strip("fetchJSON_comment98();")
    text = json.loads(content)
    max_page = text['maxPage']
    comment = text['comments']
    fp = open('京东.txt', 'a', encoding='utf-8')
    for i in comment:
        text = str(i['content']).replace('\n', ' ')
        fp.write(text + '\n')
    print('起始页完成！')
    fp.close()
    return max_page


def deal(id, score, max_page):
    for i in range(1, max_page):
        url = start_url.format(id, str(score), str(i))
        req = urllib.request.Request(url=url, headers=header)
        content = urllib.request.urlopen(req)
        if (content.getcode() != 200):
            print('爬取失败！')
            sys.exit(0)
        else:
            content = content.read().decode('gbk', 'replace')
        content = content.strip('fetchJSON_comment98();')
        text = json.loads(content)
        comment = text['comments']
        fp = open('京东.txt', 'a', encoding='utf-8')
        for j in comment:
            text = str(j['content']).replace('\n', ' ')
            fp.write(text + '\n')
        print('第%s页完成！' % (i + 1))
        fp.close()


def book_save():
    book = xlwt.Workbook(encoding='utf-8', style_compression=0)
    sheet = book.add_sheet('京东商品评论', cell_overwrite_ok=True)
    sheet.write(0, 0, "内容")
    n = 1
    with open('京东.txt', 'r', encoding='utf-8') as f:
        li = f.readlines()
        for i in li:
            sheet.write(n, 0, i)
            n += 1
    book.save(u'京东.xlsx')
    data_xls = pd.read_excel('京东.xlsx')
    data_xls.to_csv('京东.csv', encoding='utf-8')



if __name__ == '__main__':
    get_id_list()
    for i in range(3, 0, -1):
        for j in id_list:
            getpage_url = start_url.format(j, i, '0')
            page = start_deal(getpage_url)
            deal(j, i, 3)
            book_save()

 

早睡身体好_
关注
  • 3
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
python爬取京东商品评价信息+图表可视化
10-03
python爬取京东商品评价信息+图表可视化 目标网站：https://jd.com 使用的相关模块： # 使用import导入requests模块 import requests # 使用from...import从bs4模块中导入BeautifulSoup from bs4 import ...
Python爬取京东商品信息（方式①）
12-22
 互联网中最有价值的便是数据，比如天猫商城的商品信息，链家网的租房信息，雪球网的证券投资信息等等，这些数据都代表了各个行业的真金白银，可以说，谁掌握了行业内的第一手数据，谁就成了整个行业的主宰，如果把...
爬虫入门-京东评论爬取和简单分析[学习笔记]
lilien的博客
05-25 1992
随便点击一个商品，我点的是“https://item.jd.com/3533885.html” 查看评论是否动态数据：点击改变评论页数（图中1处），网址（图中2处）不会变，说明是动态数据 F12(或者右击检查网页源代码)->点击“Network”->F5（或ctrl+R） 点击网页“商品评价” 找到途中1，点击，复制2url：“https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98
Python如何运用爬虫爬取京东商品评论
m0_48891301的博客
08-30 6016
Python如何运用爬虫爬取京东商品评论？
京东商品评论python爬取评论方法（2024年5月）
最新发布
m0_74049435的博客
05-12 526
爬取京东商品评论的代码
Python爬取京东商品评论
littlestar888的博客
01-08 1228
爬取京东商品评论
爬虫学习日记：爬取京东网站商品评论的实例代码
S1901的博客
05-31 1652
爬取JD网站商品评论的实例代码 以爬取糗事百科为例，并将实例代码附在下面，对于代码文末有逐行解释。 代码： from selenium import webdriver from selenium.webdriver.support.wait import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.common.by import By imp
爬取京东一万条评论-python
qq_42794545的博客
09-28 3487
要求：1 万条以上的京东手机评论爬取（爬取内容为评论 +score） 浏览器部分 为了一次爬取评论更多的手机所以在选取url的时候优先筛选相应品牌评论更多的款，以我爬取的vivo品牌为例： 1.筛选评论 2.选择一款商品后点击对应评论 3.f12键进入调试界面 4.选择js文件格式：因为我们想要获取的评论是保留在JSON格式里面的而不是在url里面，通过检查与ctrl+F就可以发现。 5.分别点击好评、中评、差评，就可以看到分别出现三个JSON格式文件与他们对应 6...
利用python爬取京东平台评论及图片并进行分析
HUANGliang_的博客
08-13 1万+
课设作业
PYTHON爬取京东商品评论
12-22
京东商品评论是动态网页，用get请求，但是得到之后不是json，所以就需要去一个参数或者返回text，然后用切片 1、更改url参数返回json url获取方法：打开京东商品，用谷歌开发者工具，找到network，然后刷新，查找...
Python爬取京东手机商品参数
12-27
Python爬取京东手机商品参数，通分析每款手机的网页结构，爬取整个京东手机分类中的手机产品参数
Python抓取京东图书评论数据
12-25
京东图书评论有非常丰富的信息，这里面就包含了购买日期、书名、作者、好评、中评、差评等等。以购买日期为例，使用Python + Mysql的搭配进行实现，程序不大，才100行。相关的解释我都在程序里加注了： from selenium import webdriver from bs4 import BeautifulSoup import re import win32com.client import threading,time import MySQLdb def mydebug():     driver.quit()     exit(0) def catchDate(s):    
爬虫初学——爬取京东商品的评论（二）
12-22
酱菜Seven7原创，转载请注明出处。 使用的手段：数据库Mysql， 语言python，正则表达式re 在获取了评论url的情况下（获取京东评论的url方法），现在我们可以来爬取用户昵称和url了。作为一个初学者，我用的正则表达式，来对那url的数据，进行匹配获取。 一、根据内容，编写合适的正则表达式 通过分析打开的url地址的数据，我们可以找到所需的两个规律： 1、用户昵称部分： 所以，我们针对提取用户的正则表达式如下： r'\"nickname\":\"([^",]+)\",\"replyCount2\"' 2、评论部分： 评论部分，因为会有无追评，而造成结尾不一致： 情况一： 情
JD-python爬取京东商品信息_爬取商品信息_京东_
10-03
爬取京东商品信息:1.商品详情页2.商品名称3.商品价格4.评价人数5.商品商家
用scrapy框架做京东评论爬取
samotako的博客
03-19 535
用scrapy框架搭建的京东商品评论爬虫
利用LDA主题模型提取京东评论并做情感分析
热门推荐
bullnfresh的专栏
05-09 1万+
网上购物已经成为大众生活的重要组成部分。人们在电商平台上浏览商品和购物，产生了海量的用户行为数据，其中用户对商品的评论数据对商家具有重要的意义。利用好这些碎片化、非结构化的数据，将有利于企业在电商平台上的持续发展，对这部分数据进行分析，依据评论数据来优化现有产品也是大数据在企业经营中的实际应用。 本章主要针对用户在电商平台上留下的评论数据，对其进行分词、词性标注和去除停用词等文本预处理。基于预处理后的数据进行情感分析，并使用LDA主题模型提取评论关键信息，了解用户的需求、意见、购买原因，以及产品的优缺点，
Matlab 打开文件夹中的多个文件
Nick_Cui的博客
09-18 2426
处理数据时，往往会遇到大量的同类型数据需要读取，在不确定数据文件个数和名称的情况下如何利用循环逐个打开并分析处理数据呢？这里就需要用到dir函数，以下是示例： clear;clc; Path = 'c:\filepath\'; Dir = dir(strcat([Path,'*.dat'])); for i = 1:length(Dir) fid = fopen([Path,Dir(i).name],'rb'); Data = fscanf(fid,'%f'); end ...
正则表达式匹配json格式的字符串
weixin_43866709的博客
10-24 1万+
最近在使用Python2爬取网页，获取的是json格式的字符串。 内容如下： {“message”:"",“content”:{“total”:351027,“datas”:[{“total”:338513,“name”:“字段”,“path”:“org”},{“total”:12514,“name”:“表”,“path”:“org”}]},“state”:“1”} 现在我要取出所有tot...
python爬取京东商品评论
04-26
好的，你想了解如何用Python爬取京东商品评论。首先，你需要安装Python的requests库和BeautifulSoup库。 下面是一个简单的Python程序，演示了如何使用requests库和BeautifulSoup库来爬取京东商品评论： ``` import requests from bs4 import BeautifulSoup # 设置headers，模拟浏览器访问 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} # 获取商品的页面 url = 'https://item.jd.com/100011792283.html' r = requests.get(url, headers=headers) # 解析页面，获取评论的URL soup = BeautifulSoup(r.text, 'lxml') comment_url = soup.find('a', {'id': 'comment-count'})['href'] # 获取评论的页面 comment_r = requests.get(comment_url, headers=headers) comment_soup = BeautifulSoup(comment_r.text, 'lxml') # 获取评论内容 comments = comment_soup.find_all('div', {'class': 'comment-con'}) for comment in comments: print(comment.get_text().strip()) ``` 这个程序首先使用requests库获取商品详细页面的HTML代码，然后使用BeautifulSoup库解析页面，找到评论的URL。 接着，程序使用requests库获取评论页面的HTML代码，再使用BeautifulSoup库解析页面，找到所有评论的div元素，并打印出每个评论的内容。 你可以根据你实际要爬取的商品页面和评论页面，修改代码中的URL和解析规则。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值