Python爬虫抓取京东评论生成Excel表格(附源码)

最新推荐文章于 2024-03-25 14:22:57 发布
最新推荐文章于 2024-03-25 14:22:57 发布
阅读量2.2k 收藏 34
点赞数 8
分类专栏： python 爬虫 文章标签： python 正则表达式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gushuiwuqiu/article/details/117572553
版权

废话不多说直接开始
image

爬取京东单页评论

一、找到商品评论

二、检查网页源代码

搜索发现并没有想要内容

打开开发者工具查看抓取到的内容发现有评论内容，我们就可以对请url地址发送请求来获取数据
image.png

三、开始编写程序

代码

import requests
import re
headers = {
    'Connection': 'keep-alive',
    'sec-ch-ua': '" Not;A Brand";v="99", "Google Chrome";v="91", "Chromium";v="91"',
    'sec-ch-ua-mobile': '?0',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36',
    'Accept': '*/*',
    'Sec-Fetch-Site': 'same-site',
    'Sec-Fetch-Mode': 'no-cors',
    'Sec-Fetch-Dest': 'script',
    'Referer': 'https://item.jd.com/',
    'Accept-Language': 'zh-CN,zh;q=0.9',
}
cookies = {
    '__jdu': '1140149181',
    'shshshfpb': 'dxvAdGKVNzAegFZ04SPRPjw%3D%3D',
    'shshshfpa': '551d8e1b-9679-a2a9-4853-c893fad3a0c2-1588218470',
    'areaId': '13',
    'ipLoc-djd': '13-1042-3528-0',
    'unpl': 'V2_ZzNtbRBTFkYhDBZQeB4PBmIDEFwSXhYWcQERBykfWVFkBEcJclRCFnUUR1NnGFkUZwsZX0RcQBxFCEdkeBBVAWMDE1VGZxBFLV0CFSNGF1wjU00zQwBBQHcJFF0uSgwDYgcaDhFTQEJ2XBVQL0oMDDdRFAhyZ0AVRQhHZHsZWQRnBhpdS1dzJXI4dmR4HVsHZgIiXHJWc1chVERTcx1bACoDElhDV0YddQFGZHopXw%3d%3d',
    '__jdv': '76161171|baidu-pinzhuan|t_288551095_baidupinzhuan|cpc|0f3d30c8dba7459bb52f2eb5eba8ac7d_0_c5dbe5a526b24130a8d258fbc74e26de|1622806649582',
    '__jda': '122270672.1140149181.1607922153.1622723717.1622806650.7',
    '__jdc': '122270672',
    '_gcl_au': '1.1.1090722577.1622806657',
    'shshshfp': '2642ee3c640efeb0e9447e6545757fca',
    '__jdb': '122270672.5.1140149181|7.1622806650',
    'shshshsID': '3742c97b007a5cf7adaa9cff4323c957_3_1622806689501',
    'JSESSIONID': '81C1CD5FA9D0F18E7FFADD802EC34264.s1',
    'jwotest_product': '99',
    '3AB9D23F7A4B3C9B': '6NAODRKK6T33JSTFT3NYNWJAJQ2BCPHUZTUM73ZFAJPIMAS44RCYDE4BC6G7LRUPAWKISABMYIUWYB2LIDAMRKRPVU',
}
url="https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100020318814&score=0&sortType=5&page=2&pageSize=10&isShadowSku=0&rid=0&fold=1"
response = requests.get(url=url, headers=headers,cookies=cookies).text
res='"content":"(.*?)"'
content=re.findall(res,response)
for index,i in enumerate(content):
    print("第{}条评论:".format(index+1)+i+"\n")

运行结果

京东多页评论爬取

通过前三页url地址比对可以发现只有page的值有变化，所以我们可以用列表推导式来获取前10页url依次发送请求来实现多页爬取

def url_list():
    url = "https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100020318814&score=0&sortType=5&page={}&pageSize=10&isShadowSku=0&rid=0&fold=1"
    url_list=[url.format(i) for i in range(1,11)]
    return url_list

编写程序

代码

import requests
import re
def url_list():
    url = "https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100020318814&score=0&sortType=5&page={}&pageSize=10&isShadowSku=0&rid=0&fold=1"
    url_list=[url.format(i) for i in range(1,11)]
    return url_list
def url_parse(list):
    index = 1
    for url in list:
        headers = {
            'Connection': 'keep-alive',
            'sec-ch-ua': '" Not;A Brand";v="99", "Google Chrome";v="91", "Chromium";v="91"',
            'sec-ch-ua-mobile': '?0',
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36',
            'Accept': '*/*',
            'Sec-Fetch-Site': 'same-site',
            'Sec-Fetch-Mode': 'no-cors',
            'Sec-Fetch-Dest': 'script',
            'Referer': 'https://item.jd.com/',
            'Accept-Language': 'zh-CN,zh;q=0.9',
        }
        cookies = {
            '__jdu': '1140149181',
            'shshshfpb': 'dxvAdGKVNzAegFZ04SPRPjw%3D%3D',
            'shshshfpa': '551d8e1b-9679-a2a9-4853-c893fad3a0c2-1588218470',
            'areaId': '13',
            'ipLoc-djd': '13-1042-3528-0',
            'unpl': 'V2_ZzNtbRBTFkYhDBZQeB4PBmIDEFwSXhYWcQERBykfWVFkBEcJclRCFnUUR1NnGFkUZwsZX0RcQBxFCEdkeBBVAWMDE1VGZxBFLV0CFSNGF1wjU00zQwBBQHcJFF0uSgwDYgcaDhFTQEJ2XBVQL0oMDDdRFAhyZ0AVRQhHZHsZWQRnBhpdS1dzJXI4dmR4HVsHZgIiXHJWc1chVERTcx1bACoDElhDV0YddQFGZHopXw%3d%3d',
            '__jdv': '76161171|baidu-pinzhuan|t_288551095_baidupinzhuan|cpc|0f3d30c8dba7459bb52f2eb5eba8ac7d_0_c5dbe5a526b24130a8d258fbc74e26de|1622806649582',
            '__jda': '122270672.1140149181.1607922153.1622723717.1622806650.7',
            '__jdc': '122270672',
            '_gcl_au': '1.1.1090722577.1622806657',
            'shshshfp': '2642ee3c640efeb0e9447e6545757fca',
            '__jdb': '122270672.5.1140149181|7.1622806650',
            'shshshsID': '3742c97b007a5cf7adaa9cff4323c957_3_1622806689501',
            'JSESSIONID': '81C1CD5FA9D0F18E7FFADD802EC34264.s1',
            'jwotest_product': '99',
            '3AB9D23F7A4B3C9B': '6NAODRKK6T33JSTFT3NYNWJAJQ2BCPHUZTUM73ZFAJPIMAS44RCYDE4BC6G7LRUPAWKISABMYIUWYB2LIDAMRKRPVU',
        }
        response = requests.get(url=url, headers=headers, cookies=cookies).text
        res = '"content":"(.*?)"'
        content = re.findall(res, response)
        for i in content:
            print(f"第{index}条评论:"+ i + "\n")
            index+=1
if __name__ == '__main__':
    list=url_list()
    url_parse(list）

运行结果

爬取京东多页评论生成excel表格

前面我们实现了爬取京东多页评论的功能，现在只要利用Pandas生成excel就可以

def excel(i,c,t):
    x=pd.DataFrame()
    x["时间"]=t                                     //t,i,c类型为列表
    x["ID"]=i
    x["评论内容"]=c
    x.to_excel("./京东评论.xlsx")

代码

import requests
import re
import pandas as pd
def url_list():
    url = "https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100020318814&score=0&sortType=5&page={}&pageSize=10&isShadowSku=0&rid=0&fold=1"
    url_list=[url.format(i) for i in range(1,11)]
    return url_list
def url_parse(list):
    index = 1
    id_list = []
    content_list=[]
    time_list=[]
    for url in list:
        headers = {
            'Connection': 'keep-alive',
            'sec-ch-ua': '" Not;A Brand";v="99", "Google Chrome";v="91", "Chromium";v="91"',
            'sec-ch-ua-mobile': '?0',
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36',
            'Accept': '*/*',
            'Sec-Fetch-Site': 'same-site',
            'Sec-Fetch-Mode': 'no-cors',
            'Sec-Fetch-Dest': 'script',
            'Referer': 'https://item.jd.com/',
            'Accept-Language': 'zh-CN,zh;q=0.9',
        }
        cookies = {
            '__jdu': '1140149181',
            'shshshfpb': 'dxvAdGKVNzAegFZ04SPRPjw%3D%3D',
            'shshshfpa': '551d8e1b-9679-a2a9-4853-c893fad3a0c2-1588218470',
            'areaId': '13',
            'ipLoc-djd': '13-1042-3528-0',
            'unpl': 'V2_ZzNtbRBTFkYhDBZQeB4PBmIDEFwSXhYWcQERBykfWVFkBEcJclRCFnUUR1NnGFkUZwsZX0RcQBxFCEdkeBBVAWMDE1VGZxBFLV0CFSNGF1wjU00zQwBBQHcJFF0uSgwDYgcaDhFTQEJ2XBVQL0oMDDdRFAhyZ0AVRQhHZHsZWQRnBhpdS1dzJXI4dmR4HVsHZgIiXHJWc1chVERTcx1bACoDElhDV0YddQFGZHopXw%3d%3d',
            '__jdv': '76161171|baidu-pinzhuan|t_288551095_baidupinzhuan|cpc|0f3d30c8dba7459bb52f2eb5eba8ac7d_0_c5dbe5a526b24130a8d258fbc74e26de|1622806649582',
            '__jda': '122270672.1140149181.1607922153.1622723717.1622806650.7',
            '__jdc': '122270672',
            '_gcl_au': '1.1.1090722577.1622806657',
            'shshshfp': '2642ee3c640efeb0e9447e6545757fca',
            '__jdb': '122270672.5.1140149181|7.1622806650',
            'shshshsID': '3742c97b007a5cf7adaa9cff4323c957_3_1622806689501',
            'JSESSIONID': '81C1CD5FA9D0F18E7FFADD802EC34264.s1',
            'jwotest_product': '99',
            '3AB9D23F7A4B3C9B': '6NAODRKK6T33JSTFT3NYNWJAJQ2BCPHUZTUM73ZFAJPIMAS44RCYDE4BC6G7LRUPAWKISABMYIUWYB2LIDAMRKRPVU',
        }
        response = requests.get(url=url, headers=headers, cookies=cookies).text
        res_content = '"content":"(.*?)"'
        res_id = '"guid":"(.*?)"'
        res_time='"creationTime":"(.*?)"'
        content = re.findall(res_content, response)
        id= re.findall(res_id, response)
        time = re.findall(res_time, response)
        for i,c,t  in zip(id,content,time):
            id_list.append(i)
            content_list.append(c)
            time_list.append(t)
    print(id_list,content_list,time_list)
    return id_list,content_list,time_list
def excel(i,c,t):
    x=pd.DataFrame()
    x["时间"]=t
    x["ID"]=i
    x["评论内容"]=c
    x.to_excel("./京东评论.xlsx")

if __name__ == '__main__':
    list=url_list()
    i,c,t=url_parse(list)
    excel(i,c,t)
沉默且无语99
关注
  • 8
    点赞
  • 踩
  • 34
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
简单python爬取微博并写入excel
qq_40298175的博客
12-12 3489
​ 写了一个简单的Python爬取指定用户微博的内容和图片，目前比较简陋，之前有在github上参考别人写的爬虫，发现现在微博好像使用的是Ajax的方式来渲染数据，这也太方便了，直接请求接口，然后解析数据不就能得到我们想要的数据了吗？？？？ ​ ok，开始操作 首先，我们进入微博，打开检查，观察数据，这里我用的方法比较蠢，是一个个看返回内容是什么。。。等后面学习到了更高深的技术了在和大家分享吧， 经过手动查看，发现mymblog接口是获取内容的接口，然后操作，我们使用请求数据的第三方库是reques
京东爬虫，可抓取京东商品信息和评论
06-03
用scrapy框架写的京东爬虫，可以抓取京东商品信息和评论,努力学习的路上
小白零基础入门~爬虫爬取京东评论数据并用excel保存(get动态网页的爬取)
小姑仔的博客
07-21 1824
地址栏中写的即为url 比如jd.com就不是有效的url 有效的url：在京东搜索鞋子， ？之前为请求的url，？之后为请求的参数，参数与参数之间使用&&符号来进行连接 请求的url:https://search.jd.com/Search ?之后为请求的参数，参数之间使用&&符号进行连接 选中鞋子的颜色以及样式之后，选择网络点击f5进行刷新 查找鞋子之后显示的所有信息都在这里，一共为168个请求信息。 静态数据：服务器端已经渲染好的内容，直接发给浏览器，浏览器解释执行
Python-爬取京东网站商品信息，并写入excel
Y_warmth
05-22 1730
from retrying import retry import requests from lxml import etree import time import os base_url = "https://search.jd.com/Search?keyword=手机华为&enc=utf-8" if os.path.exists("JD.xlsx"): os.remove("JD.xlsx") def func(): return "请求失败" @retry(sto
Python动态爬虫爬取京东商品评论
UIBE_day_day_up的博客
07-27 3960
Python 动态爬虫爬取京东商品评论 1. 概述 京东商城是Python爬虫初学者试手的经典平台，反爬虫程度较低，但评论采取了动态加载的方式，爬取京东商品评论是学习动态爬虫的一个极佳方法。 动态爬虫，即针对动态加载JSON文件网页的爬虫，其原理与静态爬虫没有本质区别，只是不爬取所见的静态目标网页，而是寻找该网页所加载的JSON文件，爬取JSON文件中的内容。 2.目标观察 观察京东具体商品评论页面： 点击商品评价页： 发现商品评价翻页的url不改变，可推测出其采用动态加载的方式，同时，会发现直接获取该
京东商品评论爬虫源码
10-09
京东商品评论爬虫源码 亲测可用 京东商品评论爬虫源码 亲测可用 京东商品评论爬虫源码 亲测可用 京东商品评论爬虫源码 亲测可用 京东商品评论爬虫源码 亲测可用 京东商品评论爬虫源码 亲测可用
基于Python的京东评论的爬虫.zip
03-25
基于Python的京东评论的爬虫.zip无需登录，下载即用。 基于Python的京东评论的爬虫.zip无需登录，下载即用。基于Python的京东评论的爬虫.zip无需登录，下载即用。基于Python的京东评论的爬虫.zip无需登录，下载即...
Python实现抓取网页生成Excel文件的方法示例
12-24
本文实例讲述了Python实现抓取网页生成Excel文件的方法。分享给大家供大家参考，具体如下： Python抓网页，主要用到了PyQuery，这个跟jQuery用法一样，超级给力 示例代码如下： #-*- encoding:utf-8 -*- import sys...
python作业：爬虫爬取京东评论
最新发布
07-07
Python作业：爬虫爬取京东评论；Python作业：爬虫爬取京东评论；Python作业：爬虫爬取京东评论；Python作业：爬虫爬取京东评论；Python作业：爬虫爬取京东评论；Python作业：爬虫爬取京东评论；Python作业：爬虫爬取...
python爬虫淘宝京东拼多多
10-21
python爬虫淘宝京东拼多多python爬虫淘宝京东拼多多python爬虫淘宝京东拼多多python爬虫淘宝京东拼多多python爬虫淘宝京东拼多多python爬虫淘宝京东拼多多python爬虫淘宝京东拼多多python爬虫淘宝京东拼多多python...
京东页面移动开发源代码(四)
10-28
这是一款手机版模拟京东页面的代码，移动开发，里面包含代码和资料，还有相关的视频教程，非常详细，值得下载
【大众点评评论爬虫】一键获取大众点评完整评论工具批量爬取保存为excel数据
白驹
01-28 7014
大众点评评论采集工具软件特性使用流程填入cookie获取抓取地址获取网页cookie软件下载地址 声明：请勿将软件用于商业用途，仅供学习交流使用 软件特性 输入商家地址获取完整评论 根据指定页数采集 一键导出excel文件 使用流程 填入cookie 运行前，将获取到的cookie填入并保存，文件夹内的cookie.txt文件，获取教程在文章末尾 获取抓取地址 我们以下面这家店铺为例子 获取网页cookie 软件下载地址 ...
抓取京东/淘宝类数据#Javascript#商品详情图片
薛定谔的猫的博客
03-25 465
如何在京东商城爬取出各个商品的相关信息(价格、名称、评价、店铺名等等)，比如，打开web京东网站，那么商品展示列表的所有商品的信息，怎么爬下来，怎么保存到表格中？
python3爬取微博评论并存为xlsx
wwq114的博客
05-12 3404
** python3爬取微博评论并存为xlsx ** 由于微博电脑端的网页版页面比较复杂，我们可以访问手机端的微博网站，网址为：https://m.weibo.cn/ 一、访问微博网站，找到热门推荐链接 我们打开微博网站后看见热门页，按F12查看网页结构后只能看见如下图短短的几个文章。 然后我们将滚动条向下滚动，发现新的文章会在底部加载，原来微博的热门文章加载方式是Ajax加载的，那我们就不能在...
selenium自动获取京东热卖水果排行榜信息存入表格
執筆冩回憶
06-16 155
#!/usr/bin/env python # coding=utf-8 # 自动获取京东热卖水果排行榜信息，url地址是通过js加载生成的无法获取 from selenium import webdriver import time,re,os from debug_info import Log_info import openpyxl from openpyxl import Workbook from selenium.webdriver import ChromeOptions # 更改Ch.
爬取新浪微博评论及点赞数并存储为excel的.csv格式
热门推荐
change_things的博客
02-05 1万+
1、获取cookie，先进入微博页面登陆微博，如进入https://m.weibo.cn/status/4173028302302955后登陆，再使用chrome的F12可方便地获取自己的cookie，获取Cookie所需的选择项如下图所示，往下拉会看到自己的Cookie。 2、写爬虫，代码如下，可以爬取诸如用户名 评论时间 点赞数 评论内容等等，保存为.py文件。本文参考了一些博客，但由于
30行python代码完成某东商品评论数据的爬取，并且完成爬取的数据存在excel文档中
xzb5566的专栏
06-05 801
30行python代码完成某东商品评论数据的爬取，并且完成爬取的数据存在excel文档中 简单完成网络数据的爬取，非常简单，没有编程基础，看完你也会了。
Python爬取商品评价-京东
m0_62428181的博客
03-18 3838
Python爬取商品评价-京东
利用Python爬虫技术爬取京东商品评论
x彭不秃头
07-03 1万+
这是我第一次接触python时，我们学校做的项目实训，其实整个项目实训过程很简单，并没有什么难度，认真学学就会。 首先，我们要明确我们的目标：从京东上爬取产品的评论。一般评论都是进行情感分析，但我还没进行到那一步，只能先进行相关数据爬取下来，然后把爬到的数据以csv或者json格式保存成文件。 其次，找到数据源的京东官网首页，然后点击搜索框填入手机，拿苹果手机举例 由于可以看到我们的评论是动态的，且可能不断更新，我们便在谷歌网页右键，点击检查或者直接F12快捷键，之后就是显示以下这种界面： 点击右上角
python爬虫抓取京东商品
07-05
Python爬虫抓取京东商品通常涉及以下几个步骤： 1. **安装必要的库**： 首先，你需要安装一些用于网络请求（如requests）、解析HTML（如BeautifulSoup或 lxml）和处理数据的库，比如`requests`, `bs4` 或者 `html.parser`。 2. **分析网页结构**： 打开京东的商品页面，查看HTML代码，找到包含商品信息的标签元素。这可能包括标题、价格、图片URL、描述等。理解这些信息如何通过JavaScript动态加载是关键，因为很多现代网站会用AJAX技术来更新内容。 3. **发送请求并获取HTML**： 使用`requests.get()`函数发送GET请求到商品详情页，获取返回的HTML源码。如果遇到需要登录或有反爬机制的情况，可能还需要模拟登录或设置User-Agent等头信息。 4. **解析HTML**： 使用BeautifulSoup或其他解析器，解析HTML源码，提取出所需的数据。根据元素的CSS选择器或XPath表达式定位商品信息。 5. **数据存储**： 将抓取到的数据（如字典或列表）保存到本地文件（CSV、JSON、数据库等），或者直接插入到数据库中，以便后续分析和展示。 6. **异常处理**： 爬虫过程中可能会遇到各种问题，如网络中断、服务器响应错误等，需要添加适当的错误处理代码。 7. **遵守网站规则**： 在编写爬虫时，务必遵守京东或其他网站的服务条款，尊重robots.txt协议，并尽量减少对服务器的压力，避免被封IP。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值