python爬虫---如何爬取京东商品评论并进行数据存储

最新推荐文章于 2024-04-07 16:30:00 发布
最新推荐文章于 2024-04-07 16:30:00 发布
阅读量5.8k 收藏 97
点赞数 8
分类专栏： python爬虫 文章标签： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43996337/article/details/103417535
版权

1.爬取商品的ID

我们首先观察商品链接的构成形式
在这里插入图片描述
在这里插入图片描述
我们会发现仅仅只是id的数字不同，那么我们只要获取到这串数字，就可以构造链接进入商品详情页中了。
那么我们先在搜索界面中打开开发者工具，观察网页代码形式，找到我们需要爬取的数据所存在的位置。
在这里插入图片描述
在这里插入图片描述
我们成功找到了数据所在位置，那么就对其进行爬取，实现代码如下：


#获取搜索商品名界面的每个商品的序号
def get_number(name):
    headers = {
        #'cookie': 'shshshfpa=4e6c0f90-587c-a46f-5880-a7debd7d4393-1544616560; __jdu=1126324296; PCSYCityID=412; user-key=44089d07-befa-4522-87fc-bcc039ec7045; pinId=qopcdCj6kcR3U84v0KTTbrV9-x-f3wj7; pin=jd_769791719e9e9; unick=jd_769791719e9e9; _tp=nc%2FbpB%2BkeSbk3jZ6p2H0FlWrdUa1gbgi16QiQ7NBXKY%3D; _pst=jd_769791719e9e9; cn=9; ipLoc-djd=1-72-2799-0; mt_xid=V2_52007VwMSUVpaUV8cQR5sUWMDEgUIUVBGGEofWhliABNUQQtQWkpVHVVXb1ZGB1lYW11LeRpdBW4fElFBW1VLH0ESXgJsAhpiX2hSahxLGFsFZwcRUG1bWlo%3D; shshshfpb=bRnqa4s886i2OeHTTR9Nq6g%3D%3D; unpl=V2_ZzNtbUZTSxJ3DURTLk0LAmJXFVlKAkdAIQ1PUXseCVIzU0UKclRCFXwURldnGlUUZwcZXERcQRdFCHZXchBYAWcCGllyBBNNIEwHDCRSBUE3XHxcFVUWF3RaTwEoSVoAYwtBDkZUFBYhW0IAKElVVTUFR21yVEMldQl2VHsaWwdkBhFVRWdzEkU4dl17HVwDYDMTbUNnAUEpAUJRfRpcSGcDEVpAVEYWfQ92VUsa; __jda=122270672.1126324296.1544405080.1545968922.1545980857.16; __jdc=122270672; ceshi3.com=000; TrackID=11EpDXYHaqwJE15W6paeMk_GMm05o3NUUeze9XyIcFs33GGxX8knxMpxWTeID75qSiUlj31s8CtKJs4hJUV-7CvKuiOEyDd8bvOCH7zzigeI; __jdv=122270672|baidu-pinzhuan|t_288551095_baidupinzhuan|cpc|0f3d30c8dba7459bb52f2eb5eba8ac7d_0_55963436def64e659d5de48416dfeaff|1545980984854; 3AB9D23F7A4B3C9B=OA3G4SO3KYLQB6H3AIX36QQAW34BF376WJN66IUPEQAG6FUA2NWGM6R6MBDL32HLDG62WL2FICMYIVMOU6ISUWHKPE; shshshfp=1ed96ad08a7585648cd5017583df22bd; _gcl_au=1.1.162218981.1545981094; JSESSIONID=305879A97D4EA21F4D5C4207BB81423F.s1; shshshsID=c8c51ee0c5b1ddada7c5544abc3eea8a_5_1545981289039; __jdb=122270672.11.1126324296|16.1545980857; thor=3A30EBABA844934A836AC9AA37D0F4B85306071BD7FC64831E361A626E76F6977EC7794D06F2A922AEABF7D3D7DC22FBE2EB6B240F81A13F5A609368D4185BA0081D7C34A93760063D2F058F5B916835B4960EC8A9122008745971D812BA9E4AE48542CCC5A42E5CD786CC93770E520E36F950614C06A7EB05C8E1DD93EEA844B2EBA9B0136063FCFB6B7C83AECA828774041A9FED7BD98496689496122822FF',
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36",
        }
    response = requests.get("https://search.jd.com/Search?keyword=%s&enc=utf-8"%(name), headers=headers)
    html = BeautifulSoup(response.text,'lxml')
    list=html.find_all("li",class_='gl-item')
    numbers=[]
    for number in list:
     numbers.append(int(number.get("data-sku")))
    return numbers

2.获取商品评论

我们首先进入开发者模式的network
在这里插入图片描述
然后点击商品评论
在这里插入图片描述
我们会发现这里出现了很多内容，那么我们需要爬取的评论内容在哪里呢？我们可以在搜索框内尝试进行搜索关键字comment，这样就是快速找到我们需要的内容
在这里插入图片描述
这里我们找到request url,观察其结构，和其他同类型的商品对比，发现不同就在于productid，而这个数据我们已经获取到了，那么，这里我们就可以进行评论爬取了

在这里插入图片描述
实现代码如下:

def get_comment(productid,name):
 headers = {
        #'cookie': 'shshshfpa=4e6c0f90-587c-a46f-5880-a7debd7d4393-1544616560; __jdu=1126324296; PCSYCityID=412; user-key=44089d07-befa-4522-87fc-bcc039ec7045; pinId=qopcdCj6kcR3U84v0KTTbrV9-x-f3wj7; pin=jd_769791719e9e9; unick=jd_769791719e9e9; _tp=nc%2FbpB%2BkeSbk3jZ6p2H0FlWrdUa1gbgi16QiQ7NBXKY%3D; _pst=jd_769791719e9e9; cn=9; ipLoc-djd=1-72-2799-0; mt_xid=V2_52007VwMSUVpaUV8cQR5sUWMDEgUIUVBGGEofWhliABNUQQtQWkpVHVVXb1ZGB1lYW11LeRpdBW4fElFBW1VLH0ESXgJsAhpiX2hSahxLGFsFZwcRUG1bWlo%3D; shshshfpb=bRnqa4s886i2OeHTTR9Nq6g%3D%3D; unpl=V2_ZzNtbUZTSxJ3DURTLk0LAmJXFVlKAkdAIQ1PUXseCVIzU0UKclRCFXwURldnGlUUZwcZXERcQRdFCHZXchBYAWcCGllyBBNNIEwHDCRSBUE3XHxcFVUWF3RaTwEoSVoAYwtBDkZUFBYhW0IAKElVVTUFR21yVEMldQl2VHsaWwdkBhFVRWdzEkU4dl17HVwDYDMTbUNnAUEpAUJRfRpcSGcDEVpAVEYWfQ92VUsa; __jda=122270672.1126324296.1544405080.1545968922.1545980857.16; __jdc=122270672; ceshi3.com=000; TrackID=11EpDXYHaqwJE15W6paeMk_GMm05o3NUUeze9XyIcFs33GGxX8knxMpxWTeID75qSiUlj31s8CtKJs4hJUV-7CvKuiOEyDd8bvOCH7zzigeI; __jdv=122270672|baidu-pinzhuan|t_288551095_baidupinzhuan|cpc|0f3d30c8dba7459bb52f2eb5eba8ac7d_0_55963436def64e659d5de48416dfeaff|1545980984854; 3AB9D23F7A4B3C9B=OA3G4SO3KYLQB6H3AIX36QQAW34BF376WJN66IUPEQAG6FUA2NWGM6R6MBDL32HLDG62WL2FICMYIVMOU6ISUWHKPE; shshshfp=1ed96ad08a7585648cd5017583df22bd; _gcl_au=1.1.162218981.1545981094; JSESSIONID=305879A97D4EA21F4D5C4207BB81423F.s1; shshshsID=c8c51ee0c5b1ddada7c5544abc3eea8a_5_1545981289039; __jdb=122270672.11.1126324296|16.1545980857; thor=3A30EBABA844934A836AC9AA37D0F4B85306071BD7FC64831E361A626E76F6977EC7794D06F2A922AEABF7D3D7DC22FBE2EB6B240F81A13F5A609368D4185BA0081D7C34A93760063D2F058F5B916835B4960EC8A9122008745971D812BA9E4AE48542CCC5A42E5CD786CC93770E520E36F950614C06A7EB05C8E1DD93EEA844B2EBA9B0136063FCFB6B7C83AECA828774041A9FED7BD98496689496122822FF',
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36",
        "Referer": "https://item.jd.com/%s.html"%(productid)
        }
 for i in range(2):#此处设置爬取几页的评论
    page = i
    params = {
        "productId": "%s"%(productid),  # 商品id
        'score': 0,#如果想要爬取全部评论设置为0，好评为3，中评为2，差评为1，晒图评价为4，追评为5
        'sortType': 5,
        'page': page,
        'pageSize': 10,
    }
    comment_resp = requests.get(url=comment_url, params=params, headers=headers)
    comment_str = comment_resp.text
    if comment_str=='':
     print("获取内容为空")
    comment_dict = json.loads(comment_str)
    comments = comment_dict['comments']
    load(comments,name,productid)

3.数据存储

这个没有什么好说的，直接附上代码

#数据存储
def load(comments,name,productid):
    for comment in comments:
        test = comment['content']
        # print(infor)
        with open('C:/Users/Administrator/Desktop/JD评论/'+'%s'%(name)+'%s'%(productid)+'.csv', 'a', newline='')as csv_file:
            text=[]
            text.append(test)
            writer = csv.writer(csv_file)
            writer.writerow(text)

4.实现效果展示

在这里插入图片描述
在这里插入图片描述

5.完整代码附录

import requests
import json
import csv
from lxml import etree
from bs4 import BeautifulSoup
import time
'''
#如果ip被封，可以使用这个进行ip设置
proxy ='114.239.148.103'
proxies={
    'http':'http://'+proxy,
    'https':'https://'+proxy,
    }
'''
comment_url = 'https://sclub.jd.com/comment/productPageComments.action?callback'


#获取评论
def get_comment(productid,name):
 headers = {
        #'cookie': 'shshshfpa=4e6c0f90-587c-a46f-5880-a7debd7d4393-1544616560; __jdu=1126324296; PCSYCityID=412; user-key=44089d07-befa-4522-87fc-bcc039ec7045; pinId=qopcdCj6kcR3U84v0KTTbrV9-x-f3wj7; pin=jd_769791719e9e9; unick=jd_769791719e9e9; _tp=nc%2FbpB%2BkeSbk3jZ6p2H0FlWrdUa1gbgi16QiQ7NBXKY%3D; _pst=jd_769791719e9e9; cn=9; ipLoc-djd=1-72-2799-0; mt_xid=V2_52007VwMSUVpaUV8cQR5sUWMDEgUIUVBGGEofWhliABNUQQtQWkpVHVVXb1ZGB1lYW11LeRpdBW4fElFBW1VLH0ESXgJsAhpiX2hSahxLGFsFZwcRUG1bWlo%3D; shshshfpb=bRnqa4s886i2OeHTTR9Nq6g%3D%3D; unpl=V2_ZzNtbUZTSxJ3DURTLk0LAmJXFVlKAkdAIQ1PUXseCVIzU0UKclRCFXwURldnGlUUZwcZXERcQRdFCHZXchBYAWcCGllyBBNNIEwHDCRSBUE3XHxcFVUWF3RaTwEoSVoAYwtBDkZUFBYhW0IAKElVVTUFR21yVEMldQl2VHsaWwdkBhFVRWdzEkU4dl17HVwDYDMTbUNnAUEpAUJRfRpcSGcDEVpAVEYWfQ92VUsa; __jda=122270672.1126324296.1544405080.1545968922.1545980857.16; __jdc=122270672; ceshi3.com=000; TrackID=11EpDXYHaqwJE15W6paeMk_GMm05o3NUUeze9XyIcFs33GGxX8knxMpxWTeID75qSiUlj31s8CtKJs4hJUV-7CvKuiOEyDd8bvOCH7zzigeI; __jdv=122270672|baidu-pinzhuan|t_288551095_baidupinzhuan|cpc|0f3d30c8dba7459bb52f2eb5eba8ac7d_0_55963436def64e659d5de48416dfeaff|1545980984854; 3AB9D23F7A4B3C9B=OA3G4SO3KYLQB6H3AIX36QQAW34BF376WJN66IUPEQAG6FUA2NWGM6R6MBDL32HLDG62WL2FICMYIVMOU6ISUWHKPE; shshshfp=1ed96ad08a7585648cd5017583df22bd; _gcl_au=1.1.162218981.1545981094; JSESSIONID=305879A97D4EA21F4D5C4207BB81423F.s1; shshshsID=c8c51ee0c5b1ddada7c5544abc3eea8a_5_1545981289039; __jdb=122270672.11.1126324296|16.1545980857; thor=3A30EBABA844934A836AC9AA37D0F4B85306071BD7FC64831E361A626E76F6977EC7794D06F2A922AEABF7D3D7DC22FBE2EB6B240F81A13F5A609368D4185BA0081D7C34A93760063D2F058F5B916835B4960EC8A9122008745971D812BA9E4AE48542CCC5A42E5CD786CC93770E520E36F950614C06A7EB05C8E1DD93EEA844B2EBA9B0136063FCFB6B7C83AECA828774041A9FED7BD98496689496122822FF',
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36",
        "Referer": "https://item.jd.com/%s.html"%(productid)
        }
 for i in range(2):#此处设置爬取几页的评论
    page = i
    params = {
        "productId": "%s"%(productid),  # 商品id
        'score': 0,#如果想要爬取全部评论设置为0，好评为3，中评为2，差评为1，晒图评价为4，追评为5
        'sortType': 5,
        'page': page,
        'pageSize': 10,
    }
    comment_resp = requests.get(url=comment_url, params=params, headers=headers)
    comment_str = comment_resp.text
    if comment_str=='':
     print("获取内容为空")
    comment_dict = json.loads(comment_str)
    comments = comment_dict['comments']
    load(comments,name,productid)

#数据存储
def load(comments,name,productid):
    for comment in comments:
        test = comment['content']
        # print(infor)
        with open('C:/Users/Administrator/Desktop/JD评论/'+'%s'%(name)+'%s'%(productid)+'.csv', 'a', newline='')as csv_file:
            text=[]
            text.append(test)
            writer = csv.writer(csv_file)
            writer.writerow(text)
   
        
#获取搜索商品名界面的每个商品的序号
def get_number(name):
    headers = {
        #'cookie': 'shshshfpa=4e6c0f90-587c-a46f-5880-a7debd7d4393-1544616560; __jdu=1126324296; PCSYCityID=412; user-key=44089d07-befa-4522-87fc-bcc039ec7045; pinId=qopcdCj6kcR3U84v0KTTbrV9-x-f3wj7; pin=jd_769791719e9e9; unick=jd_769791719e9e9; _tp=nc%2FbpB%2BkeSbk3jZ6p2H0FlWrdUa1gbgi16QiQ7NBXKY%3D; _pst=jd_769791719e9e9; cn=9; ipLoc-djd=1-72-2799-0; mt_xid=V2_52007VwMSUVpaUV8cQR5sUWMDEgUIUVBGGEofWhliABNUQQtQWkpVHVVXb1ZGB1lYW11LeRpdBW4fElFBW1VLH0ESXgJsAhpiX2hSahxLGFsFZwcRUG1bWlo%3D; shshshfpb=bRnqa4s886i2OeHTTR9Nq6g%3D%3D; unpl=V2_ZzNtbUZTSxJ3DURTLk0LAmJXFVlKAkdAIQ1PUXseCVIzU0UKclRCFXwURldnGlUUZwcZXERcQRdFCHZXchBYAWcCGllyBBNNIEwHDCRSBUE3XHxcFVUWF3RaTwEoSVoAYwtBDkZUFBYhW0IAKElVVTUFR21yVEMldQl2VHsaWwdkBhFVRWdzEkU4dl17HVwDYDMTbUNnAUEpAUJRfRpcSGcDEVpAVEYWfQ92VUsa; __jda=122270672.1126324296.1544405080.1545968922.1545980857.16; __jdc=122270672; ceshi3.com=000; TrackID=11EpDXYHaqwJE15W6paeMk_GMm05o3NUUeze9XyIcFs33GGxX8knxMpxWTeID75qSiUlj31s8CtKJs4hJUV-7CvKuiOEyDd8bvOCH7zzigeI; __jdv=122270672|baidu-pinzhuan|t_288551095_baidupinzhuan|cpc|0f3d30c8dba7459bb52f2eb5eba8ac7d_0_55963436def64e659d5de48416dfeaff|1545980984854; 3AB9D23F7A4B3C9B=OA3G4SO3KYLQB6H3AIX36QQAW34BF376WJN66IUPEQAG6FUA2NWGM6R6MBDL32HLDG62WL2FICMYIVMOU6ISUWHKPE; shshshfp=1ed96ad08a7585648cd5017583df22bd; _gcl_au=1.1.162218981.1545981094; JSESSIONID=305879A97D4EA21F4D5C4207BB81423F.s1; shshshsID=c8c51ee0c5b1ddada7c5544abc3eea8a_5_1545981289039; __jdb=122270672.11.1126324296|16.1545980857; thor=3A30EBABA844934A836AC9AA37D0F4B85306071BD7FC64831E361A626E76F6977EC7794D06F2A922AEABF7D3D7DC22FBE2EB6B240F81A13F5A609368D4185BA0081D7C34A93760063D2F058F5B916835B4960EC8A9122008745971D812BA9E4AE48542CCC5A42E5CD786CC93770E520E36F950614C06A7EB05C8E1DD93EEA844B2EBA9B0136063FCFB6B7C83AECA828774041A9FED7BD98496689496122822FF',
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36",
        }
    response = requests.get("https://search.jd.com/Search?keyword=%s&enc=utf-8"%(name), headers=headers)
    html = BeautifulSoup(response.text,'lxml')
    list=html.find_all("li",class_='gl-item')
    numbers=[]
    for number in list:
     numbers.append(int(number.get("data-sku")))
    return numbers


def main():
    list=["手机","电脑","杯子"]
    porductid=[]
    for i in list:
        productid=get_number(i)
        for j in productid:
          get_comment(j,i)
          time.sleep(0.5)
    print("爬取完毕")

main()

6.一些问题

因为京东存在反爬措施，当爬取一个商品评论过多，或者访问过于频繁，会拒绝访问或者禁止ip。这需要使用代理ip来解决，后续会针对这一问题更新一版代码，来使功能完善。

coast_s
关注
  • 8
    点赞
  • 踩
  • 97
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
Python 爬取京东商品评论 + 词云展示
叶庭云 成为自己的光
08-12 1万+
利用python爬虫爬取京东商品评论数据，并绘制词云展示。
京东爬虫，可抓取京东商品信息和评论
06-03
用scrapy框架写的京东爬虫，可以抓取京东商品信息和评论,努力学习的路上
Python爬虫抓取京东评论生成Excel表格(附源码)
gushuiwuqiu的博客
06-04 2150
废话不多说直接开始 一、找到商品评论 二、检查网页源代码 搜索发现并没有想要内容 打开开发者工具查看抓取到的内容发现有评论内容，我们就可以对请url地址发送请求来获取数据 三、开始编写程序 代码 import requests import re headers = { 'Connection': 'keep-alive', 'sec-ch-ua': '" Not;A Brand";v="99", "Google Chrome";v="91", "Chromium";v="91"'
Python如何运用爬虫爬取京东商品评论
m0_48891301的博客
08-30 5713
Python如何运用爬虫爬取京东商品评论？
python爬虫（爬取京东商品评论）
最新发布
xiangxueerfei的博客
04-07 898
如果只需要代码可以跳转到最后一步（记着更换商品ID和评论页的的页数话不多说，直接开干！文章所提供的代码不能用于商业用途 仅建议学习交流使用 否则后果自负。
python应用案例-爬取京东商品评论
xu__ying的博客
08-03 4674
目标：爬取京东某商品的评论 1.任意选择一个商品 2.找到评论的url 3.写代码 导入模块requests （可以通过cmd的pip install requests命令安装requests模块） import requests url='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=68767398029&score=0&sortTy
python爬取网站数据，实习生都能看懂
m0_46365130的博客
11-15 155
【代码】python爬取网站数据，实习生都能看懂。
爬虫——python爬取京东商品用户评价
m0_64430775的博客
03-21 9366
python爬取京东商品用户评论，分别爬取好评、中评、差评，以小米手环7为例
Python爬取商品评价-京东
m0_62428181的博客
03-18 3687
Python爬取商品评价-京东
爬虫入门-京东评论爬取和简单分析[学习笔记]
lilien的博客
05-25 1953
随便点击一个商品，我点的是“https://item.jd.com/3533885.html” 查看评论是否动态数据：点击改变评论页数（图中1处），网址（图中2处）不会变，说明是动态数据 F12(或者右击检查网页源代码)->点击“Network”->F5（或ctrl+R） 点击网页“商品评价” 找到途中1，点击，复制2url：“https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98
浅谈 cookie与session
Au
04-17 475
  谈论这两个之前，首先要说的就是HTTP协议，HTTP协议是无状态的协议。  无状态是指协议对于事务处理没有记忆能力，服务器不知道客户端是什么状态。即我们给服务器发送 HTTP 请求之后，服务器根据请求，会给我们发送数据过来，但是，发送完，不会记录任何信息。 这意味着每个请求都是独立的，缺少状态意味着如果后续处理需要前面的信息，则它必须重传，这样可能导致每次连接传送的数据量增大。另一方面，在...
Python-基于scrapyredis的分布式爬虫爬取JD图书当当图书和Amazon图书
08-10
采用scrapy-redis爬去京东图书，当当图书和Amazon图书，采用分布式爬虫爬取数据，实现爬虫的暂停和开始，断点再续，URL去重，数据存储等，属于轻量级爬虫
python爬取京东手机销售数据
08-15
爬取京东手机销售与评价数据，以excel表格形式存储，以条形图形式展示不同品牌手机在淘宝的评价人数。可以通过更改关键字手机实现对其他商品的爬取。详细介绍...
Python-jdspider使用scrapyscrapyredisgraphite实现的京东分布式爬虫
08-10
使用 scrapy, scrapy-redis, graphite 实现的京东分布式爬虫，以 mongodb 实现底层存储。分布式 实现，解决带宽和性能的瓶颈，提高爬取的效率。实现 scrapy-redis 对进行 url 的去重 以及调度，利用redis的高效和...
python 爬虫爬取京东商城商品数据的相关代码，附带数据库存储.zip
12-23
Python爬虫源码大放送：抓取数据，轻松搞定！ 想轻松抓取网站数据，却苦于技术门槛太高？别担心，这些源码将助你轻松搞定数据抓取，让你成为网络世界的“数据侠盗”。 它们还具有超强的实用价值。无论你是想要分析...
利用Python网络爬虫对京东商城中指定商品下的用户评论进行爬取，对数据预处理操作后进行文本情感分析并可视化显示。.zip
03-01
其主要功能是访问网页、提取数据并存储，以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤： URL收集： 爬虫从一个或多个初始...
python爬虫框架scrapy批量爬取京东评论信息并保存在本地
小伊同学的博客
03-14 2019
项目环境： pycharm windows python3.7 新建项目 在想要创建的目录下打开命令行 创建命令：scrapy startproject 项目名 接着创建一个spider： cd 项目名 scrapy genspider 爬虫名 "域名" 在项目下新建一个python文件，运行此文件即可运行爬虫项目，不需要再去命令行了 from scrapy import cmdline c...
如何用python快速爬取速卖通商品信息
fun_sn的博客
08-04 3084
我们首先打开网页做分析 按下F12点击Network找到headers，将Cookie和User-agent复制下来，留着备用！ 下面用requets做调式，能否获取到网页信息 import requests def get_html(url): cookie = 'ali_apache_id=11.134.216.25.1620641275908.387521.9; cna=hyANGQQpnwUCAXFZBo1X/gL1; _bl_uid=eekXnoe0ihCgpa1FCqstxaXlI
python爬虫基础---ip代理---cookie使用---请求异常处理
m0_67093160的博客
01-09 1299
代理ip，爬虫cookie，请求异常处理
python爬虫爬取京东商品评价_京东商品评论爬取实战
06-01
好的，我了解您的问题。爬取京东商品评价可以使用 Python 爬虫，以下是简单的步骤： 1. 分析目标网站：打开京东商品详情页，找到“商品评价”标签，复制其链接。例如：https://sclub.jd.com/comment/productPageComments.action?productId=100002982491&score=0&sortType=5&page=0&pageSize=10 2. 编写爬虫程序：使用 requests 库向目标网站发送请求，获取数据。使用 BeautifulSoup 或 lxml 库对数据进行解析，提取需要的信息。注意需要定时更换请求头和代理IP，避免被反爬虫机制封禁。 3. 存储数据：将爬取到的数据存储到本地或数据库中，方便后续分析。 4. 翻页爬取：京东商品评价分页展示，需要实现翻页爬取。 5. 数据清洗：清洗数据，去除噪声，以便后续分析。 以上是爬取京东商品评价的基本步骤，具体实现可以参考相关的 Python 爬虫教程和案例。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值