爬虫京东Apple12部分销量数据可视化操作

整体过程

爬取iphone12京东前十页评价相关内容，生成excel表格，进行数据可视化分析

爬虫部分

1. 找到要爬取的url网页 ，调用requests库进行模拟浏览器请求访问；
2. 利用防盗链User-Agent来辅助获取目标网页
3. 将网页评价str类内容进行JSON格式内容替换
4. 然后找到字典里所要爬取的键-key（主要爬取颜色，评价内容，手机内存）
5. 将爬取的数据存储到excel当中进行保存为.xlsx文件；
6. 然后进行数据可视化分析 _绘制饼图更加直观方便看出哪种型号的手机销量更好

数据可视化分析

生成的Excel表格

爬虫生成excel文件代码

# -*- coding: utf-8 -*-
# @Time      : 2021/9/7 9:04
# @Author    : LJH
import requests
import json
import time
import openpyxl
from bs4 import BeautifulSoup
from urllib.parse import quote #转换中文的工具

def get_comments(productId,page):
    headers = {
   "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36"
               }
    url = "https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId={0}&score=0&sortType=5&page={1}&pageSize=10&isShadowSku=0&fold=1".format(productId,page)
    #url = "https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100004770263&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1"
    resp = requests.get(url,headers=