python课堂笔记爬取并保存数据到Excel

第一课
(1)鼠标右击选择检查,点击network(网络)
(2)刷新当前页面
(3)复制一小段评论区内容,然后在程序员调试窗口点击放大镜🔎,粘贴
(4)点击刷新小圆圈🔄查找
(5)点击查询结果
(6)点击Headers,找到URL
3行代码爬取京东数据
梳理代码流程:

(1)引入Python工具包requests
(2)使用工具包中的get方法,向服务器发起请求
(3)打印输出请求回来的数据(print语法)

import requests
shoes=requests.get('https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=43139143227&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1')
shoes_date=shoes.text
print(shoes_date)

第二课
Python代码解析数据
如何解析这堆杂乱无章的数据?

(1)打开网页工具 www.json.cn
(2)将数据整理成Json格式:以大括号开头和结尾
(3)找到目标数据值对应的名字
Python replace语法

replace为替换的意思,可以使用replace把任何不想要的数据替换成一个新值

引入Python整理数据的工具包 json、获取鞋子颜色及鞋码数据

import requests
import json
shoes=requests.get('https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=43139143227&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1')
shoes_date=shoes.text
shoes_rest=shoes_date.replace('fetchJSON_comment98(','').replace(');','')
json_shoe=json.loads(shoes_rest)
comments=json_shoe['comments']
for item in comments:
  color = item['productColor']
  size  = item['productSize']
  print(color)
  print(size)

第三课
4行代码带数据回家
学会引入openpyxl工具包存储数据?

(1)创建一个Excel表格

(2)创建一个sheet

(3)在sheet里面保存数据

(4)把表格保存在一个磁盘里

import requests
import json
import openpyxl
shoe=openpyxl.Workbook()
sheet=shoe.create_sheet()
shoes=requests.get('https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=43139143227&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1')
shoes_date=shoes.text
shoes_rest=shoes_date.replace('fetchJSON_comment98(','').replace(');','')
json_shoe=json.loads(shoes_rest)
comments=json_shoe['comments']
for item in comments:
  color = item['productColor']
  size  = item['productSize']
  sheet.append([color,size])
  shoe.save('data/0子-18056567072.xlsx')
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

见己个人平台

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值