爬去孔夫子旧书网店铺评论

本文介绍了如何爬取孔夫子旧书网店铺的评论信息。由于网站使用动态网址,需要通过检查网页找到评论的json文件URL。获取到json文件后,利用Python内置的json模块解析内容,并将评论数据保存到数据库。
摘要由CSDN通过智能技术生成

首先,我们要知道孔夫子旧书网的属于动态网址,也就是说我们无法从html中直接获取信息。
我们要采用从网站文件里获取信息。在店铺的网站点击检查然后找到对应的店铺评论的文件。
在这里插入图片描述
图片里的文件就是这个店铺的评论信息。然后找到这个文件对应的url
就可以获取到这个评论信息了。
在这里插入图片描述
我们获取到的这个文件是个json文件所以要提取json文件里的内容我们需要安装一个json的模块。Python中自带json的模块。
安装好之后就可以提取里边的内容了
在这里插入图片描述
以下就是保存的方法
在这里插入图片描述
然后写入数据库中。

import json
import pymysql
import urllib.request

conn = pymysql.connect(host='localhost',
                       user='root',
                       database='r_l',
                       password='123456789',
                       charset='
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值