爬取京东商品评论并存入数据库（二）

石头城

于 2019-01-12 16:20:29 发布

阅读量1.4k

点赞数 2

本文链接：https://blog.csdn.net/qq_43304005/article/details/86364281

版权

本文介绍如何爬取京东商品评论，并将其高效地存入数据库。通过提供的代码示例，展示了整个爬取流程及数据入库的操作。

摘要由CSDN通过智能技术生成

前言
上篇我详细说明了爬取得过程，这里就不过多解释，直接上爬取得代码，简单明了：
代码

import requests
import json
import pymysql


comment_url = 'https://sclub.jd.com/comment/productPageComments.action'

def jd(page):
    params = {
        'productId': 100000287113,  # 商品id。先写死 苹果手机。
        'score': 0,
        'sortType': 5,
        'page': page,
        'pageSize': 10,}

    headers = {
        'cookie': '__jdu=441250461; shshshfpa=61e55552-648f-19b3-f94e-74af56c80577-1540868662; shshshfpb=14cffa664eb9f4dcdb094ae8124b18c67f05706449652a93c5bd7ca366; unpl=V2_ZzNtbUYFRB10DkdSfUpUBmJQEVQRABdBIltPBygYWQc0UEcKclRCFXwURldnGlsUZwoZWUtcRxxFCHZXchBYAWcCGllyBBNNIEwHDCRSBUE3XHxcFVUWF3RaTwEoSVoAYwtBDkZUFBYhW0IAKElVVTUFR21yVEMldQl2UX4ZXwFmBhVdcmdEJUU4QVBzH1wHVwIiXHIVF0l3CUVccxsRAGIDEVlDUkQVRQl2Vw%3d%3d; user-key=19f517d4-e5b9-4050-973b-282cce5bded7; cn=