爬取蝉妈妈数据平台商品数据

最新推荐文章于 2023-09-06 15:15:08 发布

圆滚滚的程序员

最新推荐文章于 2023-09-06 15:15:08 发布

阅读量7.1k

点赞数 5

分类专栏：爬虫

本文链接：https://blog.csdn.net/qq_39483957/article/details/106268765

版权

本文介绍如何在Linux环境下，利用PyCharm和Anaconda进行爬虫开发，爬取蝉妈妈数据平台的商品数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文旨在交流学习，勿作他用，否则后果自负
环境 linux+pycharm+anaconda

import json
import csv
import requests
from usere_agent import UA
from requests.packages.urllib3.exceptions import InsecureRequestWarning
requests.packages.urllib3.disable_warnings(InsecureRequestWarning)


headers = {
   
 'Accept': '*/*',
 'Accept-Encoding': 'gzip, deflate, br',
 'Accept-Language': 'zh-CN,zh;q=0.9',
 'Connection': 'keep-alive',
 'Content-Length': '238',
 'Content-Type': 'application/x-www-form-urlencoded',
 'Host': 'api-service.chanmama.com',
 'Origin': 'https://www.chanmama.com',
 'Referer': 'https://www.chanmama.com/promotionRank',
 'User-Agent': UA
}

cl_url=["女装","男装",