python爬虫京东口红销售排行

最新推荐文章于 2024-05-01 14:09:40 发布

qq_43453435

最新推荐文章于 2024-05-01 14:09:40 发布

阅读量1.7k

点赞数 2

文章标签： python

本文链接：https://blog.csdn.net/qq_43453435/article/details/103772093

版权

该博客介绍了一个Python爬虫项目，用于抓取京东网站上的口红销售排行数据，并利用xlwt库创建Excel表格，记录了排名、商品链接、商品名称、店铺名和价格等信息。

摘要由CSDN通过智能技术生成

Python爬虫综合案例
import requests
import xlwt
from bs4 import BeautifulSoup
from urllib.parse import unquote,quote

#创建表格
w=xlwt.Workbook(encoding=‘utf-8’)

#添加一个sheet页
ws=w.add_sheet(‘京东爬取结果’)

#设置样式
style=xlwt.XFStyle() # 初始化样式
font=xlwt.Font() # 为样式创建字体
font.name=‘Times New Roman’ #设置字体 font.bold = True # 黑体 font.underline = True # 下划线 font.italic = True # 斜体字
style.font=font # 设定样式

#写入表格头标题内容
ws.write(0,0,‘排名’)
ws.write(0,1,‘链接’)
ws.write(0,2,‘商品名’)
ws.write(0,3,‘商店名’)
ws.write(0,4,‘价格’)

#抓取商品ID，构造每个产品的访问连接
keyword = quote(‘口红’,encoding=‘utf-8’)
url = “https://search.jd.com/Search?keyword=”+keyword+"&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&stock=1&psort=3&click=0"

header = {
“user-agent”: “Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36”
}

session = requests.session()#获得session，能够保持代码证session的统一
requests.packages.urllib3.disable_warnings()#忽略warning警告
response = session.get(url, headers = header , verify = False)#解决ssl安全链接报错问题

soup = BeautifulSoup(response.text,‘html.parser’)#构造bs4解析器
product_id = soup.select(’.gl-item’)#得到所有class=gl-item的标签

for i in range(len(product_id)): #对每个标签构造访问链接，获得对应商品信息
##for i in range(1):
sku_link = “https://item.jd.com/”+product_id[i].get(‘data-sku’)+".html"

##获取商品信息
response = session.get(sku_link, headers = header, verify = False)
soup = BeautifulSoup(response.text,'html.parser')

#商品名称
sku_name = soup.select_one('.sku-name').text

#商店名称
try:
    sku_shopname = soup.find(clstag='shangpin|keycount|product|dianpuname1').text #商店名称 国内
except:
    sku_shopname = soup.find(clstag='shangpin|keycount|product|dianpu_oversea').text #商店名称 跨境
sku_price = soup.find('span',{'class':'p-price'})


#商品价格
sku_pricelink = 'https://p.3.cn/prices/mgets?skuIds=J_'+product_id[i].get('data-sku')
response = session.get(sku_pricelink, headers = header, verify = False)
sku_price = response.json()[0]['p']

#商品评论 未完成
##    在线json解析网址：http://www.bejson.com/
##    header['Host'] = 'club.jd.com'
##    header['Referer'] = 'https://item.jd.com/2349751.html'
##    link_comment ='https://club.jd.com/comment/skuProductPageComments.action?\
##                            callback=fetchJSON_comment98vv16692\
##                            &productId=2349751\
##                            &score=0\
##                            &sortType=5\
##                            &page=0\
##                            &pageSize=10\
##                            &isShadowSku=0'
##    response = session.get(link_comment, headers = header, verify = False)
##    print(response.text)

#打印
sku_rank = str(i+1)
print("排名："+ sku_rank)
print("商品连接："+sku_link)
print("商品名称："+sku_name.strip())
print("商店名称："+sku_shopname.strip())
print("商品价格："+ sku_price)

#写入excel
print('开始写入excel,请稍等...',end='')
sku_info = [sku_rank,sku_link,sku_name.strip(),sku_shopname.strip(),sku_price]
for k in range(5):
    ws.write(i+1,k,sku_info[k])   #两个参数 ： 行号，写入内容
print('写入成功')
print('')

w.save(‘京东爬虫结果.xls’)

欢迎使用Markdown编辑器

你好！这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。

新的改变

我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：

全新的界面设计 ，将会带来全新的写作体验；
在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；
增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区域直接展示；
全新的 KaTeX数学公式 语法；
增加了支持甘特图的mermaid语法¹ 功能；
增加了 多屏幕编辑 Markdown文章功能；
增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能，功能按钮位于编辑区域与预览区域中间；
增加了 检查列表 功能。

功能快捷键

撤销：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + B
斜体：Ctrl/Command + I
标题：Ctrl/Command + Shift + H
无序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
检查列表：Ctrl/Command + Shift + C
插入代码：Ctrl/Command + Shift + K
插入链接：Ctrl/Command + Shift + L
插入图片：Ctrl/Command + Shift + G
查找：Ctrl/Command + F
替换：Ctrl/Command + G